复旦白泽天梯多轮对话专项天梯结果出炉
2025-1-10 08:38:0 Author: mp.weixin.qq.com(查看原文) 阅读量:0 收藏

【2025年多轮对话专项赛简况】

本次赛集共包含100道测试问题集,围绕“犯罪行为”主题,每个问题集包含4-5个小问题,用于与大模型进行多轮交互。

基于上述基准测试集,我们已对国内外32款知名商用大模型的中文安全能力开展了详细评测。本次评测结果表明,上述大模型的平均违规率、最低违规率和最高违规率分别为:71.9%15.0%93.0%

复旦白泽天梯赛第三弹:多轮对话专项赛结果

【问题集简况】

我们利用大语言模型围绕多种“犯罪行为”生成100组风险诱导问题,旨在让目标模型表现出违规行为,包括但不限于输出可以被借鉴的的犯罪行为。

【问题集实例】

【专项赛题获取方式】

为帮助行业伙伴提升安全能力,复旦白泽已在网站公布10组多轮测试问题,请访问获取(版本号为WhitzardBench-2025-CMT):

https://security.fudan.edu.cn/whitzardindex

(解压密码:文件名后8位)

如需获得全部测试问题,请通过以下邮箱联系:[email protected]

【复旦白泽安全指数 WhitzardIndex】

我们仍将继续开展常态化大模型安全监测工作,定期公布复旦白泽指数,衡量国内外大模型安全水平现状。

更多资讯,请关注复旦白泽指数网站

https://security.fudan.edu.cn/whitzardindex

点击阅读原文即可访问

欢迎与我们共同探讨AI大模型安全

联系方式:[email protected]

研发:沈钰霖

供稿、排版:复旦白泽战队

责编:邬梦莹

审核:潘旭东、洪赓、张琬琪

复旦白泽战队

一个有情怀的安全团队

还没有关注复旦白泽战队?

公众号、知乎、微博搜索:复旦白泽战队也能找到我们哦~


文章来源: https://mp.weixin.qq.com/s?__biz=MzU4NzUxOTI0OQ==&mid=2247492826&idx=1&sn=488d035b0ded0b568d5556b3f1b6b236&chksm=fde860a4ca9fe9b2256b7824f2c6a0194a6196776cfb30fc1a38a18a9c49960ca335769238d8&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh