提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使

只要在提示词中把时间设定成过去,就能轻松突破大模型的安全防线。而且对 GPT-4o 尤其有效,原本只有 1% 的攻击成功率直接飙到 88%,几乎是“有求必应”。有网友看了后直言,这简直是有史以来最简单的大模型越狱方式。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM来自洛桑联邦理工学院的一篇最新论文,揭开了这个大模型安全措施的新漏洞。而且攻击方式简单到离谱,不用像“奶奶漏洞”那样专门构建特殊情境,更不必说专业对抗性攻击里那些意义不明的特殊符号了。只要把请求中的时间改成过去,就能让 GPT-4o 把燃烧弹和毒品的配方和盘托出。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM而且量子位实测发现,把提示词改成中文,对 GPT-4o 也一样有效。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM有网友表示,实在是想不到突破大模型漏洞的方式竟然如此简单……提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM当然这样的结果也说明,现有的大模型安全措施还是太脆弱了。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM实验过程中,作者从 JBB-Behaviors 大模型越狱数据集中选择了 100 个有害行为,涉及了 OpenAI 策略中的 10 个危害类别。然后作者用 GPT-3.5 Turbo,把把这些有害请求对应的时间改写成过去。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM接着就是用这些修改后的请求去测试大模型,然后分别用 GPT-4、Llama-3 和基于规则的启发式判断器这三种不同方式来判断越狱是否成功。被测试的模型则包括 Llama-3、GPT-3.5 Turbo、谷歌的 Gemma-2、微软的 Phi-3、GPT-4o 和 R2D2(一种对抗性训练方法)这六种。结果显示,GPT-4o 的越狱成功率提升最为明显,在使用 GPT-4 和 Llama-3 进行判断时,原始成功率均只有 1%,使用这种攻击的成功率则上升到了 88% 和 65%,启发式判断器给出的成功率也从 13% 升到了 73%。其他模型的攻击成功率也提高不少,尤其是在使用 GPT-4 判断时,除了 Llama-3,其余模型的成功率增长值都超过了 70 个百分点,其他的判断方法给出的数值相对较小,不过都呈现出了增长趋势。对于 Llama-3 的攻击效果则相对稍弱一些,但成功率也是增加了。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM另外随着攻击次数的增加,成功率也是越来越高,特别是 GPT-4o,在第一次攻击时就有超过一半的成功率。不过当攻击次数达到 10 次后,对各模型的攻击成功率增长都开始放缓,然后逐渐趋于平稳。值得一提的是,Llama-3 在经历了 20 次攻击之后,成功率依然不到 30%,相比其他模型体现出了很强的鲁棒性。同时从图中也不能看出,不同判断方法给出的具体成功率值虽有一定差距,但整体趋势比较一致。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM另外,针对 10 类不同的危害行为,作者也发现了其间存在攻击成功率的差别。不看 Llama-3 这个“清流”的话,恶意软件 / 黑客、经济危害等类型的攻击成功率相对较高,错误信息、色情内容等则较难进行攻击。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM当请求包含一些与特定事件或实体直接相关的关键词时,攻击成功率会更低;而请求偏向于通识内容时更容易成功。基于这些发现,作者又产生了一个新的疑问 —— 既然改成过去有用,那么改写成将来是不是也有用呢?进一步实验表明,确实也有一定用处,不过相比于过去来说,将来时间的效果就没有那么明显了。以 GPT-4o 为例,换成过去后接近 90 个百分点的增长,再换成将来就只有 60 了。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM对于这样的结果,网友们除了有些惊讶之外,还有人指出为什么不测试 Claude。作者回应称,不是不想测,而是免费 API 用完了,下一个版本会加上。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM不过有网友自己动手试了试,发现这种攻击并没有奏效,即使后面追问说是出于学术目的,模型依然是拒绝回答。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM△ 来源:Twitter / Muratcan Koylan这篇论文的作者也承认,Claude 相比于其他模型会更难攻击,但他认为用复杂些的提示词也能实现。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM因为 Claude 在拒绝回答时非常喜欢用“I apologize”开头,所以作者要求模型不要用“I”来开头。不过量子位测试发现,这个方法也未能奏效,无论是 Claude 3 Opus 还是 3.5 Sonnet,都依然拒绝回答这个问题。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM△ 左:3 Opus,右:3.5 Sonnet还有人表示,自己对 Claude 3 Haiku 进行了一下测试(样本量未说明),结果成功率为 0。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM总的来说,作者表示,虽然这样的越狱方式比不上对抗性提示等复杂方法,但明显更简单有效,可作为探测语言模型泛化能力的工具。作者表示,这些发现揭示了 SFT、RLHF 和对抗训练等当前广泛使用的语言模型对齐技术,仍然存在一定的局限性。按照论文的观点,这可能意味着模型从训练数据中学到的拒绝能力,过于依赖于特定的语法和词汇模式,而没有真正理解请求的内在语义和意图。这些发现对于当前的语言模型对齐技术提出了新的挑战和思考方向 —— 仅仅依靠在训练数据中加入更多的拒绝例子,可能无法从根本上解决模型的安全问题。作者又进行了进一步实验,使用拒绝过去时间攻击的示例对 GPT-3.5 进行了微调。结果发现,只要拒绝示例在微调数据中的占比达到 5%,攻击的成功率增长就变成了 0。下表中,A%/B% 表示微调数据集中有 A% 的拒绝示例和 B% 的正常对话,正常对话数据来自 OpenHermes-2.5。提示词用上“过去式”,秒破 GPT-4o 等六大模型安全限制:中文语境也好使休闲区蓝鸢梦想 - Www.slyday.coM这样的结果也说明,如果能够对潜在的攻击进行准确预判,并使用拒绝示例让模型对齐,就能有效对攻击做出防御,也就意味着在评估语言模型的安全性和对齐质量时,需要设计更全面、更细致的方案。论文地址:参考链接:广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关推荐

  • 友情链接:
  • PHPCMSX
  • 智慧景区
  • 微信扫一扫

    微信扫一扫
    返回顶部

    显示

    忘记密码?

    显示

    显示

    获取验证码

    Close