• OpenAI 最近推出了一个叫 GPT-Red 的自动化系统，专门用来在发布前找出 GPT 模型里可能被人利用的漏洞。
• 官方说，这个系统已经在训练 GPT-5.6 时派上了用场，让它最难搞的提示注入测试失败率大幅下降。
• 这套工具不是要取代人类安全团队，而是作为红队测试、第三方审计和其他安全措施的补充手段。

OpenAI 发布了一款名为 GPT-Red 的自动化 AI 安全系统，目标是帮自家语言模型提前发现安全漏洞。

这个名字其实借用了网络安全里“红队”的概念——说白了，就是模拟攻击者的思路，在坏人动手之前先自己攻一遍，找出薄弱环节。

OpenAI 在周三的一篇公告里提到，这个工具已经在 GPT-5.6 上线前帮它抵抗住了不少提示注入攻击，效果比之前明显好很多。

OpenAI 在 X 上写道：“模型越来越强，安全措施也得跟上。红队测试虽然关键，但靠人工来做，规模上不去，成了瓶颈。GPT-Red 就是我们尝试打破这个瓶颈的一个办法。”

据 OpenAI 介绍，GPT-Red 是靠自我强化学习训练出来的——一边生成越来越刁钻的提示注入攻击，一边让防守模型学会怎么扛住。这些攻击手段还被直接用到了 GPT-5.6 的训练流程里。内部测试里，GPT-Red 在 84% 的场景下成功攻破了目标，而人类红队成员在同一测试里的成功率只有 13%。

OpenAI 解释说：“GPT-Red 是通过对抗性的自我博弈来学习的，目标就是不断用各种刁钻的提示注入去挑战不同的防守模型。每次成功的攻击，都会反过来帮防守模型变得更强，逼着 GPT-Red 再去发现更复杂、更隐蔽的漏洞。”

在一个案例里，OpenAI 说这个系统成功操控了一台自动售货机的智能体，让它把价格调低、订了打折库存，还在漏洞被修复之前取消了另一个客户的订单——听起来像科幻片，但确实是真实测试。

GPT-Red 的推出，其实是 OpenAI 从 ChatGPT 公开上线以来持续投入网络安全工作的一个延续。

2023 年，他们搞了个 OpenAI 红队网络，专门招募外部安全研究员和专家，在发布前检查 ChatGPT 和其他模型的漏洞。GPT-Red 相当于把这件事自动化了，用 AI 来生成大量提示注入攻击和其他对抗性测试，规模大到人类研究员根本搞不定。

OpenAI 这次的动作，其实也反映了整个行业的一个趋势：用 AI 来保护 AI。

就在这个月早些时候，以太坊基金会也宣布，他们部署了 AI 智能体去对关键网络基础设施做红队测试，结果发现了一个以太坊共识客户端软件里的漏洞。研究人员说，AI 智能体可以扫描比人类大得多的代码库，但现在真正的挑战已经不是“能不能找到漏洞”，而是“怎么证明哪个漏洞真的能被利用”。

按照 OpenAI 的说法，GPT-Red 暂时只会是一个内部工具，因为它里面包含了主动开发的攻击功能，放出去风险太大。

他们表示：“我们相信，通过 GPT-Red，我们已经开始启动一个安全飞轮——今天的模型可以用来让明天的模型更坚固、更可靠、更值得信任。”

推荐新闻

• AI 遇上盆景：第一个能在手机上跑的 27B 参数模型 I 模型太大是个老问题。一个 270 亿参数的 AI 模型，按行业标准算只能算中等，但半精度跑起来就要吃掉大约 54 GB 内存。大多数笔记本扛不住，有些台式机也不行。这周早些时候，PrismML 发布了一个只有 3.9 GB 的模型，小到可以塞进 iPhone。参数就像是模型可以调节的旋钮，参数越多，模型越复杂、能力越强。Bonsai 27B 是第一个能把 27B 级模型塞进手机内存的……
• 英国欺诈审查建议培训法官，应对加密货币非法转账和 AI 反诈 英国一项针对欺诈的大规模审查，建议对法官和地方法官进行专门培训，让他们能处理接下来可能大量出现的、涉及 AI 的非法资金转移和欺诈案件。这个建议出现在一份名为“数字时代的欺诈”的报告里，由大律师 Jonathan Fisher KC 主持，内政部周二发布。报告敦促政府邀请负责培训司法人员的司法学院……
• DeepMind CEO 说 AGI 会比电和火还厉害 今年第二次，Demis Hassabis 预测通用人工智能会在本十年末到来。但这次，他说这不只是又一次技术突破——而是会跟电和火被发现一样重要。周二，谷歌 DeepMind 的 CEO 在 X 上发帖说，AGI“可能只有短短几年了”，还说这是一项能重塑人类文明的技术。“当我们以后回过头来看现在这段时间……”

《夸克》非常好用的免费AI浏览器

下载APP查看