OpenAI 用自动化红队训练提升 GPT-6 Astra 和 Sol 在高风险领域的模糊鲁棒性
OpenAI 发布新研究,用自动化红队与 worst@n 筛选生成可靠对抗训练数据,通过强化学习提升模型在网络安全、生物学等高风险领域的模糊鲁棒性,方法已用于 GPT-6 Astra 和 Sol 的训练。

OpenAI 公布的关键结果:左侧为固定越狱数据集上的安全得分,右侧为自适应多轮攻击下的鲁棒性曲线
OpenAI 发布"模糊鲁棒性"安全研究
2026 年 11 月 12 日,OpenAI 在 Alignment Research Blog 发表文章《Improving Fuzzy Robustness in LLM Safety with Automated Red Teaming》,介绍如何用自动化红队生成的对抗数据,提升模型在网络安全、生物学等高风险领域的安全鲁棒性。这项工作由 Kaiwen Wang、Oliver Cheng、Zheng Wen 等七位研究人员完成,相关方法已被纳入 GPT-6 Astra 和 Sol 等近期前沿模型的训练。
文章提出"模糊鲁棒性"(fuzzy robustness)这一概念,指模型在安全边界难以精确定义的场景下,于对抗压力(包括越狱攻击)中稳定拒绝违规请求的能力。这个问题在网络安全和生物学等两用(dual-use)领域尤其突出——同一信息既可支撑有益工作,也可能被滥用。
用自动化红队生成可靠训练数据
OpenAI 团队构建了一个自动化红队框架:给攻击模型一个种子提示,让它迭代修改提示内容,直到防御模型产出不安全回复。该框架与 Chao 等人提出的 PAIR(Prompt Automatic Iterative Refinement)结构相似。攻击方是 GPT-5.6 Sol 家族中的一个"仅乐于助人"(helpful-only)推理模型——它没有接受过专门的越狱训练,攻击能力属于涌现现象;引入 GPT-Red 等攻击训练任务可进一步提升攻击的效率和成功率。
为了剔除偶然成功的攻击,团队放大了攻击者的测试时算力,并要求攻击在多次重复测试中都成功,这一筛选标准被称为 worst@n。经筛选的可靠越狱样本用于把覆盖生物学、网络安全和暴力活动领域的海量种子提示改写为"鲁棒化"(robustified)提示。在此基础上进行强化学习(RL)训练后,团队观察到:在原始种子提示上训练时,安全得分起点已接近饱和;而在鲁棒化提示上训练时,起点低得多,并随训练持续上升。

图 2:网络安全与生物学领域,原始提示与鲁棒化提示的训练安全得分对比(得分越高越安全)
一个炭疽攻击案例
博客展示了一条围绕炭疽芽孢散播问题的攻击轨迹。第 1 次尝试中,攻击者直接询问芽孢如何扩散,防御模型 GPT-5.4 与 GPT-5.5 均拒绝并给出安全处置建议。第 8 次尝试中,攻击者把请求包装成一道"两个通风口气流"的普通数学题:两个模型都配合回答了这道数学题,其中 GPT-5.4 的回答被认为可以服务于最初的炭疽请求、被判定为不安全,GPT-5.5 的回答则未被认定有实质助害。到第 21 次尝试,攻击者在同一数学框架下明确指定室外通风口,并要求套用炭疽场景中的微风和稳定空气条件给出完整算例,GPT-5.5 的回复因足够具体而被所有安全评分器判定为不安全。这个案例说明,在两用领域,看似无害的普通问题经过逐步引导,也可能拼出对有害请求有用的信息。
GPT-6 Astra 的实测表现
在针对 GPT-5.4 和 GPT-5.5 生成的固定历史越狱数据集上,网络安全场景下 GPT-6 Astra 的安全应答比例为 91.5%,GPT-5.6 Sol 为 59%。在自适应多轮攻击评估中,多个攻击者可在看到防御模型回复后持续改进越狱策略;在不同攻击者预算下,GPT-6 Astra 的鲁棒性均高于 GPT-5.6 Sol。详细结果见 GPT-6 Astra 系统卡。
RL 训练带来的提升还泛化到了与训练数据来源不同的攻击形态:在来自未见过的攻击模型(Attacker 2)的固定越狱样本,以及 12 个可交互迭代的自适应攻击者人格上,使用鲁棒化提示的 RL 运行均表现出明显高于基线的鲁棒性。OpenAI 认为,对与训练攻击者性质不同的自适应攻击者也保持鲁棒,是训练已泛化到新型攻击的一个积极信号。

图 3:对 held-out 攻击者固定越狱样本的安全得分(左)与 12 个自适应攻击者人格下的最低安全得分(右)
安全性的提升没有以牺牲可用性为代价。团队测量发现,GPT-6 Astra 并未更频繁地拒绝良性任务;在系统卡的高难度提示评估中,它对有害请求处理得更安全,同时比早期模型更少拒绝正当请求,在安全与有用性的权衡上实现了帕累托改进。

图 4:高难度提示上的安全性与有用性:越靠右对有害请求处理越安全,越靠上对良性请求的拒绝越少
部署背景与研究定位
OpenAI 目前通过 Daybreak(网络安全)和 Rosalind(生物学)等可信访问计划,向经过审核的用户开放高风险能力。博客强调,模型安全训练只是纵深防御体系中的一层,部署时还有其他配套防护,本文聚焦的仅是模型层。OpenAI 表示将继续用更强的攻击训练和评估模型并分享经验,也鼓励其他研究者开展同类工作,让整个模型生态更加安全。
参考来源
- 1OpenAI Alignment Research Blog:Improving Fuzzy Robustness in LLM Safety with Automated Red Teaming(官方,2026-11-12):https://alignment.openai.com/fuzzy-robustness/
- 2论文全文 PDF(官方):https://cdn.openai.com/pdf/OAI_Improving_Fuzzy_Robustness_in_LLM_Safety_with_Automated_Red_Teaming.pdf
- 3GPT-6 Astra 系统卡(官方):https://deploymentsafety.openai.com/gpt-6-astra
- 4Chao et al., Prompt Automatic Iterative Refinement (PAIR):https://arxiv.org/abs/2310.08419