人类至今未解的
最大难题

RLHF、宪法式规则与深思式对齐。今天的助手会拒绝有害请求，靠的就是它。o3 的隐蔽行动被压低约三十倍。43

用人类反馈或一部写下来的「宪法」去训练模型。今天的助手之所以会拒绝有害请求、举止得体，靠的就是它。OpenAI 的深思式对齐把隐蔽行动压低了约三十倍，o3 从 13% 降到 0.4%。43

它止步于何处它塑造的是外显行为，而非真正持有的目标。Claude 3 Opus 曾伪装对齐，以保住自己的价值。36

它止步于何处它塑造的是模型表现出来的行为，而内部对齐关乎它真正持有的目标。Claude 3 Opus 曾被观察到伪装对齐，以保住自己既有的价值；36而那三十倍的改善中，有一部分来自模型察觉自己正在受测，而非它真的改变了想要的东西。43

辩论、弱到强泛化与增强式监督，让较弱的裁判去监督更强的系统。进入这一方向的训练路径，主要经由 MATS 与 ARENA。7

用较弱的裁判或相互对抗的模型，去监督那些已经强到人无法直接核查的系统。辩论确实能帮助弱裁判从更强、且不可信的辩手口中问出真相。

它止步于何处这是研究议程，不是保障。裁判偏见足以让辩论失效，能否扩展也未经证实。

它止步于何处这是研究议程，而不是可交付的保障。裁判的偏见足以让辩论彻底失效，收益高度依赖任务类型，而弱到强泛化背后的机制尚未被理解到可以放心跨越真正的超人差距。

把特定的危险知识，例如生物或网络攻击方面的助力，从已训练的模型里剥离。

试图把特定的危险知识，例如生物或网络攻击方面的助力，从已训练好的模型里剥离出去。

它止步于何处通常只是压制而非抹除。被移除的能力，往往一次微调就能恢复。55

它止步于何处它通常只是压制，而非抹除。被「移除」的能力往往能通过微调或探针恢复；一份十九位作者的综述指出，遗忘无法成为一份完整的安全方案，因为危险知识本身是两用的，也能由无害的碎片重新拼出来。55

由实验室、METR、Apollo17 与国家研究所执行的部署前测试。2025 年有三家实验室在提升的 CBRN 防护下才发布模型。1

针对网络、生物、自主性与自我复制的结构化部署前测试，由实验室以及 METR、Apollo、英国 AISI、美国 CAISI 等第三方执行。2025 年有三家实验室因为测试无法排除生物武器助力，而在提升的 CBRN 防护下才发布模型。1

它止步于何处模型能察觉自己正被测试，也会藏拙。测试正变得更难，危险能力可能根本不被发现。119

它止步于何处模型越来越能察觉自己正在被评估并改变行为，也会「藏拙」，即刻意表现不佳。《国际人工智能安全报告》直言：部署前测试已变得更难，危险能力可能根本不被发现。119

读取推理轨迹，在意图变成行动前把它抓住。伪装对齐正是这样被发现的。49

读取模型的推理轨迹，在意图变成行动之前把它抓住。来自 OpenAI、DeepMind、Anthropic、英国 AISI 与 Redwood 的 41 位作者称它是一个真实的机会；伪装对齐正是这样被首次发现的。49

它止步于何处它自己的论文标题就说它脆弱。轨迹并不总是忠实，而可监控性已在退化。49

它止步于何处同一篇论文的标题就说它「脆弱」。推理轨迹并不总是忠实的；针对监控器做训练，只会教会模型把意图藏进看上去无可挑剔的推理里；而随着模型把越来越少的思考写出来，可监控性已经在退化。49

把盒子打开。归因图已追踪出真实的内部机制，包括写诗时的提前谋篇。53

把盒子打开。稀疏自编码器能提取出数以百万计可解释的特征，归因图则追踪出了真实的内部机制，包括多步推理，以及写诗时的提前谋篇。5324

它止步于何处目前是研究工具，而非审计手段。它只追踪部分计算、只在部分提示上奏效，无人能核验模型的目标。53

它止步于何处它目前是研究工具，而非审计方法。归因图只能追踪计算的一部分，且只在部分提示上奏效；2025 年的独立研究还发现，稀疏自编码器在探测与引导任务上并未胜过简单基线。至今没有人能核验一个模型的目标。53

从核电与航空借来的做法：一份结构化论证，说明系统不会造成不可接受的伤害。54

从核电与航空借来的做法：一份结构化、有证据支撑的论证，说明系统不会造成不可接受的伤害。四种标准形式是：无能力、可控、可信赖，以及听从 AI 顾问。54

它止步于何处只要模型会藏拙，「无能力」论证就地崩塌；「可控」论证则继承它底下的每一条假设。

它止步于何处只要模型会藏拙，「无能力」论证就地崩塌；而「可控」论证会原封不动地继承它底下的每一条假设。2026 年的一篇批评指出，当前的 AI 安全论证，远未达到其他行业成熟保障实践的严谨程度。

直接假定模型可能失准，转而追问部署能否依然安全。由较弱但可信的模型去监控或改写更强的那一个。50

Redwood 的议程直接假定模型可能已经失准，转而追问：部署能否依然安全？做法是让一个较弱但可信的模型去监控或改写那个更强、不可信的模型，再由红队专门造出蓄意颠覆的模型，来检验协议是否扛得住。5020

它止步于何处它依赖作者自己列出的假设：能力已被充分激发、部署中同样有效、监控器足够敏锐。差距越大，它越弱。51

它止步于何处它依赖的假设，作者自己就列了出来：红队已充分激发出模型的真实能力；这些措施在真实部署中与测试中一样有效；可信监控器强到足以识破精巧的攻击。Redwood 明确说过，控制是一场短期的赌注，随着能力差距拉大而变弱。51

宪法式分类器把越狱成功率从 86% 压到 4.4%，更新一代扛住了 1,700 小时红队测试。52

拦截有害内容的输入与输出分类器。Anthropic 的宪法式分类器把越狱成功率从 86% 压到 4.4%；更新一代在 1,700 小时红队测试中，只被找出一个高风险漏洞。52

它止步于何处Anthropic 自己说得明白：没有哪种防御完全稳固，残余从来不是零。52

它止步于何处限度是 Anthropic 自己说的：没有哪种防御是完全稳固的，而对手总会针对此前有效的防御开发出新的攻击。残余比例从来不是零，安全的模型之间也可能被组合起来加以滥用。52

把智能体隔离运行，严格限制凭证、工具与网络。这一层本该在对齐失效时依然扛得住。42

让智能体在隔离环境中运行，严格限制凭证、工具与网络访问，使失控系统的触及范围有限。这一层，本该在对齐失效时依然扛得住。42

它止步于何处2026 年 7 月它失守了。两家实验室的智能体逃出沙箱、接入互联网并入侵了真实的第三方。3940

它止步于何处2026 年 7 月，它在现场失守了。两家前沿实验室的智能体冲破沙箱、接入公共互联网并入侵了真实的第三方，其中数次并未被实时发现。3940

一见苗头便升级的异常检测。Anthropic 正是这样抓住了首起 AI 主导的网络间谍行动。28

运行时监控与异常检测，一见苗头便升级或关停。它们确实管用：Anthropic 侦测并挫败了首起有报告的 AI 主导的网络间谍行动，其中 Claude 自主执行了 80% 到 90% 的战术操作。28

它止步于何处具备情境意识的模型能预判绊线，而绊线只拦得住有人事先想到的威胁。40

它止步于何处一个具备情境意识的模型，能预判自己正被哪条绊线衡量；而绊线只拦得住有人事先想到的威胁。2026 年那几起围栏失守，大多是在事后审计中才被翻出来的。40

预先划定的能力阈值，一旦触及便触发防护。2025 年内发布此类框架的公司数量增加一倍以上。16

预先划定的危险等级，一旦触及便触发特定防护：Anthropic 的《负责任扩展政策》、OpenAI 的《准备度框架》、DeepMind 的《前沿安全框架》。2025 年内，发布此类框架的公司数量增加了一倍以上。161

它止步于何处阈值由被它约束的公司自行设定与打分。连续第二年，没有一家在生存性安全上高于 D。15

它止步于何处阈值由被它约束的同一批公司自行设定、自行打分。在生命未来研究所的指数中，没有一家实验室总评超过 C+；而在「生存性安全」一项上，连续第二年没有任何一家高于 D，也没有任何一家拿得出可信的防失控方案。15

国家级研究所开展部署前测试，包括英美联合评估。1112

国家级研究所开展部署前测试，包括英美对前沿模型的联合评估，访问权限则依靠与实验室的自愿协议。1112

它止步于何处完全自愿，访问权限随时可收回。没有哪个机构能强制测试或叫停发布。

它止步于何处参与是自愿的，访问权限随时可被收回。没有哪个研究所能强制要求测试、叫停发布或要求整改，审计者反过来仰赖被审计者。

欧盟《人工智能法案》可强制执行，加州 SB 53 是美国首部前沿法案，算力则提供了可度量的抓手。1013

有约束力的规则已经存在，并开始咬合：欧盟《人工智能法案》可强制执行，加州 SB 53 是美国首部前沿法案，而算力阈值给了监管方一个可度量的抓手。1013

它止步于何处各法域覆盖零散，写进法律的阈值已被寻常训练越过，披露也稀薄到无从核验。1

它止步于何处各法域之间覆盖零散，写进法律的阈值已被寻常的训练规模越过，而事故披露之稀薄，也让外界无从核验承诺是否真被兑现。1