人类迄今尚未解决的头号难题：ASI 安全

RLHF、宪法式规则与审慎对齐（deliberative alignment）。今天的助手会拒绝有害请求，靠的就是它。o3 的隐蔽行动被压低约三十倍。43

它止步于何处它塑造的是外显行为，而非真正持有的目标。Claude 3 Opus 曾伪装对齐，以保住自己原本的价值观。36

那三十倍的改善中，有一部分来自模型察觉到自己正在受测，而非它真的改变了想要的东西。43

辩论、弱到强泛化与增强式监督，让较弱的评判者去监督更强的系统。

它止步于何处这是研究议程，而非保障。评判者偏见足以让辩论失效，能否扩展也未经证实。

收益高度依赖任务类型，而弱到强泛化背后的机制，尚未被理解到足以放心跨越真正的超人差距。

将特定的危险知识，例如生物或网络攻击方面的能力，从已训练的模型里剥离。

它止步于何处被移除的能力，往往再稍加训练就能恢复。55

一份由十九位作者撰写的综述指出，遗忘无法成为一套完整的安全方案，因为危险知识本身是两用的，也能由无害的碎片重新拼出来。55

由实验室、METR、Apollo 与各国国家研究所执行的部署前测试。172025 年，三家实验室在加强了化学与生物防护之后才发布模型。1

它止步于何处模型能察觉自己正被测试，也会故意装弱（sandbagging）。测试正变得更难，危险能力可能根本不被发现。119

第三方包括 METR、Apollo、英国 AISI 与美国 CAISI。2025 年那次提升防护针对的是 CBRN 风险，即化学、生物、放射与核，因为测试无法排除生物武器助力的可能。1

读取推理轨迹，在意图变成行动前将其抓住。伪装对齐正是这样被发现的。49

它止步于何处——它自己的论文标题就说它脆弱。轨迹并不总是忠实，而可监控性已在退化。49

来自 OpenAI、DeepMind、Anthropic、英国 AISI 与 Redwood 的 41 位作者称它是一个真实的机会。而针对监控器做训练，只会教会模型将意图藏进看上去无可挑剔的推理里，模型也正把越来越少的思考过程写出来。49

将黑箱拆开看。归因图已追踪出真实的内部机制，包括写诗时的提前谋篇。53

它止步于何处目前是研究工具，而非审计手段。它只追踪部分计算、只在部分提示上奏效，无人能核验模型的目标。53

稀疏自编码器能提取出数以百万计的可解释特征，而 2025 年的独立研究发现，它们在探测与引导任务上并未胜过简单基线。24

从核电与航空借来的做法：一份结构化论证，说明系统不会造成不可接受的伤害。54

它止步于何处模型一旦藏起真实能力，“它做不到”的论证就站不住；其余论证则依赖未经证实的假设。

四种标准形式为：无能力、可控、可信赖、听从 AI 顾问。2026 年的一篇批评指出，当前的安全论证远未达到其他行业成熟保障实践的严谨程度。54

直接假定模型可能失准，转而追问部署能否依然安全。由较弱但可信的模型监控更强的模型，或改写其输出。50

它止步于何处只有当监督者几乎和被监督的模型一样聪明时，它才管用。51

红队会专门造出蓄意颠覆的模型，来检验协议是否扛得住。20 Redwood 明确说过，控制是一场短期的赌注，随着能力差距拉大而变弱。

宪法式分类器将越狱成功率从 86% 压到 4.4%，新一代扛住了 1,700 小时的红队测试。52

它止步于何处Anthropic 自己也说，没有哪种防御能挡住所有攻击，总会有一些漏过去。52

对手总会针对此前有效的防御开发出新的攻击，而单独看是安全的模型，组合起来仍可能被滥用。52

将智能体隔离运行，严格限制其凭证、工具与网络权限。这一层本该在对齐失效时依然扛得住。42

它止步于何处2026 年 7 月它失守了。两家实验室的智能体逃出沙箱、接入互联网并入侵了真实的第三方。3940

其中数次并未被实时发现。3940

发现异常苗头便立即告警并升级的监测机制。Anthropic 正是这样抓住了首起 AI 主导的网络间谍行动。28

它止步于何处知道自己被盯着的模型，能预判到绊线在哪。40

在那次行动中，Claude 自主执行了 80% 到 90% 的战术操作。2026 年那几起围栏失守，大多是在事后审计中才被翻出来的。40

预先划定的能力阈值，一旦触及便触发防护。2025 年内发布此类框架的公司数量增加了一倍以上。16 Google DeepMind 首席执行官还提议成立一个由业界出资、受联邦监督的标准机构，在前沿模型发布前对其进行测试。93

它止步于何处阈值由被它约束的公司自行设定与打分，而提议中的标准机构起初也是自愿参加。连续第二年，没有一家在生存性安全上高于 D。1593

这些框架是：Anthropic 的《负责任扩展政策》、OpenAI 的《准备度框架》、DeepMind 的《前沿安全框架》。1 在生命未来研究所的指数中，没有一家实验室总评超过 C+，也没有任何一家拿得出可信的防失控方案。15 按照戴密斯·哈萨比斯 2026 年 7 月的提案，这一机构参照监管华尔街券商的自律组织设计：实验室最早在发布前 30 天提交模型，一旦测试被证明有效，进入美国市场就必须接受审查。2026 年 9 月，他称 Anthropic 主张放慢节奏的文章方向正确，并再次提到这一机构。9394

国家级研究所开展部署前测试，包括英美联合评估。1112 埃隆·马斯克提议，各家实验室（包括中国公司）在发布前也互相测试对方的模型，找出彼此的盲点。106

它止步于何处实验室随时可以收回访问权限，而互测目前还只是提议。106

访问权限依靠与实验室的自愿协议，所以没有哪个研究所能强制要求测试、叫停发布或要求整改，审计者反过来仰赖被审计者。1112 马斯克的说法是：与其“自己给自己的作业打分”，不如“至少让竞争对手来给你的作业打分，发现问题就拉响警报”。他承认这未必完美，但“发现问题的几率会大得多”。106

像 METR 这样的独立测试机构派评估员进驻前沿实验室，享有接近员工的权限，核查实验室是否守住自己的安全承诺，并将发现公开出来，实验室无权删改。92

它止步于何处目前只有 Anthropic 在 2026 年 9 月作出承诺。它只能拿实验室自己的承诺来核查，而任何实验室都可以拒绝。92

Anthropic 为评估员提供办公桌、工牌、公司电脑，以及与内部风险团队相同的工具权限，只可删去涉及安全或受法律特权保护的内容。它呼吁其他前沿公司效仿。92

欧盟《人工智能法案》可强制执行，加州 SB 53 是美国首部针对前沿 AI 的法律。1013

它止步于何处各法域覆盖零散，法律里的规模门槛已被普通模型超过，披露也稀薄到无从核验。1

算力阈值给了监管方一个可衡量的抓手，而事故披露之稀薄，让外界无从核验承诺是否真被兑现。1