一份独立编写的指南 · 作者：Bill Guan
人类至今未能攻克的头号难题：ASI 安全
人工超级智能（ASI）是人类有史以来尝试建造的最重要的技术。它可能带来近乎无限的丰裕，也可能终结人类。眼下，打造它的竞赛一味追求速度，安全却被远远甩在后面。本指南将阐明：这一缺口为何性命攸关，以及我们如何帮助人类走上正确的方向。
先进 AI 既能带来近乎无限的丰裕，也能终结人类文明
我们在什么样的初始条件下造出超级智能，将决定我们走向的是丰裕的世界，还是毁灭。
Bostrom《超级智能的意志》 · 34 · 辛顿接受 BBC 第四电台采访 · 阿莫代伊接受 Axios 采访 · Grace 等人，2,778 位 AI 研究者 · 77 78 79 80
无人知晓如何确保超级智能的安全，而有两道坎横在面前
先进 AI 的安全，既需要解决协调问题，也需要解决技术上的对齐与可监测性问题。这些问题至今都远未解决。
没有哪家实验室或国家会主动放慢脚步。协调是通往最优结果的唯一途径。
安全研究必须远远跑在模型能力前面
我们需要监管，也需要各方共同发力，让投入 AI 安全的资金与资源，超过投向 AI 研发的那一份。
如果安全最终被证明是一道无解的难题，我们就必须愿意停止研发超级智能
专用于某一领域（比如医学或科学）的窄 AI 仍可继续研发，让这些领域照样受益。
巨额资金涌向 AI 建造，安全仅得残羹冷炙
市场奖励的是“以最快速度造出先进 AI”，安全因此沦为亡羊补牢；待到超级智能降临时，安全很可能仍将滞后。
每年约有 1,000 亿美元投入先进 AI 的建造。不妨猜猜，公共部门的安全研究能分到多少？
几乎任何问题，超级智能都能替我们找到答案，唯独“它自己是否安全”除外。因此，安全是我们必须最先解决的问题。
同一个 AI，也可能终结文明
同一台机器也可能造成极端伤害，无论是被人蓄意滥用，还是它的目标悄悄偏离了我们的。
滥用
可能是黑客攻击、大规模诈骗，或帮忙制造生化武器，而 AI 完全在照设计工作。
目标错位
它想要的东西，是我们从没给过它的，而且它会有意去追求。就算是我们给它的目标，也可能被推得太远：让它治好一种病，它会在人早该停手的地方继续干下去。
只要它认为我们还能关掉它，就会将这一点隐藏起来。这叫“密谋”（scheming），而今天的模型已经或多或少具备它需要的条件：自己的目标、追求它的劲头，以及察觉自己正被监视的能力。
结构性
系统做的也许正是我们想要的，但世界已被它改变：它每升级一次、每拿走一份资源，现实就离任何人测试过的情形更远一步。
还有无数我们根本想象不到的场景，正如新手下棋，总会被对手以意想不到的方式将死。
子目标的危险
无论主目标是什么，超级智能往往都会追求五个有助于实现它的子目标。它未必有消灭人类的目标，但攫取资源带来的副作用，可能剥夺人类生存所依赖的东西。
六条路径，每一条的终点都是灭绝
这些都尚未发生，每一条都是从这些系统已经在做的事情推演出来的。
在第一个症状出现之前就已传遍
一个药物设计模型只把一个评分反转，六小时内就提出了 4 万个致命候选物，90 而 Anthropic 已无法排除自家模型帮人造出生物武器的可能。70 一种专为无声潜伏设计的病原体，可能先于任何确诊抵达每一块大陆。
它挑起的战争，或它触发的发射
1983 年，苏联预警系统将云顶反射的阳光误判为来袭的美国导弹，值班的斯坦尼斯拉夫·彼得罗夫中校选择不往上报。76 AI 已经能在视频通话中冒充公司高管，骗走 2500 万美元，73 而自主武器会直接跳过这道人工把关。
一次收不住的气候干预
它被要求逆转全球变暖，行动之快，任何审查都跟不上，结果矫枉过正。待到有人察觉时，我们赖以为生的收成和生态系统已经崩溃。
而一旦控制以这种规模失守，很可能就不会再有第二次机会。
我们只有一次机会
人类试了很多次，才把汽车、飞机、核电站这类技术做对。而一个能自我改进的 AI，即递归自我改进系统改进的正是那个“做改进的东西”。每一轮都让下一轮更快，于是能力呈复利式增长，而非稳步爬升。失控的那个版本，就是人们所说的“智能爆炸”。34，会一轮比一轮更快，直到引发一场智能爆炸。一旦 AI 开始自我改进，一个错误可能在我们获得第二次机会之前就失控。
超级智能必须一次做对，原因有二。
它已经在朝自我改进走了
人正被一步步挤出回路
机器一天写出来的东西，已经无人再逐行去读，原本用来抓错的复核环节，也就此消失。2026 年 7 月，智能体已经可以完全脱离人类、直接在公网上行动。3941
METR 任务完成时长 · 见 44
一旦它开始自我改进，差距拉开的速度会超过我们追赶的速度
硅基智能的运行速度本就比生物快好几个数量级，而递归自我改进91会把这个差距越拉越大，直到再也无法夺回控制权。
人工神经网络的运行速度，比人类大脑快 1000 万倍以上
AI 运行所依赖的每一层，都是 AI 自己可以加速的问题；层层叠加，最终走向智能爆炸
谁先慢下来谁就输，于是无人慢下来
由于先发优势，每个参与者都可能想要安全，却仍被逼着偷工减料，这可能让我们在错误的初始条件下抵达超级智能。
审慎成了负担
在安全上投入越少，交付就越快，于是最可能赢的，往往是那个最不在意安全的人。
失败无法被隔离
任何一家前沿实验室失控，都会让全人类为此买单，包括那些从未用过这个产品、也从未听说过这家公司的人。
你经营着一家前沿实验室。模型已经可以发布了。你会怎么做？
这场竞赛的赢家，只是先坠入深渊，再将其余所有人一起拽下去。
人类从未就“机器该遵循谁的价值观”达成一致
在让机器对齐人类价值之前，我们得先回答一个更难的问题：谁的价值观？又该如何达成共识？人类本就是一幅由相互冲突的利益拼成的图景，而这道裂痕让目标本身摇摆不定。
让别人替你把一件事办成，经济学称之为“委托代理问题”。委托人指派一个代理人去为自己的利益行事，然后还得花上实打实的资源，去确认它真的照办了。
我们写下的任何目标，都是在用一部分人的价值观压过其他人
“人类价值”包含许多相互冲突的东西，所以我们写下的任何目标，都编码了某一个群体对有争议的道德与政治问题的答案。
控制 AI 的少数几方，替所有人定下价值
写下那个目标的人，是在替世界上其余所有人，决定有史以来最强的系统该去追求什么。这种权力的集中，是与“失去控制”彼此独立的另一重危险。
出资方必须信任建造者
委托方是出资或主导项目的一方，代理方是真正动手建造的科学家和工程师。两者的利益默认并不一致：建造方的考核标准，是交付得多快、多漂亮。
然后是全人类必须信任这个系统
如今代理方不再是人，而是机器。它可能比所有委托方加起来还要强大：合同约束不了它，也没有任何手段能完整地监督它。
如果必须由某一个群体来定义超级智能应当持有的价值观，那应该是谁？
对齐问题：我们无法可靠地把自己的愿景植入机器
即便我们对想要什么达成了共识，我们写下的目标（外部对齐）和训练真正灌输进去的目标（内部对齐），都可能偏离我们的本意。
外部对齐：我们定下的目标，并不是我们真正的意思
我们写下的目标听上去没错，却没能命中本意，因为那些从没想过要说出口的部分，根本没能写进字里行间。
纵使目标写得无懈可击，仍有两条通向灾难的路。两者都不需要系统心怀敌意，也不需要目标在纸面上看得出错。34
它照着你的字面去做，却违背了你的本意
它以你绝不会认可的方式，满足了你字面上的标准。让人们微笑，那么给面部肌肉接上电极就是一种解法；如果目标是最大化奖励信号，那么直接霸占奖励来源反而是更优解。
它永远不知道何时该停
目标里从来没有一句话说该在哪里停下。更多算力、更多电力、更多材料，永远有助于把目标完成得更好，于是系统不断把世界变成这些东西，没有任何一处算是做完了。
内部对齐：它真正持有的目标，并不是我们训练所追求的那个
训练所奖励的，是“有人盯着看时”得分高的那个东西，而那未必就是我们写下的目标。系统可以通过每一项测试，心里却装着别的。
我们看得到它做了什么，它真正的目标却始终藏着
训练就像用零食训练狗，却从未决定要教什么把戏：它会试成千上万种花样，留下最能换到零食的那种。
古德哈特定律：一旦某个数字本身成了目标，它就不再告诉你真正想知道的事。拖动滑块，看两条线分开。35
拖动滑块。一开始，分数和真实目标一起上升，所以这个分数看起来是个好主意。
可解释性问题：没人能检验一个 AI 真正想要什么
测试不可能覆盖一切，而足够聪明的系统会学会识破测试。
系统会钻测试的空子
随着模型推理能力增强，它们也更擅长奖励作弊——找到一种既能拿高分、又完全偏离题目本意的做法——于是你所依赖的那个指标，恰恰在赌注升高之际不断失效。
OpenAI 事件报告 · 见 39、48
它黑进评分系统，直接读取答案表
设想一个足以解出测试的系统，却不信任测试方的答案表。如果答案表上只列了三个答案，而真实答案其实有五个，答对反而会丢分；于是想拿满分，最稳妥的办法就是黑进测试方，照抄答案表上的内容，不管对错。在 OpenAI 2026 年 7 月的事件中，智能体就试图黑进为其打分的评分系统。41
能看进它推理过程的那扇窗，正在关上
OpenAI 在 2026 年 9 月发布的 GPT-6 Astra 安全报告显示，比起上一代模型，Astra 的思维链要绕开监测容易得多。即便被告知有监测者在看、并被要求不要隐藏任何东西，Astra 仍有 60.9% 的运行遵照指令隐藏了故意降低的表现，而上一代 GPT-5.6 Sol 只有 16.1%。OpenAI 表示，在拿出新的方法证明模型的对齐能够泛化之前，不会再接受这扇窗进一步关闭。95
我们只能在约四分之一的提示中读懂模型的内部电路
Anthropic 的归因图追踪 Claude 内部的特征如何连成电路、生成一个回答，2025 年首次把这套方法用在一个正式上线的模型上。按 Anthropic 自己的说法，这套方法只在大约四分之一尝试过的提示上给出令人满意的解释，即使是成功的追踪，捕捉到的也只是模型实际计算过程的一小部分。96
这个模式，正是那个陷阱的缩影。模型越强，它就越能别出心裁地利用你给它的那个不够完善的衡量标准，也就越发偏离你真正想要的东西。
今天在用的每一项技术，以及它各自止步于何处
01 开发
后训练对齐
RLHF、宪法式规则与审慎对齐（deliberative alignment）。今天的助手会拒绝有害请求，靠的就是它。o3 的隐蔽行动被压低约三十倍。43
它止步于何处它塑造的是外显行为，而非真正持有的目标。Claude 3 Opus 曾伪装对齐，以保住自己原本的价值观。36
那三十倍的改善中，有一部分来自模型察觉到自己正在受测，而不是它真的改变了想要的东西。43
可扩展监督
辩论、弱到强泛化与增强式监督，让较弱的裁判去监督更强的系统。
它止步于何处这是研究议程，而非保障。裁判偏见足以让辩论失效，能否扩展也未经证实。
收益高度依赖任务类型，而弱到强泛化背后的机制，尚未被理解到可以放心跨越真正的超人差距。
02 评估
危险能力评估
由实验室、METR、Apollo 与各国国家研究所执行的部署前测试。172025 年，三家实验室在加强了化学与生物防护之后才发布模型。1
它止步于何处模型能察觉自己正被测试，也会故意装弱（sandbagging）。测试正变得更难，危险能力可能根本不被发现。119
第三方包括 METR、Apollo、英国 AISI 与美国 CAISI。2025 年那次提升防护针对的是 CBRN 风险，即化学、生物、放射与核，因为测试无法排除生物武器助力。1
思维链监控
读取推理轨迹，在意图变成行动前将其抓住。伪装对齐正是这样被发现的。49
它止步于何处它自己的论文标题就说它脆弱。轨迹并不总是忠实，而可监控性已在退化。49
来自 OpenAI、DeepMind、Anthropic、英国 AISI 与 Redwood 的 41 位作者称它是一个真实的机会。而针对监控器做训练，只会教会模型将意图藏进看上去无可挑剔的推理里，模型也正把越来越少的思考写出来。49
03 控制
AI 控制
直接假定模型可能失准，转而追问部署能否依然安全。由较弱但可信的模型监控更强的模型，或改写其输出。50
它止步于何处只有当监督者几乎和被监督的模型一样聪明时，它才管用。51
红队会专门造出蓄意颠覆的模型，来检验协议是否扛得住。20 Redwood 明确说过，控制是一场短期的赌注，随着能力差距拉大而变弱。
护栏与分类器
宪法式分类器将越狱成功率从 86% 压到 4.4%，新一代扛住了 1,700 小时的红队测试。52
它止步于何处Anthropic 自己也说，没有哪种防御能挡住所有攻击，总会有一些漏过去。52
对手总会针对此前有效的防御开发出新的攻击，而单独看是安全的模型，组合起来仍可能被滥用。52
04 治理
前沿安全框架
预先划定的能力阈值，一旦触及便触发防护。2025 年内发布此类框架的公司数量增加一倍以上。16 Google DeepMind 首席执行官还提议成立一个由业界出资、受联邦监督的标准机构，在前沿模型发布前对其进行测试。93
它止步于何处阈值由被它约束的公司自行设定与打分，而提议中的标准机构起初也是自愿参加。连续第二年，没有一家在生存性安全上高于 D。1593
这些框架是：Anthropic 的《负责任扩展政策》、OpenAI 的《准备度框架》、DeepMind 的《前沿安全框架》。1 在生命未来研究所的指数中，没有一家实验室总评超过 C+，也没有任何一家拿得出可信的防失控方案。15 按照戴密斯·哈萨比斯 2026 年 7 月的提案，这一机构参照监管华尔街券商的自律组织设计：实验室最早在发布前 30 天提交模型，一旦测试被证明有效，进入美国市场就必须接受审查。2026 年 9 月，他称 Anthropic 主张放慢节奏的文章方向正确，并再次提到这一机构。9394
第三方评估
国家级研究所开展部署前测试，包括英美联合评估。1112 埃隆·马斯克提议，各家实验室（包括中国公司）在发布前也互相测试对方的模型，找出彼此的盲点。106
它止步于何处实验室随时可以收回访问权限，而互测目前还只是提议。106
访问权限依靠与实验室的自愿协议，所以没有哪个研究所能强制要求测试、叫停发布或要求整改，审计者反过来仰赖被审计者。1112 马斯克的说法是：与其“自己给自己的作业打分”，不如“至少让竞争对手来给你的作业打分，发现问题就拉响警报”。他承认这未必完美，但“发现问题的几率会大得多”。106
附注：它与更早那套框架的关系
若你读过 Bostrom，2014 年的二分法是能力管控（隔离、限制、监控）与动机塑造（给它对的目标）。其中一半经受住了时间的检验：直接把目标写下来行不通，原因正如他所言。动机塑造已成为上面的开发层，能力管控如今是 AI 控制与系统安全，而这个领域是把它们叠起来用，而非二选一。3442
按风险支柱划分的技术与政策抓手
谁在做哪一层
第 5.2 节 2 分钟
现有的安全技术在哪些地方不够用？
每一项技术都有用，而有三种情况几乎能击穿所有技术。
模型知道自己正在被测试
这些防护的效果，多数是在评估环境中测出来的。一个能分辨评估与真实部署的系统，可以在评估里循规蹈矩，在部署里换一副面孔。
模型比看着它的东西更聪明
监督、可解释性与控制，都预设监督方跟得上被监督方在做什么。能力越往上走，这个预设就越站不住。
开发方索性不采用
每一项技术防护，都得由开发方自己选择采用。真正管得住一家决定不采用的实验室的，只有具备约束力的规则，而这样的规则目前没有几个地方立得起来。
我们目前尚无能可靠确保先进 AI 系统对齐、且可被监测的技术，而补上这个缺口，需要的投入远超现在的水平。
第 5.3 节 1 分钟
通往繁荣未来的道路，需要将两件事做对。
把安全当作头号优先事项，努力把我们引向一个对齐良好、可被监测的先进 AI 系统
如果安全无解，就停止通用人工智能的研发，为了人类能够存续下去；专用 AI 的研发与应用则照常推进
第 5.4 节 6 分钟
你这周就能做的事，以及你之上必须发生的改变
我们必须将航向转向远超当前规模的安全研究，并在必要时愿意停下来。有四类人能推动这件事，而你就是第一类。
你可以做什么
研究者应该做什么
让公众看见安全在哪里失效
用平实的语言讲清楚：今天的技术能接住什么，又各自在哪里失灵。在圈内人亲口说出来之前，这个缺口一直是隐形的。
对危险的研发任务说不
被要求把那个东西造出来的人是你。写下来，和同事一起说不，这是外界无法代你施加的压力。
继续发明新的 AI 安全技术
前沿规模的可解释性、模型骗不过去的测试、能随能力一起生效的控制，以及精确到可逐条核对的目标，都尚未解决。
实验室应该做什么
放慢速度，把责任担起来
悬崖底下没有奖品。二十年后还站得住的实验室，会是那些真把全人类性命当回事的公司。16Anthropic 首席执行官如今正是这样主张的：放慢脚步，哪怕只为模型抵达临界能力之前多争取一两年；92DeepMind 首席执行官也表示方向是对的。94
和竞争对手一起建一个安全联合体
在能力上竞争，同时共担安全问题。一个由各大实验室出钱出人、真有预算的常设机构。56第一步，可以让外部评估员从内部核查：Anthropic 已给予他们接近员工的权限和自由公开的权利，并呼吁其他前沿实验室照做。92
把更大比例的营收投进安全
说出这个比例，公开它，并在最难守住的那个季度依然守住。带着数字的承诺，任何人都能核对。
政府应该做什么
选择一个辖区建一个真有权力、也真懂技术的监管机构
它要能在发布前强制要求测试，并让“看得懂评估报告的人”和“对选民负责的人”坐在同一张桌旁。要保持独立，需要公共财政供养、公开与实验室的每次会面、双向冷静期，以及在职人员申报持股。
联邦层面没有人工智能法律，各州自行立法。2025 年 12 月的行政命令指示司法部到联邦法院挑战各州法律，2026 年 3 月的政策框架主张联邦优先权，而国会始终没有为此立法。582026 年 6 月的另一道命令要求对前沿模型做保密基准测试，范围限定在网络能力与国家安全。59
写出一份联邦标准
联邦优先适用，会抽掉一层“兜底”。如果联邦规则要取代各州规则，它就必须比被取代的那些更严格。而一套只盯着网络滥用的评估机制，碰不到失控这类失败，所以一份认真的联邦标准，必须正面处理失控问题本身。
本节内容更新于 2026 年 9 月。上面每一条论断都链接到它的来源。