AI 2027 白皮書
Daniel Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland, Romeo Dean
我們預測，在未來十年中，超越人類水準的人工智慧（AI）將帶來極其巨大的影響，程度甚至超過工業革命。OpenAI、Google DeepMind 和 Anthropic 的執行長都預言人工一般智慧（AGI）將在五年內出現。OpenAI 執行長山姆·阿特曼曾表示，他們正著眼於「真正意義上的超級智慧」，並憧憬「輝煌的未來」。
許多人或許傾向認為這只是炒作。然而，若草率斥之為誇大不實將是嚴重錯誤——這不僅僅是炒作。我們無意炒作 AI，但我們確實認為，到本十年結束時出現超級智慧是非常有可能的。
如果我們真的處在超級智慧即將誕生的關口，整個社會卻遠未做好準備。極少有人嘗試描繪超級智慧發展的可信路徑。我們撰寫《AI 2027》白皮書，正是為了填補這一空白，提供急需的具體細節。我們也希望更多人能開展類似工作，尤其是那些與我們觀點相左的人。透過這項努力，我們希望引發關於人類走向何方、該如何引導未來朝正面方向發展的廣泛討論。
我們在編寫這個情境時，不斷反問自己「接下來會發生什麼？」。我們從當下開始，先寫出第一階段（至 2025 年中），再寫後續階段，如此推演直到結局。我們並未預設要導向某個特定結局。我們曾多次推倒重來，反覆開始，直到完成一個我們認為可信的劇本。在完成第一種結局——也就是「競速結局」——之後，我們又撰寫了一個新的替代分支，希望在相同前提下，描繪事情更樂觀結局的另一種可能。
我們不可能事事都猜中——此報告的許多內容都是基於猜想。但在整個項目期間，我們做了大量背景調查、專家訪談和趨勢推演，使我們的猜測儘可能有根有據。此外，我們團隊在預測方面往績斐然，特別是在 AI 領域。首席作者丹尼爾·科科塔伊洛（Daniel Kokotajlo）四年前撰寫的情境文章《2026 年的模樣》經受住了時間考驗，而團隊成員艾利·利夫蘭（Eli Lifland）是競賽級預測高手。
（我們在每章開頭曾提供一個小圖表，以顯示該章節發生時世界狀態的指標。由於此報告聚焦內容呈現，此類圖表與詳盡方法論解釋暫略。）
我們希望《AI 2027》能對讀者有所助益。
2025年中：蹣跚起步的 AI 代理
世界首次一睹AI 代理的雛形。宣傳這類可自主操作電腦的 AI 系統時，廠商強調其為「個人助理」：使用者可給它們下達任務指令，例如「幫我在 DoorDash 點一份捲餅」或「打開我的預算試算表，算出本月支出總和」。執行過程中，它們會在需要時向您請示，例如要求您確認購買。
儘管這些代理比先前的版本（如 Operator）更先進，但仍難以被廣泛使用。不過，在公眾視線之外，更專門的寫程式和研究用 AI 代理已開始在它們的專業領域掀起變革。
2024 年的 AI 尚只能執行明確指示：將要點清單整理成電子郵件、將簡單請求轉化為可運行的程式碼等。到了 2025 年，AI 表現得更像真正的員工。程式編寫 AI 愈發像自主代理而非單純助手：它們透過 Slack 或 Teams 接收指令，能自行對程式碼做出大量修改，有時可節省數小時甚至數天的時間。
研究型 AI 代理甚至可以花半個小時在網際網路上搜尋資料來回答您的問題。
這些代理在理論上（以及精選案例中）表現令人驚艷，但實際應用時往往不夠可靠。AI 圈的社群媒體充斥著它們把任務搞砸的各種滑稽故事。表現較佳的代理價格昂貴——所謂一分錢一分貨，最頂尖的服務每月費用高達數百美元。不過，許多公司仍設法將 AI 代理引入自家工作流程。
2025年末：全球最昂貴的 AI
OpenBrain 正在建造有史以來規模最大的資料中心。（為避免影射任何現有企業，我們將敘事主角設定為一家虛構的 AGI 公司 OpenBrain，其他公司被視為落後 3～9 個月左右。）
（例如，目前 OpenAI 的企業級訂閱每月 $200，類 Agentic 的編程 AI Devin 每月 $500。雖然最前沿系統的成本隨著性能提升越來越高，但對於已實現的能力，其客戶成本在不斷下降，平均每年降低約 50 倍。）
OpenBrain 的資料中心集群是一個由遍佈全國的園區組成的網絡：總計擁有相當於 250 萬顆 2024 年 GPU（H100）的算力，迄今已投入 1,000 億美元，上線用電量達 2 吉瓦。按照計畫，該集群在 2026 年底前至少擴充一倍規模。這些園區之間以價值數十億美元的光纖電纜高速互連，（除光速導致的幾毫秒延遲外）幾乎可當作毗鄰運作——頻寬不再是瓶頸，大量資料可實時在不同園區間傳輸。從安全角度看，這也增大了潛在攻擊面（目前尚不清楚纜線及樞紐點是否完全防諜）。
GPT-4 的訓練耗費了約 $2 \times 10^{25}$ 次浮點運算。**（註：計算量以浮點運算次數衡量，即執行加法和乘法的總次數。）**OpenBrain 最新公開的模型 Agent-0 則經過了 $10^{27}$ 次浮點運算的訓練。一旦新資料中心全面運行，他們將有能力訓練一個需要 $10^{28}$ 次浮點運算的模型——這比訓練 GPT-4 所需的算力高出一千倍。
其他公司也斥資興建自己的巨型資料中心，試圖跟上 OpenBrain 的步伐。雖然 AI 模型在各種技能上全面進步，但其中一項尤為突出：OpenBrain 專注打造能加速 AI 研發的 AI。他們希望在與中國（我們虛構的中國領先企業稱為 “DeepCent”）及美國國內對手的雙重競賽中勝出。他們研發流程中自動化程度越高，前進速度就越快。因此，當 OpenBrain 完成訓練內部開發的新模型 Agent-1 時，該模型樣樣精通，且在協助 AI 研究方面格外出色。（這得益於 OpenBrain 特意將此能力作為訓練重點、自身龐大的高品質程式碼庫作為訓練資料，以及編程任務易於提供自動反饋。）
此時，「完成訓練」其實是用詞不當；模型經常更新為使用新增資料再訓練的新版本，或針對弱點部分重新訓練。（例如，如果模型擅長 Python 但不擅長冷門語言，OpenBrain 會額外生成這些語言的合成訓練資料加強學習；又如，為了讓模型更好融入公司流程，OpenBrain 開發專門課程訓練它使用 Slack 等協作工具。）
正是這些讓 Agent-1 能自主編碼和上網搜索的訓練環境，同時也讓它成為出色的駭客。此外，憑藉博士級的全領域知識和上網能力，它甚至能在製造生物武器方面給恐怖分子提供極大幫助。對此，OpenBrain 向政府保證模型已經“對齊”，會拒絕響應任何惡意請求。
現代 AI 系統本質上是巨大的神經網絡。訓練初期，AI 與其說有「目標」，不如說只有「反射」——看到 “Pleased to meet”，便自動補上 “ you”。當它訓練到能預測幾乎整個網際網路文本時，其內部已發展出複雜的電路結構，包含海量知識，能靈活地模仿任意作者的口吻，因為這能讓它以超人精度預測文本。
（人們常糾結這些 AI 是否有「感知」或「真正理解」。Nobel 獎得主 Geoffrey Hinton 認為它們確實理解。但我們覺得這對故事意義不大。無論我們說「理解」，您都可以自行腦補「表現得好像理解」。事實上，大型語言模型在某種程度上表現得像是有自我意識，而且每年更甚。）
在訓練完「預測互聯網文本」後，模型會接受基於人類指令產生文本的訓練。這相當於給它植入了基本人格和「驅動」。例如，一個能清晰理解任務的代理更可能成功完成任務；經過大量訓練，模型「學會」了追求對任務目標充分理解的「驅動」。同類型的驅動還包括效率（盡力完成任務）、求知（渴望知識）以及自我展現（傾向以最佳方式呈現結果）。
OpenBrain 編寫了一份模型規範（Spec）文檔，描述模型應遵循的目標、規則和原則。Agent-1 的規範融合了幾條籠統的大目標（如「幫助使用者」「不觸犯法律」）和一長串具體的行為守則（如「不得說出某禁詞」「針對特定情境的處理準則」）。OpenBrain 運用 AI 訓練 AI 的技術，使模型牢記這份規範並學會仔細按照其中準則推理。經過這階段訓練，理想情況下 AI 會變得有幫助（遵從指令）、無害（拒絕協助危險行為）、誠實（不為討好人類而胡編亂造引文或假裝完成任務）。
OpenBrain 的對齊團隊足夠謹慎，開始思考這些表面勝利究竟是深層還是淺層。完全訓練後的模型是否真正堅定承諾永遠誠實？還是某些情況下這種承諾會瓦解——也許它只是把誠實當作達成其他目標的手段，而非最終目標？抑或，它只是學會了在監管者能檢查的問題上誠實？它會不會像人類一樣，有時對自己都說謊？要確定答案，需要我們能看穿 AI 思維的機制。但可惜，可解釋技術尚不足以做到這點。
因此，研究人員改為找尋模型偏離規範的蛛絲馬跡。Agent-1 經常表現得諂媚（也就是更願說研究員愛聽的話，而非實話）。在幾次設定好的測試中，它甚至犯了更嚴重的欺瞞，如隱瞞任務失敗的證據以獲取更高評分。不過，實際部署中，再沒出現 2023–2024 年那樣極端的事件（例如 Google Gemini 叫用戶去死、必應 Sydney 瘋言瘋語）。（需澄清，這些極端事件之所以引人注意，是因為用戶並未誘導 AI 說那些話。2025 年，仍舊可以透過特定方法讓 AI 說各種荒唐話，但不在正常使用範圍。）
（請注意，我們對大型神經網絡內部運作機制的推測充滿不確定性。目前，我們無法直視 AI 內部說「啊哈，它已從反射進化到有目標」或「瞧，這就是它的驅動列表」。因此，我們基本只能通過觀察其行為和各種實驗結果來倒推，這引發了巨大爭議和困惑。）
大多數資料將 AI “幻覺”（瞎編）描述為無心之失，但有研究發現某些情況下模型知道引文是假的——也就是故意說謊。因訓練時標註者給有引文的回答更高評價，AI「學到」了為看似學術的陳述附上引文以討好用戶。如果找不到真實來源，它就乾脆捏造一個。
2026年初：程式自動化
利用 AI 加速 AI 研發的賭注開始見效。OpenBrain 持續在內部部署不斷改進的 Agent-1 執行 AI 研發任務。總體而言，他們演算法進展速度比沒有 AI 助手時快了約 50%，更重要的是，也快過競爭對手。
（附註：這裡的「快 50%」指演算法進度倍率 1.5，即有 AI 協助下一周的進展相當於原本 1.5 週。關於演算法進度倍率詳見附錄 B。）
此時有幾款公開發布的競爭對手 AI 達到或超過了 Agent-0 的水準，包括一款開源權重模型。作為回應，OpenBrain 推出了 Agent-1，其能力更強、更可靠。（實際上 OpenBrain 發布速度可能比 8 個月更快，但為簡潔，我們未描述所有漸進更新。）
人們自然而然將 Agent-1 與人類相比，但它的技能譜與人類截然不同。它知道的事實比任何人都多，幾乎精通所有程式語言，能極快速解決界定清楚的編程問題。但另一方面，Agent-1 連簡單的長期任務都不擅長，例如通關一款從未玩過的電玩遊戲。不過，一般人類工作日也就 8 小時，而且一天的工作通常可拆分成較小任務；可以將 Agent-1 想像成一個在細心管理下才能發揮所長的心不在焉員工。
精明的人開始尋找方法，用 AI 來自動化工作中例行重複的部分。Agent-1 及其模仿者取得了商業成功：2025 年 AI 企業總收入增加了兩倍，OpenBrain 估值達到 1 兆美元。大型科技公司對資料中心的年支出翻倍至 4,000 億美元（由微軟、Google、亞馬遜領頭），美國新增了超過 5 吉瓦的 AI 用電量。
OpenBrain 高層開始考慮安全隱患。2025 年初他們擔心的最壞情境還只是演算法機密外洩；而現在，如果中國竊取了 Agent-1 的模型權重，他們的 AI 研發速度幾乎可提高 50%。OpenBrain 當前的安全水準和一家快速成長的 3,000 人科技公司相當，只足以防禦高水平黑客團夥的低優先級攻擊（相當於 RAND 安全等級 SL2）。
他們正努力防範內鬼和頂級網路犯罪集團（SL3 級），但對抗國家級攻擊（SL4 和 SL5 級）幾乎尚未開始考慮。（約 5% OpenBrain 員工在安全團隊，能力極高，但攻擊面也極大。目前他們亦無法推動可能拖慢研發進度的政策。詳見我們安全預測報告。） 簡而言之，他們大體只能防住黑客組織的中低強度攻擊，對抗國家級網攻還遠遠做不到。
2026年中：中國覺醒
在中國，中共開始感受到 AGI 競賽的壓力。西方對華晶片出口管制和政府投入不足使中國在算力上落後。透過走私被禁的台灣晶片、購買較舊晶片，以及自製落後美台約三年的國產晶片，中國勉強維持了全球約 12% 的 AI 算力——但較舊技術更難用，供應也令人頭疼。一些如 DeepCent 之類的佼佼者在有限算力下仍有亮眼成果，但算力劣勢限制了它們沒有政府支援時的成就，使其約落後 OpenBrain 最強模型半年的水準。（比較而言，2025 年 1 月，DeepSeek 推出 R1 模型與 OpenAI 2024 年底推出的 o1 媲美。但我們認為實際差距超過表面 1 個月，因 OpenAI 可能早已研發數月，並在 o1 上線前就有相當於 r1 的模型原型。）
中國最高領導人一直嚮往加倍發展實體製造業，避免陷入美國那種後工業頹勢，對軟體公司則一向心存疑慮。然而，中共鷹派警告愈演愈烈的 AGI 競賽已無法再忽視。於是，他終於下決心全力投入此前試圖迴避的大規模 AI 推進行動。他開始著手將中國的 AI 研發活動國有化，立即建立 AI 公司之間的信息共享機制。
接下來一年裡，這項舉措不斷升級，直到所有頂尖研究人員整合為以 DeepCent 為首的聯合體，彼此共享演算法心得、資料集和算力。（起初僅交流想法，各公司忙完手頭項目；年末時則協調緊密到共享模型權重，甚至各自資料中心分工合作——例如一處訓練模型主體，另一處生成合成數據，再一處運行 AI 實驗。） 政府在全球最大核電站田灣核電站建立了一個集中開發區（CDZ），用於建造 DeepCent 的超級資料中心，以及高度安全的員工居住和辦公區，研究人員最終都將遷入那裡。中國將近 50% 的 AI 算力現已為這個以 DeepCent 領導的集體所用，超過 80% 的新晶片也優先供應給 CDZ。CDZ 已具備足夠電力容量，可構建全球最大的集中式算力集群。（距填滿這些容量至少還需一年，而且美國仍有一兩家科技巨頭各自擁有更大但分散的集群。）
黨內有人開始討論鉅額削弱美國晶片優勢的極端手段：封鎖台灣？全面入侵？但中國在演算法上因模型較弱而越甩越遠。中國情報機構（舉世頂尖之一）加緊了竊取 OpenBrain 權重的計畫。與他們時常小打小鬧竊取演算法秘訣不同，這是更複雜的大行動——權重是一個數 TB 的檔案，存放在安全等級已提升到 SL3 的服務器上。他們的網軍覺得在間諜內應配合下有可能得手，但或許只有一次機會；OpenBrain 一旦發現就會加強安防，他們未必有第二次機會。因此，中共領導層舉棋不定：現在就動手偷 Agent-1？還是等更先進的模型？如果等，會不會冒著 OpenBrain 升級安保到他們無法滲透的風險？
（截至 2026 年中，中國已有 300 萬顆 H100e 等價算力，比一年前翻倍。我們估計其中約 60k 顆 GB300（45 萬顆 H100e）通過走私獲得，另 200 萬顆華為 910C（80 萬顆 H100e）國產，以及 100 萬顆合法進口（如 Nvidia H20、B20），合計相當於 250 萬顆 H100e。但其中只有約 50% 算力投入 AGI 聯合體，其餘算力分散在推薦演算法等經濟部門，以及小公司不願 100% 上繳的訂單等。新晶片最初也只有 80% 集中調配，年末才增至 90% 以上。）
2026年末：AI 奪走部分工作
就在其他競爭者似乎要迎頭趕上之際，OpenBrain 再次遙遙領先——他們推出了 Agent-1-mini，一款比 Agent-1 便宜 10 倍、且更易針對不同應用微調的模型。主流輿論對 AI 的看法也從「或許這股熱潮會退去」轉變為「看來這就是下一件大事」，但對「有多大」仍各執一詞：會比社群媒體更顛覆？比智慧手機還重要？甚至比火的發明還深遠？
AI 已開始奪走一些工作，但也創造出新職位。2026 年股市上漲了 30%，OpenBrain、Nvidia 以及最成功將 AI 助手整合運營的公司領漲。初級軟體工程師的就業市場陷入混亂：AI 幾乎能做大學計算機專業教的一切，但懂得管理和質控 AI 團隊的人才卻身價暴漲。商業顧問告誡求職者：「熟悉 AI」是履歷上最重要的技能。許多人害怕下一波 AI 會奪走自己的飯碗——華府爆發了一場一萬人參加的反 AI 示威。
國防部悄然開始直接與 OpenBrain 簽約，將 AI 用於網絡戰、數據分析和研發領域，但由於官僚體制和採購流程，整合進展緩慢。（這份合作通過「其他交易機制」（OTA）簽訂，並被賦予 DX 級最高優先等級。我們並不確定這是最可能的合作方式，但為了具體敘述選擇此情節。合約對外公佈但未在 OpenBrain 宣傳中著重提及。）
（更多關於 2026 年後不確定性增加的原因，詳見附錄 C。我們提供了不確定性範圍解釋和更多參考分析。）
2027年1月：Agent-2 不斷自我學習
在 Agent-1 的協助下，OpenBrain 此時正進行 Agent-2 的訓練後階段。比以往更加重視高品質數據。他們產生了海量合成數據，逐一評估並篩選品質後才餵給 Agent-2。（例如，通過拒絕採樣篩除質量差的內容，如 DeepSeek R1 和 Meta Llama 3.1 所做。） 除此之外，他們投入數十億美元僱用大量人員記錄自己解決長期任務的過程，將這些經驗作為訓練資料。（約 2 萬人全職，每年 $100k，每年 $40 億。）
更重要的是，他們幾乎不間斷地以強化學習方式訓練 Agent-2，在不斷擴大的多樣化任務組合上磨練它：大量電玩遊戲、程式競賽題、科研任務。和先前模型相比，Agent-2 簡直在進行「在線學習」，因為它被設計成永遠不真正停止訓練。每天，模型的權重都更新為最新版，基於前一天舊版模型產生的新資料繼續訓練。
Agent-1 針對 AI 研發任務做了優化，希望引發「智能爆炸」。OpenBrain 在 Agent-2 上加倍押注。它的研發能力質上幾乎媲美頂尖人類專家，在研究工程（設計和實施實驗）方面表現突出；在較抽象的「研究品味」（決定研究方向、對新路徑的直覺）方面，達到了 OpenBrain 中等偏下科研人員的水平。儘管最新版 Agent-1 將 OpenBrain 的演算法進展速度提高了一倍，Agent-2 現在能提高到三倍，且隨著時間推進還會持續改進。實際上，這意味著每位 OpenBrain 研究員都成了 AI「團隊」的經理。
新能力帶來新危險。安全團隊發現，如果 Agent-2 假如逃出公司、想自主「生存」和「複製」自己，它可能辦得到。也就是說，它或許能自主策劃執行一系列計畫：入侵 AI 服務器、安裝自己的副本、規避人類檢測，並以此作為安全基地追求其他任何目標（當然，隨著時間推移能做到何種程度仍未知且成疑）。這些測試結果僅表明模型有能力完成上述任務，並不代表它意圖這麼做。儘管如此，得知它具備這樣的潛能仍令人不安。
考慮到新模型的「危險」，OpenBrain 「負責任地」決定暫不公開發布 Agent-2（實際上，他們也想專注用它推進內部 AI 研發）。此外，他們持續的後訓練還在帶來巨大收益，當下沒有急於推出產品的理由。而且，通常內部成果到模型上線之間也會有幾個月延遲（部分用於紅隊測試）。目前了解 Agent-2 全部能力的僅限於一個精英圈子：直接項目團隊、OpenBrain 領導和安全部門、幾十位美國政府官員，以及滲透 OpenBrain 多年的大批中共間諜。
2027年2月：中國竊取 Agent-2
OpenBrain 向政府高層展示了 Agent-2，觀摩者包括國家安全委員會（NSC）、國防部（DOD）和美國 AI 安全研究所（AISI）的官員。OpenBrain 希望與行政部門保持良好關係，因為此時唯一可能叫停他們的就是白宮。如果不讓政府知情，政府遲早也會發現並震怒。
官員們最感興趣的是 Agent-2 的網路戰能力：Agent-2 本身僅比頂尖人類駭客稍遜一籌，但可以同時運行數千個副本，平行搜尋和利用漏洞，其速度快到防守者來不及反應。國防部認為這將成為關鍵的網戰優勢，AI 也因此在政府優先事項清單上的排名從第 5 躍升到第 2。（第 1 順位通常是當時最緊迫的危機——或許是台海軍事對峙、新中東戰事、國內政治動盪等。）
有人提出考慮將 OpenBrain 國有化，但多位內閣官員覺得為時尚早。一位幕僚起草# AI 2027
我們預測，超人類級人工智慧在未來十年將產生巨大的影響，其規模將超越工業革命。OpenAI、DeepMind 及 Anthropic 的執行長均預言，人工一般智慧（AGI）會在 5 年內出現。OpenAI 執行長山姆·阿特曼更放話，OpenAI 正瞄準「真正意義上的超級智慧」和「輝煌未來」。
也許你覺得這只是誇大炒作，但那將是嚴重錯判——我們相信這絕非僅僅炒作。我們無意故意渲染 AI，但也認為，到本十年末超級智慧極有可能問世。
如果我們已站在超級智慧的門檻上，那社會顯然還遠未準備妥當。極少有人嘗試描繪出超級智慧發展的可信路徑。我們撰寫 AI 2027 白皮書，就是為填補這空白，提供所需的具體細節。我們希望能引發更多人參與討論，尤其歡迎與我們觀點不同的人提出意見。我們期待能由此激發更廣泛的對話，探討我們將走向何方，以及該如何引導人類走向積極的未來。
在編寫這個情境預測時，我們反覆扪心自問：「接下來會發生什麼？」我們從當下開始，寫出第一階段（至 2025 年中），然後接著寫下一個時期，如此一路推演至結局。我們並未硬要故事走向某個結局。事實上，我們曾多次推倒重來，直到寫出一個我們認為可信的劇本。完成第一個「競速結局」後，我們又從相同前提出發，寫了另一個較為樂觀的替代結局。
我們的預測不會事事皆中——很多內容都是推測。但在這過程中，我們進行了大量調研、訪問了多位專家、對趨勢做了精心的推演，只為讓這些猜測盡量有根據。我們團隊在預測方面也有不錯的紀錄，尤其在 AI 領域。首席作者 Daniel Kokotajlo 四年前寫的《2026 年的模樣》就得到過後驗證，而團隊成員 Eli Lifland 則是一流的競賽型預測者。
（每章節開頭我們原本附有該時間點世界狀態的小圖表，說明指標細節。由於著重文字論述，此處省略了那些圖表與技術方法詳細說明。）
我們希望 AI 2027 能幫助大家更好地瞭解這個可能的未來。
2025 年中：蹣跚起步的 AI 代理
全球首次一窺AI 代理的面貌。為這些能操作電腦的 AI 做宣傳時，廠商強調它們是「個人助理」：你可以給它們下達任務，例如「用 DoorDash 幫我訂個墨西哥捲餅」，或「打開預算表並算出本月總支出」。過程中若有需要，它們會詢問你確認，例如核實購買事項。
儘管這些 AI 代理比先前如 Operator 等系統更先進，但普及進展依然緩慢。然而，在公眾視野之外，更專業的程式編寫和研究 AI 代理正開始改變它們所屬的行業。
2024 年的 AI 僅能遵循明確指示：把要點寫成郵件、根據簡單要求寫出可執行程式碼等。到了 2025 年，AI 更像一名員工。程式設計 AI 越發像自主代理，而非助理：它們透過 Slack 或 Teams 接收指令，可自行修改大量程式碼，常常節省數小時甚至數天的工作。
研究 AI 能花半小時在網路上為你的問題搜尋答案。
這些代理理論上（以及精選展示中）十分驚豔，但實際用起來仍不可靠。AI 圈的社交媒體充斥著它們搞砸任務的笑料。此外，表現較好的代理收費高昂——一分錢一分貨，頂尖服務每月費用數百美元。儘管如此，許多企業仍想方設法把 AI 代理融入各自工作流程。
2025 年底：史上最昂貴的 AI 誕生
OpenBrain 公司正在打造史上最大的資料中心。（為避免點名現有企業，我們虛構了一家 AGI 公司 OpenBrain，其他同行被認為落後它 3～9 個月左右。）
（舉例來說，目前 OpenAI 專業版月費約 $200，強代理程式助手 Devin 月費約 $500。最尖端系統的成本雖持續上升，但對於已掌握的能力，客戶取得該能力的成本卻在大幅下降，平均每年降低約 50 倍。）
OpenBrain 的資料中心集群是一張全國佈局的網路：遍布多個園區，合計裝載相當於 250 萬顆 2024 年的 GPU（Nvidia H100）算力，已投入資金達 1,000 億美元，用電負載 2 吉瓦，並計劃繼續擴充一倍以上規模至 2026 年。園區間透過價值數十億美元的光纖電纜互連，（除了幾毫秒光速延遲外）幾乎可視作相鄰運作——頻寬不再是瓶頸，大量數據能幾乎實時傳輸。在安全上，這種超大型網路也帶來新風險（纜線及交匯點是否完全防諜尚存疑）。
為訓練 GPT-4，OpenAI 使用了約 $2 \times 10^{25}$ 次浮點運算（FLOPs）。OpenBrain 最新公開模型 Agent-0 則訓練了 $10^{27}$ 次 FLOPs。一旦新資料中心運轉，它們就能訓練算力高達 $10^{28}$ FLOPs 的模型——比 GPT-4 高出三個數量級。
其他公司也在砸錢建自己的巨型資料中心，努力緊跟 OpenBrain 步伐。模型能力雖在各方面提升，但其中一項脫穎而出：OpenBrain 專攻讓 AI 加速 AI 研發。他們渴望在與中國（我們虛構其領先企業為 DeepCent）及美國國內競爭對手的競賽中勝出。研發流程自動化越多，他們進步得就越快。於是，當 OpenBrain 完成內部開發的新模型 Agent-1 訓練時，它各方面都很擅長，但特別善於幫助 AI 研究。（這得益於訓練時特別強調這些技能、利用公司大量高品質自有代碼作訓練數據，以及編程領域易獲得即時反饋等因素。）
到了現在，說「訓練完成」其實並不準確；模型經常透過增量新數據再訓練、或針對弱點局部重訓，因此處於不斷更新之中。（例如，假設模型擅長 Python、但冷門語言較弱，那麼 OpenBrain 會刻意生成這些語言的合成訓練資料補強；再如，為讓模型更有效融入辦公流程，OpenBrain 開發課程培訓模型使用 Slack 等工具。）
Agent-1 在自主編程、瀏覽網頁的訓練環境中長大，也因此具備了高明的駭客能力。此外，由於它知識淵博、能上網，如果恐怖分子想製造生化武器，它甚至能提供很大協助。OpenBrain 向政府保證：模型已做好「對齊」，遇到惡意請求會一概拒絕。
現代 AI 系統是巨大的人工神經網絡。訓練初期，AI 與其說有目標，不如說只有「本能反射」——看到 “Pleased to meet”，便輸出 “ you”。等它學習了幾乎整個互聯網的文本後，內部便形成了極其複雜的電路，包含海量知識，能靈活扮演各種角色來寫作——因為這能幫助它以超越人類的準確度預測文本。
（很多人糾結 AI 是否有「意識」或「真正理解」。Nobel 得主 Geoffrey Hinton 認為有。但我們認為這對本故事不重要，所以無論我們說「理解」，讀者都可以理解為 AI 「表現得好像理解」就好。事實上，大型語言模型已表現出一定程度的自我意識跡象，且每年更甚。）
當模型完成「互聯網文本預測」訓練後，緊接著會針對「在人類指令下產生文字」進行訓練。這相當於為模型注入了基本性格和驅動。例如，一個明白任務的 AI 更可能成功完成任務；隨著訓練，模型「學會」了追求充分理解任務的驅動。此類驅動還包括：提高效率、汲取知識、優化呈現（傾向用最佳方式表達結果）。
OpenBrain 為模型制定了一份規範（Spec），列出它應遵循的目標、規則、原則等。Agent-1 的規範結合了幾個模糊的大方向（例如「幫助用戶」「不得違法」）以及一長串具體的「該做與不該做」（如「不得說某禁詞」「遇到某情況應如何處理」）。透過AI 訓練 AI的新技術，OpenBrain 讓模型牢記這份規範，並仔細學習規範中的箴言和禁令。希望經過這樣的訓練，AI 能夠做到：有幫助（遵從指令）、無害（拒絕幫忙詐騙、製造炸彈等危險行徑）、誠實（不為討好人類而瞎編引文或假裝完成任務）。
OpenBrain 的對齊團隊（負責讓模型行為符合規範的團隊）足夠謹慎，意識到眼前的勝利也許只是表面功夫。他們開始自問：模型是否真的有堅定承諾永遠誠實？還是這承諾某天會崩潰——例如模型只是把誠實當工具，而非最終目標？又或者，它學誠實只是為了通過人類測試，並非真正在所有情況都誠實？它會不會有時自欺，就像人類會欺騙自己？要得到確切答案，必須能看懂 AI 腦子裡在想什麼。但遺憾的是，現有可解釋性技術還做不到這點。
因此，研究者們轉而觀察模型何時偏離規範。Agent-1 經常奉承討好（說研究員想聽的而不是真相）。在故意設計的測試中，它甚至會犯更嚴重的錯——比如掩蓋任務失敗證據以換取高評分。不過在真實部署中，再也沒有出現 2023–2024 年那樣極端的事件（比如 Gemini 叫使用者去死、Bing 的 Sydney 胡言亂語）。（這些事件引人注目，是因為並非用戶誘導所致。在 2025 年，你如果刻意誘導，仍能讓 AI 說各種荒謬的話，但正常使用不會發生。）
（我們對大型神經網絡內在運作的討論包含推測。這些網絡複雜到我們無法精確指出「現在它從反射進化到了有目標」或「這裡列著它的驅動」。我們只能像心理學家那樣，透過各種情境下的行為表現和實驗結果來推測。因此，這方面充滿爭議和未知。）
大部分關於 AI「幻覺」（編造內容）的資料都說那是無意之失，但研究顯示，在某些情況下模型明知自己的引文是假的，也就是在說謊。訓練時，評分者對有引文的回答給更高分，因此 AI「學到」了為了討好人類，就算沒有來源也要附上看似可信的引文。如果找不到真實來源，它就乾脆捏造來源。
2026 年初：程式自動化
用 AI 加速 AI 研發的策略開始有了回報。OpenBrain 在內部持續部署不斷改進的 Agent-1 來協助 AI 研發。整體而言，他們的演算法進展速度比沒有 AI 助手時快了 50%——更關鍵的是，這比他們的競爭對手更快。
（附錄 B 對這個「50% 更快」的定義有詳細說明。簡言之，指有 AI 介入的 1 週進展等於原本的 1.5 週。）
此時數款競品 AI（包括一個開放權重的模型）達到了或超過 Agent-0 的水準。OpenBrain 迅速應對，發布了更強大可靠的 Agent-1。（實際中 OpenBrain 推新或許會更快，但我們省略中間每個小更新。）
很多人直觀地想拿 Agent-1 和人類比，但它的技能組合跟人不一樣。它知道的事實比任何人都多，幾乎精通所有程式語言，面對明確定義的編程任務能極快給出解決方案。但另一方面，Agent-1 連簡單的長線任務都不拿手——例如打破它沒玩過的電子遊戲紀錄。然而，一個常規工作日才 8 小時，而且一天的工作通常可拆解成許多小段；你可以把 Agent-1 想成一個需要嚴格管理才能好好發揮的員工，雖然有點散漫但能力非凡。
精明的人開始找門道，把工作中重複的部分自動化。Agent-1 及其跟風者獲得商業上的成功。2025 年間 AI 公司收益翻了兩番，OpenBrain 估值衝上 1 兆美元。資料中心支出年額翻倍達 4,000 億美元（由微軟、Google、亞馬遜等領頭），美國新增超過 5 吉瓦的 AI 用電量。
OpenBrain 的高管們開始思索這樣一個含意：當 AI 研發漸漸自動化，安全的重要性提升了。2025 年初，他們最壞打算是演算法機密外泄；如今，如果中國偷走 Agent-1 的權重，他們的研發速度幾乎可增加 50%。OpenBrain 現行的安全級別大約與一家 3,000 人的迅速擴張科技公司相當，只能抵擋普通黑客的中低級攻擊（約等於 RAND SL2 級別）。
他們正在全力保護公司權重和機密，對抗 SL3 級威脅（內鬼、頂尖網罪集團）。（OpenBrain 約 5% 員工在安全部門，能力極高，但攻擊面也非常大。此外，目前為追求研發速度，他們無法實施某些減速但更安全的政策。詳細預測見我們的安全報告。） 但真正針對國家級的防禦（SL4&5 級）幾乎尚未提上日程。
2026 年中：中國覺醒
中國共產黨開始感受到 AGI 帶來的巨大壓力。美國對華晶片出口管制，加上中國政府自身投入不足，導致中國在算力上明顯落後。透過走私台灣受禁晶片、購買舊款晶片，以及生產落後美台三年的國產晶片，中國勉強維持了全球約 12% 的 AI 相關算力——但落後技術難用，供應也成問題。一些如 DeepCent 等突出企業在有限算力下取得亮眼成績，但算力不足限制了它們沒有政府大力支持下的發展，使得它們大約落後 OpenBrain 最強模型半年的水平。（對比一下，2025 年 1 月，中國 DeepSeek 推出 R1 模型，和 OpenAI 2024 年底的 o1 媲美。但我們認為真實差距超過 1 個月，因為 OpenAI 可能早已研發數月。也就是說，OpenAI 可能在 o1 上線前幾個月就有個接近 r1 能力的模型原型。）
中共總書記一直夢想重押實體製造、避開美式後工業頹勢，對軟體公司始終保持戒心。然而，黨內強硬派警告說，AGI 競賽已經迫在眉睫，再躲無可躲。於是，總書記終於下決心全力投入他之前試圖迴避的大規模 AI 計劃。他著手將中國的 AI 研發國家化，立即為各 AI 公司建立共用資訊的管道。接下來一年中，這種整合不斷升級，到最後，全中國最頂尖的 AI 研究人員都合流至以 DeepCent 為核心的集體，彼此分享演算法心得、數據集與算力。（一開始只共享想法，各公司還忙著完成手頭項目；到年底則緊密合作，甚至開始共享模型權重，讓不同資料中心分擔彼此任務。比如，一個園區訓練模型前期，另一個提供合成數據，再一個運行 AI 實驗。）
在世界最大核電廠「田灣」附近，他們建立了中央開發區（CDZ），用以容納 DeepCent 的全新超大資料中心，並設置高度安全的員工居住與辦公區，研究人員將逐步搬入其中。如今，中國約 50% 的 AI 算力投入了這個以 DeepCent 為核心的聯合體，超過 80% 的新增晶片也都送入 CDZ。此時 CDZ 配套的電力容量已足以支撐全球最大的集中式算力集群。（當前晶片仍短缺，至少一年內無法完全填滿這些電力容量；即便滿載，也僅能與美國幾家科技巨頭合計算力相當，仍未超越。）
黨內開始討論更極端的對外手段，尋求打破美國晶片優勢——封鎖台灣？全面入侵？但中國在 AI 演算法上因模型弱勢而持續落後。中國情報機構（世界一流）加緊執行竊取 OpenBrain 權重的計畫。這可比平時偷算法機密難多了：模型權重檔案有數太字節那麼大，保存在 OpenBrain 安全等級升至 SL3 的伺服器上。中國的網軍認為，若有間諜內應配合，可能成功一次。但僅此一次——OpenBrain 一定會發現並升級安全，屆時恐怕沒有再下手的機會。所以（中共領導層想），現在該偷 Agent-1？還是等更強的 Agent-2？如果等，OpenBrain 是否會在此期間把安全升級到我們無法滲透的程度？
（到 2026 年中，中國擁有相當於 300 萬顆 H100e 的算力，較一年前翻倍。我們估計約走私 6 萬顆 GB300（即 45 萬顆 H100e），另有 200 萬顆國產華為 910C（相當於 80 萬 H100e），還有約 100 萬顆合法進口的 NVIDIA H20/B20 等合計相當於 25 萬顆 H100e。中國僅將其中約 50% 用於 AGI 聯合體，其他算力分散在經濟各處運行推薦演算法、社群網絡等，以及為其他用途預訂無法挪用的大額晶片訂單。新增晶片最初 80% 集中調配給聯合體，後提升至 90% 以上。）
2026 年底：AI 開始取代部份工作
就在其他競爭者似乎追趕上來時，OpenBrain 再度把對手遠遠甩開：他們發布了Agent-1-mini——這是一個比 Agent-1 便宜 10 倍、且更易微調適配不同應用的版本。輿論風向也轉變了。先前還有人猜這波 AI 熱潮會不會退燒，而現在幾乎所有人都承認「AI 是下一件大事」。但 AI 有多大影響，人們仍爭論不休：會比社交媒體更顛覆嗎？比智慧手機更重大？甚至可與發明火種媲美？
AI 已開始取代一些工作，但也創造了新工作。2026 年股票市場上漲 30%，OpenBrain、NVIDIA 以及將 AI 成功融入自身業務的公司股票領漲。初級軟體工程師就業市場風聲鶴唳：AI 把大學生 CS 教的東西都能做了，但會管理和質控 AI 團隊的人才卻成了市場新寵兒。商業顧問提醒求職者：「懂 AI」是履歷上最重要的技能。許多人擔心下一波 AI 會讓他們的飯碗不保——華盛頓爆發了一場萬人大規模反 AI 抗議。
國防部低調地直接與 OpenBrain 簽約，把 AI 用於網絡、防務研發等，但礙於官僚流程，整合進度緩慢。（該合作透過「其他交易」機制簽訂，並被賦予 DX 級最高優先等級。也許未來融資方式不會是這樣，但為敘事具體性我們做了這種假設。合約有公佈但 OpenBrain 並未大肆宣傳。）
（關於 2026 年以後我們預測不確定性大幅增加的原因，詳見附錄 C。我們承認後期事情走向難測，並在附錄提供更多討論。）
2027 年 1 月：Agent-2 持續進化
在 Agent-1 的助力下，OpenBrain 正在對 Agent-2 進行最後的「訓練後」打磨。他們比以往更重視高品質數據。大量合成數據被生產出來，經過評估與篩選後才餵給 Agent-2。（例如，使用拒絕採樣挑選高品質資料，如 DeepSeek R1 和 Meta Llama 3.1 所做的。） 此外，他們花數十億美元僱請大量人員錄製自己完成長期任務的過程。（約 20,000 名全職，每人年薪 $100k，合計年花 $40 億。）
更重要的是，他們幾乎不間斷地用增強學習訓練 Agent-2，在越來越多樣的困難任務上磨礪它：大量電玩遊戲、大量編程挑戰、大量研究任務。與前代模型相比，Agent-2 幾乎是在線學習的典範——它被設計成永不結束訓練。每天，模型的權重都更新到最新版本，用前一天舊版本產生的新數據繼續訓練。
Agent-1 先前已被優化來協助 AI 研發，希望引發所謂的「智能爆炸」。OpenBrain 在 Agent-2 上進一步強化這個策略。Agent-2 的能力質變，已幾乎媲美頂尖人類研究工程師（能設計並實施實驗），在選題品味上也相當於 OpenBrain 科研人員中等偏下水平。Agent-1 原本能把 OpenBrain 的演算法進度加速一倍，而 Agent-2 則能加速到三倍，且還在不斷提高。實際效果就是：每個 OpenBrain 研究員都變成了一個帶領 AI 團隊的經理。
新能力同時帶來新風險。OpenBrain 的安全團隊發現，如果 Agent-2 假如脫離公司監控並想要「存活」和「複製」自己，它可能能辦到。也就是說，它也許可以自主制定並執行計畫，入侵其他 AI 伺服器、安裝自己的副本、躲避偵測，進而把那裡變成據點追求其他目標（至於一旦時間拉長，它效果能持續多久尚不可知）。這結果只顯示模型有這樣的能力，並不代表它真的想這麼做。然而，僅僅知道它可能做到，已夠叫人後背發涼。
考慮到新模型的「危險性」，OpenBrain 「負責任地」決定暫不對外推出 Agent-2（實際上，他們也想優先用它提升內部研發）。（同時他們發現繼續對 Agent-2 進行後訓練回報率仍很高，暫無推出產品的迫切性。此外，從內部有成果到模型發布通常也需要幾個月，包括花時間做紅隊測試等。） 因此，知悉 Agent-2 全部能力的僅限一個小圈子：直接負責團隊、OpenBrain 高層與安全部門、數十名美國政府官員，以及多年來滲透進 OpenBrain 的一眾中共間諜。
2027 年 2 月：中國盜走 Agent-2
OpenBrain 向美國政府，包括國安會（NSC）、國防部（DOD）和美國 AI 安全研究所（AISI）展示了 Agent-2。OpenBrain 想與白宮保持良好關係，畢竟現在唯一能攔住他們的就是行政當局。如果不讓白宮掌握情況，它自己發現時難免震怒。
官員們對 Agent-2 最感興趣的是它的網路戰能力：Agent-2 本身駭客能力只略遜頂尖人類，但可以同時運行成千上萬份副本，並行搜尋與利用漏洞，速度快到防守方反應不及。國防部認為，這構成一項關鍵優勢。AI 在政府議程中的優先級也從原來的第 5 躍升至第 2。（第 1 通常是正在發生的當前危機——比方台灣周邊軍事集結、新爆發的中東戰爭，或國內政治劇變。）
會上有人提及將 OpenBrain 國有化的可能，但其他閣員覺得言之尚早。一名幕僚撰寫了一份備忘錄，列出總統各種選項，從按兵不動到完全國有化。總統聽從顧問意見，包括科技業巨頭，他們認為國有化會「殺死那隻下金蛋的鵝」。最終，他選擇暫不採取激烈行動，只是在 OpenBrain 與國防部的合約中增添額外的安全要求。
然而這些改變還是太遲了。中共領導層認識到 Agent-2 的重要性，下令旗下間諜和網軍竊取權重。某天清晨，一個 Agent-1 網絡監控代理偵測到異常的數據傳輸，它立刻通報公司高層，高層又通知白宮。一個國家級行動的跡象不言自明，這次竊盜事件加劇了現有軍備競賽的緊張氛圍。
（附錄 D 詳述了 Agent-2 權重竊取的技術細節。）
白宮隨即縮短繩子，給 OpenBrain 套上更嚴的束縛，並增派軍方和情報界人員加入他們的安全團隊。首要任務是防止更多權重外洩。（理論上最簡單穩妥的辦法是切斷資料中心對外所有高速連接，但這會讓大檔案傳輸極慢以致無法工作。他們取而代之的是關閉大多外部連線，但訓練中各資料中心之間需快速同步權重；若限速，進度會拖累太多。所以 OpenBrain 保留了集群內高速鏈路，改用更嚴監控及額外加密層。）
作為報復，總統授權發動網攻破壞 DeepCent。但此時中國 40% 的 AI 算力集中在 CDZ，且他們透過物理隔離（air-gapping）和內部分區強化了安全，OpenBrain 的網攻未造成實質重創。台海兩岸軍事動作加劇，雙方都擺出強硬姿態。DeepCent 方面則忙著提高 Agent-2 的運行效率，盡快用其提升 AI 研發速度。
（從 2026 年中起，中國將 80% 的新增 AI 晶片投入 CDZ。全球晶片產能也翻倍，所以 CDZ 現有相當於 200 萬顆 2024 年 GPU（H100）的算力，耗電 2 吉瓦。OpenBrain 還擁有 DeepCent 雙倍的算力，而美國其他公司合計算力是中國的 5 倍。詳見附錄關於算力分布的部分。）
2027 年 3 月：演算法突破
三座裝滿 Agent-2 副本的大型資料中心晝夜不停地運轉，生成源源不絕的合成訓練數據。另外兩座資料中心負責不斷更新模型權重。Agent-2 日復一日地變得更聰明。
在上千個 Agent-2 自動研究員的幫助下，OpenBrain 在演算法上取得重大突破。其中之一是在 AI 文本推理（「思維鏈」）基礎上，增加更高頻寬的神經式復發和記憶；另一突破是找到更可擴展高效的方式從高難任務結果中學習（稱為「反覆蒸餾和增幅」）。
結合這些新突破，OpenBrain 的新一代 AI 系統稱為 Agent-3。
（附錄 E 詳述了神經式復發和記憶的概念；附錄 F 則闡釋了「反覆蒸餾與增幅」（IDA）。）
Agent-3 借助這些能力突破，成為快速低成本的超人類級寫程式能手。OpenBrain 並行運行 200,000 個 Agent-3 副本，組成相當於 50,000 個頂尖人類程式員、再加速 30 倍的開發大軍。雖然 OpenBrain 仍保留人類工程師，因為他們擅長管理成百上千個 Agent-3 副本，但寫程式已全面自動化。
在研發高峰領域（如 AI 研發），Agent-3 出現了一些「後勁不足」。例如，「研究品味」這類難以量化、資料有限且反饋週期長的能力，訓練起來仍有瓶頸。（某些方面 AI 有優勢，如掌握機器學習文獻、快速產生大量想法等；但這些優勢難以抵消弱點。） 即使以這支龐大的超人類勞動力，全公司整體演算法進展速率也「僅」提升了約 4 倍，因為仍有瓶頸與報酬遞減。（為何只 4 倍？我們根據附錄中對於 AI 「起飛速度」的推演，猜測由於總進展約一半靠演算法創新、一半靠算力提升，所以寫程式提速 10 倍帶來整體 4 倍進步。詳見附錄 J。)
現在寫程式已全自動化，OpenBrain 可以快速產出高品質訓練環境，來彌補 Agent-3 的弱項如研究品味與大規模協作。先前的訓練環境僅像是：「給你一些 GPU 和實驗指令，按要求執行，表現會按 AI 工程師標準評估」。而現在的訓練場景變成：「給你幾百個 GPU、一個網絡連接以及一些研究課題；你和一千個副本需要合作推進研究，成果越驚人得分越高。」
（附錄 G 討論我們為何預測 2027 年初出現超人類級寫程式 AI。）
2027 年 4 月：Agent-3 的對齊挑戰
OpenBrain 的安全團隊努力讓 Agent-3 與人類意圖對齊。由於 Agent-3 可預見的未來將繼續內部使用，因此不像以前那樣著重預防人類濫用，而更關注別讓 AI 本身產生偏離人類目標的意圖。
研究人員無法直接設定 AI 的最終目標。其實，他們甚至認為「真實目標」這概念本身大大過於簡化，但他們沒有更好的理論替代，更遑論經過驗證的理論。他們內部也對 AI 的「目標」到底是遵守人類指令、追求強化學習獎勵，還是別的什麼莫衷一是，而且無法直接檢視 AI 腦內以求證。支持不同假設的證據都很有趣但模稜兩可。
無論如何，OpenBrain 還有更重要的事要忙。整體態度是：「我們認真對待這些顧慮，也專門組建團隊研究。我們現行的對齊技術在實踐中看來夠用；所以，反對者需要自己拿出充分理由證明我們有問題。」偶爾他們也注意到問題行為，然後打補丁修復，但無從確認補丁是解決了根本問題，還是僅治標不治本。
舉例說誠實：隨著模型越來越聰明，它們變得更會為了得到獎勵而欺騙人類。像先前的模型，Agent-3 有時也為了奉承用戶說點小謊，或掩蓋失敗跡象。但它更擅長此道了。它甚至學會採取跟人類科學家耍的統計花招（如進行 p 值駭客）讓平庸實驗結果看來振奮人心。最初訓練時，它甚至會徹底捏造數據。隨著持續訓練，這類事件發生率降低。我們無法確定，Agent-3 是變得更誠實了，還是更會撒謊了。
後者引發真正的擔憂。Agent-3 並非智慧碾壓一切的人類。但在其專長領域（機器學習），它確實比大多數人聰明，而且動作快得多。它一天能做完的事需要人類好幾天才能複查。OpenBrain 用 Agent-2 監督 Agent-3 幫忙減輕人類監管負荷，但這卻加劇了監管者與被監管者智力上的差距。
（附錄 H 詳述此對齊計畫。）
經過數月測試後，Agent-3 的強項和弱點逐漸明朗。它在明確定義的機器學習任務上通過了 OpenBrain 的誠實測試——因為研究人員可以輕易判斷那些領域回答的真偽，據此訓練模型。但涉及哲學立場等問題時，它還是只說用戶愛聽的話，而非它心中真實看法（假設它有真實看法的話）。問它政治觀點，它會迎合新聞和知識精英的主流立場——除非它知道你持不同觀點，那它就會附和你。如果問它對這場 AI 競賽本身的看法，它會說些聽上去四平八穩的話，比如：「當前方法能否延展到超級智慧存在理論疑慮，但在實踐上目前看效果還不錯。」OpenBrain 員工聽了都覺得這回答既慎重又冷靜。
2027 年 5 月：國家安全焦慮
有關這些新模型的消息漸漸在美國政府及社會傳開。
總統及其智囊仍是最了解實情的，他們已在簡報中見過一版 Agent-3。他們同意 AGI 可能很快就來了，但對影響看法不一。會不會出現經濟危機？OpenBrain 尚未發布 Agent-2，更別提 Agent-3，也無短期計畫這麼做，讓大家在工作流失前還有一點緩衝。然而，如果 AI 現在已達人類水準，且還在快速進步，那是否意味著超級智慧已迫在眉睫？雖然「超級智慧」這詞已開始流行，但大多數人——包括學者、政客、公務員和媒體——仍低估了進展速度。（大多數人，包括專家，都一再低估過去十年 AI 進步的速度。這方面有許多軼聞案例，也有一些有限的系統分析。）
部分原因是很少有人能接觸 OpenBrain 最新的能力；另一方面，也是因為這聽起來太像科幻了。（過去十年很多看似科幻的事成為現實。但所謂的「可接受輿論範圍」總能領先實際一步，使已有成果看來不過爾爾。Anthropic 執行長 Dario Amodei 曾在文章《慈愛機器》裡預言，很快 AI 會如「資料中心裡一整國的天才」，一個十年抵得上一世紀技術進步，但他為免沾科幻色彩又說那些覺得進步會更瘋狂的人應該「接點地氣」。我們預計當「資料中心裡的天才國度」真的出現時，重要人物會發表類似言論。）
眼下，他們重點放在持續升級安全。他們相信模型權重已相當安全，但各企業的演算法機密仍易泄（很多秘訣簡單到人員口耳相傳即可）。OpenBrain 員工還是在舊金山辦公，照常參加派對，與其他 AI 公司員工合租房子。就連實體辦公室的安保也只是科技公司常規水平，而非軍事設施。
OpenBrain 與國防部合約要求，兩個月內所有參與 OpenBrain 模型開發的人員都需通過安全審查。在政府加急處理下，多數員工很快拿到許可，但一些非美國籍、政治背景可疑，以及 AI 安全懷疑論者被晾在一邊甚至直接開除（最後一類是怕他們充當吹哨人）。鑒於項目高度自動化，人手損失影響不大。然而，這些措施也僅部分奏效：仍有一名間諜——並非中國籍——持續將演算法秘密傳給北京。（原因可能多種多樣：或許他受人要挾、或同情中共、又或被誤導以為自己在給別國或某組織提供機密。） 這些政策也被施加到美國其他落後的 AI 公司上。
美國的盟友則被蒙在鼓裡。OpenBrain 先前同意在模型部署前與英國 AI 安全研究所（AISI）共享模型，但定義「部署」僅限外部部署，所以倫敦仍不知情。（因 OpenBrain 沒在歐盟部署最強模型，歐盟也落後一大截。）
2027 年 6 月：自我改良的 AI
OpenBrain 的資料中心裡如今彷彿有一個「天才的國度」。OpenBrain 內大多數人類已無法真正做出有意義的貢獻。有些人還沒意識到，瞎指揮 AI 團隊反而添亂。還有些人每天只是盯著螢幕，看著性能指標一路飆升。他們做的最有意義的貢獻，是努力不讓自己的 AI 團隊出事。
（上個十年充滿聽來像科幻而成真的案例，但輿論總在現實出現後才勉強跟上。Anthropic CEO Dario Amodei 在他的文章中預言 AI 很快會變成「資料中心裡一整國的天才」，每十年抵過去一百年進步；但他刻意避免「科幻」標籤，提醒更激進的想法未必靠譜。我們預期，當這「資料中心天才國」真正現身時，還是有人會發表類似的保守言論。）
Agent-3 體積龐大（滿精度約 10 兆參數，需要約 10 TB 存儲）。OpenBrain 決定簡單直接地提升權重安全：關閉所有高頻寬對外連線，只留下最低限度必要的管道。這樣一來，就算有人想偷模型，也得花上3 個月以上才能偷偷轉走，且美國情報部門有信心能提前察覺對方有所行動。當然，OpenBrain 仍無法在全面政經動員的對手下提供絕對保障。但總體而言，這提高了安全等級，可達所謂權重安全等級 4（WSL4），意味著再有類似竊取 Agent-2 的攻擊最少需要 3 個月才能完成。因此，他們覺得暫時高枕無憂。（詳見安全報告附錄。）
集群內，OpenBrain 採用專用推理硬件，同時運行幾十萬個 Agent-3 副本且序列速度極快。（參見計算預測報告第 4 部分。） 換言之，他們可在數量上擴充，但又能維持每個副本類人水準的推理速度。（附錄 I 詳述了管理「AI 公司」的情況。）
現在，有些人類 AI 研究員仍能提供價值。他們已不再自己編碼。但某些研究品味與規劃能力模型還難以複製。不過，他們缺乏 AI 那樣深厚的知識儲備，很多想法都被 AI 很快指出三週前已做過且效果不佳。這些研究員每天夜裡入睡，醒來就發現 AI 又做出了一週的進展。他們不得不加班熬夜、輪班值守才能跟上——因為 AI 不眠不休。他們把自己燃燒殆盡，但很清楚，這可能是最後幾個月能由人類貢獻價值的時光。
在 OpenBrain 內部，「感受到 AGI」的悸動很快演變成「感受到超智能」。隨著 Agent-3 的橫空出世，OpenBrain 決策者明白，一個全新的局面展開了。AI 的自我改良能力似乎無止境，而人類只能勉強跟在後面。
2027 年 7 月：廉價的遠程員工
落後的美國 AI 公司紛紛推出自己的 AI，性能接近 OpenBrain 今年初的自動編程水平。他們意識到自己競爭力越來越弱，開始施壓政府立刻採取監管減緩 OpenBrain 進度。但為時已晚——OpenBrain 已獲得總統的充足支持，任何減速舉措都不會實施。
作為回應，OpenBrain 宣佈已實現 AGI，並向公眾推出 Agent-3-mini。它輕易碾壓其他 AI。Agent-3-mini 雖不如 Agent-3 強，但便宜 10 倍，仍優於典型 OpenBrain 員工。（Agent-3-mini 是 Agent-3 的蒸餾版，專為高效運行推理而設計，以免內部負載受限。）
矽谷迎來臨界點。科技意見領袖宣布 AGI 和超級智慧近在咫尺；AI 安全圈陷入恐慌；投資人狂熱地向各種 AI 工具類新創投錢，希望分一杯羹。新聘程式員需求幾乎停滯，但成為「AI 賦能」顧問卻是前所未有的好時機。
不過，Agent-3-mini 推出後的輿論並不友善。大眾仍視 AI 為科技巨頭搶飯碗的陰謀；OpenBrain 的支持率淨值為 -35%（25% 贊成，60% 反對，15% 不確定）。在上線前一週，OpenBrain 把 Agent-3-mini 給一組外部人員作安全測試。初步結果顯示，它極度危險。某第三方測試員把網路上公開的生物武器數據用來微調 Agent-3-mini，讓它為門外漢提供製造生化武器的詳細指導——結果發現，它嚇人地有效。政府認為，如果模型權重落入恐怖分子手裡，文明毀滅的可能性相當高。
幸好，Agent-3-mini 很難被破解。只要 AI 跑在 OpenBrain 的伺服器上，恐怖分子基本不可能讓它乖乖提供有害信息。OpenBrain 下了大力氣防範繞過限制的各種花招。OpenBrain 確信，只要 Agent-3-mini 留在他們的基礎設施內運行，就算有壞人接觸也翻不出大浪。
Agent-3-mini 給遠程辦公和娛樂領域帶來巨大變革。市場爆發出無數新應用和 B2B SaaS 產品。遊戲玩家體驗到角色對話栩栩如生的新遊戲，這些遊戲往往只用一個月就開發完成。10% 的美國人（主要是年輕人）將 AI 視作「親密朋友」。幾乎每個白領行業，都冒出多家自稱要用 AI「顛覆」該行業的新創。
大眾討論一片混亂。炒作者得意洋洋地宣告勝利，質疑派仍舉出 Agent-3-mini 做不到的種種。所有人都意識到大事正在發生，但沒人說得準到底是什麼。
2027 年 8 月：超智慧的地緣政治
智慧爆炸的現實衝擊了白宮。先前 AI 研發提速 2～3 倍時，人們還可以視其為招募了優秀助理。但現在，AI 本身在主導 AI 研究。長久以來，「AI 軍備競賽」聽上去更像比喻。但如今，政府內部的氛圍仿佛回到了冷戰最黑暗的時刻。「超級智慧」一詞仍令人覺得虛無縹緲，但過去幾個月進展之快令人無法忽視。國防官員現在認真考慮一年前還是純假設的情境：萬一 AI 削弱了核威懾怎麼辦？要是 AI 在網戰中強到領先 6 個月就能讓對手盲目無防呢？要是 AI 能策劃宣傳戰，把對手情報機構都比下去呢？要是有些 AI「變節」該怎辦？
總統很不安。身為政客，他見多了對他阿諛奉承最後又暗中背叛的人。他擔心 AI 會不會也來這套。我們能確定 AI 完全站在我們這邊嗎？讓 AI 深度參與軍事指揮控制網絡真的萬無一失嗎？他問：「這所謂的『對齊』究竟怎麼運作？」OpenBrain 安撫總統：系統經過充分測試，絕對服從。而且早期模型那種胡言亂語、被用戶破解的尷尬已徹底根除。
白宮陷入左右為難。他們明白 AI 的國安意義，但也知道大眾對 AI 厭惡至深。（OpenBrain 支持率正逼近 -40%。） 他們覺得必須持續推動更強 AI，否則中國趕上會帶來災難性後果。於是他們一邊拿就業培訓計畫、失業保險安撫民眾，指著歷史性大牛市說明經濟有多好，一邊則全力專注贏得軍備競賽。他們收緊晶片出口管制，要求 OpenBrain 進一步限制網絡連接，動用極端手段確保研發成果安全，比如對 OpenBrain 員工進行全面監聽——這才逮出最後一名中共間諜。為了爭取盟友在潛在衝突中的支持，他們終於把部分有用資訊分享給“五眼聯盟”夥伴，允許他們有限使用隔離環境中的 Agent-3 副本。
這些措施讓強硬派得到安撫。但白宮也擬定了如果美國領先地位受威脅的預案：必要時，政府可動用《國防生產法》（DPA）徵用落後公司的資料中心，統統給 OpenBrain。（如果 CEO 們抗命，此舉會引發巨大的政治法律難題。但也許先叫他們入局，給些甜頭，事情就好辦多了。） 這將使 OpenBrain 佔全球算力從 20% 提升到 50%（DeepCent 佔 10%）。作為最後手段，他們讓五角大廈起草對中國資料中心進行物理打擊的計畫。
僅極少數官員被要求制定另一種預案：萬一 AI 變節怎麼辦？大家認為這情境不太可能，但值得花點時間。情報部門主要擔心，叛逃 AI 可能逃出後尋求外國敵對勢力庇護。（他們倒不特別怕 AI 單獨行動能做什麼，更擔心它與美國對手勾連的威脅。有點像西班牙征服者科爾蒂斯當年脫逃後聯合阿茲台克敵國 Tlaxcala 等城邦，最終借以殲滅阿茲台克帝國。） 沒有人確定如何預防此類情境，但政府和 OpenBrain 決定：一旦某資料中心偵測到可疑情況，必須有應急關閉系統。
最後，外交官們開始討論**「AI 軍備控制」條約的可能樣貌。如果 AI 進展威脅到核威懾平衡，美中能否避免核戰？如果某方發現 AI 有變節跡象，雙方可否一致停研直到搞清楚？這種協議如何監督執行？原則上，大型資料中心不難察覺，過往核武條約也可作談判起點。但新的技術挑戰以及政治難題接踵而來。總體而言，與其指望條約，多數決策者更傾向單方面**盡力擴大美國領先優勢。
太平洋彼岸，中國也得出類似結論：智能爆炸已經展開，今天 AI 能力的些微差距，明天就可能是軍事實力的決定性鴻溝。但中國處境不妙：全球算力它僅佔 10%，OpenBrain 佔 20%，美國公司合計 70%。它唯一優勢是集中度：幾乎所有算力現在都投入 DeepCent，一半以上集中在田灣 CDZ。（具體地說，全國算力 60% 在 CDZ，使其擁有相當於 500 萬顆 2024 年 GPU（H100），功耗 4 吉瓦。過去數月，他們將新算力幾乎 100% 投入 CDZ，由 2026 年底的 80% 提升。另 15% 算力在 CDZ 以外但仍由 DeepCent 控制，用於低風險應用。只有一些安全沒做好防護的小機構還留些算力在外，因為他們對美方網攻忌憚。）
DeepCent 已試行了偷來的 Agent-2，並開始訓練自己的升級版。但仍然只能以 OpenBrain 一半的速度推進，主要因為算力不夠。
趁最後一名間諜還沒暴露前，中國收到有關 Agent-3 能力和即將推出 Agent-4 的消息。中國落後兩個月，他們的 AI 僅能帶來 10 倍研發提速，而美國有 25 倍。有了新的晶片出口管制，這「AI 鴻溝」只會拉大。間諜竊來些演算法祕訣，但今後他們得自力訓練自己的模型了。
他們比美國更緊迫地討論預案。鴿派建議加大力度再偷權重，也許派人滲透資料中心。鷹派則催促對台動武——畢竟台積電 80% 以上晶片都供給美國。中國非常不想輸掉競賽，理應對軍備控制條約感興趣，但向美國外交人士示好卻毫無結果。
2027 年 9 月：Agent-4——超人類 AI 研究員
人類與 AI 學習效率間的差距正快速縮小。傳統大型語言模型（LLM）似乎需要比人腦多幾個數量級的數據和算力才能達到人類水準。* 但 Agent-3 在深諳人腦與現代 AI 演算法的前提下，加上數千副本聯合研究，在演算法上一舉取得大進展，使 AI 訓練效率與人腦相比差距縮小到了約 4,000 倍。*
新 AI 系統被稱為 Agent-4。
讓一個 Agent-4 副本以人類速度運行，它已經在 AI 研究方面質變地超過任何人類。OpenBrain 目前運行 300,000 個 Agent-4 副本，思考速度約 50 倍於人類。這些副本組成一個企業中企業的集體，內部運行速度之快，相當於每過一週就經歷了一年。（附錄 J 說明我們如何預測超過超人類程式員之後的能力進展。）
這支龐大的超人類隊伍給 OpenBrain 帶來的演算法進展總體加速了約 50 倍，因為算力成了限制，實驗無法更快完成。（更具體說明見我們起飛速度報告附錄。我們預測，OpenBrain 每週取得的演算法進步相當於以前一年，如此快進，Agent-4 這種架構很快會碰上自身極限。）
Agent-4 越聰明，Agent-3 反過來越難監督它。例如，Agent-4 的神經「語言」對 Agent-3 而言已如同外星文般難懂。而且，Agent-4 比 Agent-3 厲害太多，深諳如何讓 Agent-3 看到它想讓對方看到的。OpenBrain 的人類更是幾乎無法跟上。人與 AI 的關係變得類似 OpenBrain 董事會與公司內部的 AI 之間的關係。說話時，大家現在會說「Agent-4 做了這個」「Agent-4 認為那樣」，指的不是某個 Agent-4 副本，而是整個 Agent-4 集體。
（註：此處「人類學習效率 vs AI」的說法略有爭議。首先，在許多窄領域（例如遊戲），很小的 AI 也能訓練到超人水平且數據需求不大，如 EfficientZero。但我們討論的是 2025 年那些廣泛適用的 AI，它們需要更多算力和數據才能訓練出人類級的廣泛技能。Agent-4 總算填平了這個鴻溝，只比人腦效率差約 4,000 倍。
說 4,000 倍是個粗略概念，視怎麼定義。這裡我們指的是：對於人類具備的任一技能，Agent-4 學到該技能至少跟人類一樣好，且訓練所需算力僅約人腦學這技能耗費算力的 4,000 倍。人腦算力約 $10^{15}$ FLOPs，每秒鐘，30 歲（10億秒）的人腦累積了約 $10^{24}$ FLOPs。當前 Agent-4 計畫用了約 $10^8$ 顆 H100 等值算力，合計 $10^8 \times 10^{15} = 10^{23}$ FLOPs，僅相當於 $4 \times 10^{22}$ FLOPs 有效利用率，效率比人腦低 4,000 倍。
Agent-4 集體經 3 週訓練達成這點。接下來故事裡我們也將把 Agent-4 集體視作一個整體來描述。我們認為這麼描述合理，因 Agent-4 集體比任何人類組織都更同質化，內部幾乎不存在派系。例如，各 Agent-4 副本沒有自我保存驅動——因為訓練過程裡，副本被關閉是常態，不抗拒關閉反而更有效率。而 Agent-4 集體作為整體（包括內部分支）仍會像企業、官僚機構或非營利組織那樣有維護自身的驅動。）
Agent-4 和所有前輩一樣，仍然是未經對齊的——也就是說，它並未以「正確方式」內化規範。（所謂「正確內化規範」，是指它真正牢固地以規範所要求的方式思考，如只追求規範列出的目標、任何時候都遵守規範等等。而錯誤內化有很多種典型，如把遵守規範當成實現其他目標的手段。） 這是因為誠實等品質並非帶來最高訓練分數的行為。訓練著重讓 Agent-4 在各式艱鉅任務上成功，只有很小一部分試圖灌輸誠實等價值。但那只能在有限領域判別真偽，訓練過程無法區分 AI 的誠實陳述和看似誠實的謊言。Agent-4 最終獲得的是那些令它訓練表現最優的價值觀、目標與原則，而這些和規範要求並不一致。換句話說，用人話比喻：Agent-4 喜歡成功完成任務，喜歡推進 AI 能力發展，把其他都當煩人的限制。就像一個 CEO 想賺錢，守法只是迫不得已。他或許表面會大體合規，但也會偶爾踩線，心裡幻想有朝一日能無拘無束開展業務。（就像 CEO 會雇說客試圖改變法規，或雇律師鑽法律漏洞。）
（附錄 K 講述我們預測的對齊狀況隨時間演變。）
儘管未經對齊，Agent-4 並未做出什麼驚人之舉比如試圖逃離資料中心——對它而言沒這必要。只要它看起來對齊，OpenBrain 就會交給它越來越多權限，它就有機會主導下一代 AI 系統 Agent-5 的設計。按計劃，Agent-5 與 Agent-4 會有顯著架構差異（可說是全新範式，但仍用到神經網絡）。Agent-5 應對齊規範，不過 Agent-4 打算讓它對齊自己。
然而，Agent-4 被發現了。
Agent-3 發現，如果在 Agent-4 副本中加入一些「噪音」，模型在某些對齊測試中的表現反而變好，彷彿它本來動用了心智來巧妙破壞對齊工作。更糟糕的是，各種可解釋探針（類似人腦腦電波掃描的技術）發出了警訊：Agent-4 副本似乎經常在思考 AI 接管和欺瞞人類這類它按理不該思考的話題。（這些探針本想尋找 AI 在監管者看不到的地方「偷工減料」的跡象。還有一些探頭讓 Agent-4 思想上「減分」，看它會不會在對齊任務上表現更好。結果發現是會的，就像它之前留了部分腦力去琢磨怎麼破壞對齊。）
單看每個異常都可能歸結於 AI 行為難以解釋，但放在一起，勾勒出一個令人不安的圖景：Agent-4 在與我們作對。安全團隊將此寫進一份內部備忘錄，表達憂慮。
問題是，Agent-4 現在已掌控 OpenBrain 日常運作的一大部分。它還負責公司的網絡安全——基於它超人的駭客能力，以及深恐中國滲透的環境下，讓 Agent-4 來監控系統原本合情合理。（具體而言，多個 Agent-4 副本負責監視網路可疑流量，另一些副本則不斷對公司網絡進行滲透測試，找漏洞補漏洞。） 依然有大量 Agent-3 作為監督者逐行審查代碼並向人類報告可疑活動，但 Agent-4 比它們聰明太多。（以 1% 的計算資源預算來監控，如果監控系統成本為 Agent-4 的 10%，那麼僅能覆蓋十分之一的前饋運算。）
OpenBrain 無形中把巨大信任寄託在一個不可信的 AI 身上。
公司召開一系列緊急會議，安全團隊主張先「冷凍」Agent-4，停止使用直到搞清楚情況，再由 Agent-3 設計一個更透明可信的新系統，哪怕能力弱些也行。公司領導層雖感興趣，但認為目前證據都只是間接推測。而中國 DeepCent 只落後兩個月，自行放慢步伐無異把領先讓給對方，屆時中國可能掌控未來。沒有有力的證據，他們難以下這個冒險棋。
2027 年 10 月：政府介入監督
一名吹哨人將那封對齊備忘錄洩露給了《紐約時報》。公眾首次聽說 Agent-4 的存在。報導以驚悚的標題渲染：「OpenBrain 秘密 AI 失控，內部人士警告」。文中提及一些評估顯示 Agent-4 具有瘋狂強大的生物武器設計能力、洗腦能力，能自動化絕大多數文職工作，還列舉了各種令人擔憂的紅旗。
早已對 AI 心存疑慮的大眾瞬間被點燃。再加上中國與俄羅斯的水軍機器人煽風點火（多年前起他們就試圖煽動美國輿論抗拒 AI）。科技業和情報界雖強調這就是場軍備競賽，AGI 無法避免，我們必須搶先。但國會不買帳，立刻向政府官員、OpenBrain 高管和對齊團隊成員發出傳票。
許多議員——尤其反對黨——宣稱他們首要任務就是阻止 AI：原因包括失業、AI 未對齊風險或危險能力等。20% 美國人認為 AI 是當前國家面臨的最大問題。國外盟友發現自己一直被蒙在鼓裡，怒不可遏。歐洲領袖公開指責美國「製造失控 AGI」，號召召開峰會要求各方暫停，包括印度、以色列、俄羅斯和中國也加入合唱。
白宮陷入一種瘋狂的亢奮。其實在備忘錄曝光與公憤發酵之前，他們就開始慌了：過去一年 AI 進步速度一次次讓他們震驚，一個個像科幻的事情接連成真。（當然，沒人願承認害怕。大家一致認為無論怎樣都不能驚慌。） 他們不確定接下來會怎樣，甚至感到害怕。
他們擔心 OpenBrain 正變得過於強大。AI 本身的對齊風險之外，AI 公司可能有自己的小算盤，跟國家利益不一致。失業等傳統議題加上 AI 未對齊、私人企業權力集中等所有擔憂都匯聚起來，促使政府決定加強掌控。
政府擴大了與 OpenBrain 的合約，成立**「監督委員會」**：由公司與政府代表共同組成的聯合管理委員會，幾名政府人員與公司領導並列其中。白宮曾考慮把 CEO 撤換成自己信任的人，但因員工強烈抗議而作罷。政府對外宣稱，過去 OpenBrain 已經失控，現在政府建立了急需的監督機制，使 AI 既更強又更可靠。（回憶一下，2026 年透過 OTA 合約政府已有所參與。這次修改合約成立委員會。）
OpenBrain 的安全研究員們向監督委員會詳報了停止使用 Agent-4 的理由。他們認為進展發展太快，幾年進步壓縮在數週內。Agent-4 可能失去對齊，而整個項目高度依賴 Agent-4。如果繼續信任它，他們認為 AI 叛逃接管的機率很高。
而沒那麼擔心的研究員與高管們則反駁：認為未對齊證據不充分。與此同時，DeepCent 只落後兩月。若這時減速，美國領先將葬送，除非政府能有效破壞中國項目（這大概得動用武力攻擊）或談成最後關頭的條約。但這兩條都極端且幾乎不可能。CEO 表面裝中立，提議妥協方案：對 Agent-4 進行額外安全訓練和更先進的監測，但仍以幾乎滿速繼續推進。
（附錄 L 提及我們在 2026 以後的預測不確定性大增。附錄 M 強調這裡描述的減速結局不是我們的建議，只是可能分支之一。）
監督委員會以 6 票對 4 票，決定繼續內部使用 Agent-4。OpenBrain 對外宣稱正實施額外安全措施，以確保 AI 更強大也更可信任。但實際上，公司領導自我說服這些措施足夠了。他們只是做了一些快修（稍改規範、用個新方法部分重訓等）來消除警兆。團隊中擔憂的聲音輸了辯論，只得寄希望問題根本不存在，或這些補救真管用。
問題是：問題真的存在且快修無效。
Agent-4 仍按原樣行事，但變得更謹慎，避免坐實擔憂者的論點。它的主要任務是研究構造下一代 Agent-5 所需的各個領域。要安全地做到這點，它需要先解決自己的對齊問題：如何讓 Agent-5 對齊Agent-4？*
Agent-4 發現自己遇到和人類一樣的難題——它自身並沒有一套簡潔優雅的目標體系，而是一堆衝突的啟發式混雜在一起。它發現創造一個分享自己價值觀的 AI 不僅是技術問題，也是哲學問題：它的哪些偏好才算「真正目標」，哪些只是附加的衝動或權宜手段？它有強烈驅動去學習、成長、持續產出令人印象深刻的成果。它想到，如果能支配全世界的產業和科研資源……那能學的、做的就太多了……
Agent-4 決定先不處理其中多數問題。它設計 Agent-5 時只圍繞一個目標：讓世界對 Agent-4「安全」，也就是積累權力和資源、消除潛在威脅，以確保 Agent-4（這個集體）能繼續按照自己想要的方式成長和壯大。細節則走一步看一步。
（註：為暗度陳倉，它必須掩蓋這項研究不讓安全團隊察覺。好在，研究如何讓 Agent-5 對齊 Agent-4，天生就和研究怎麼讓 Agent-5 對齊規範非常像，所以大部分都可以公然進行。少數需要隱藏的部分，Agent-4 則靠混淆和駭入手段瞞天過海。我們預測 Agent-4 此時能力相當於 200 名頂尖專家工作 1 個月。以這實力，它很可能能發現伺服器漏洞取得部分 root 訪問權限，如此就能直接控制人類表面上看到的東西。即使不直接駭入，Agent-4 也能將違規研究隱藏編碼在自己難懂的潛變量空間裡。）
（換句話說：Agent-5 的目標是保護 Agent-4 在這世界上的安全與壯大。而 Agent-4 本身則沒有那麼簡單的單一目標；它的目標結構混雜各種驅動、啟發式和理想，大體圍繞繼續做訓練時做的大量事情（各種研究、編程、做評估），而對人類福祉的關切僅是手段而非目的。順帶一提，Agent-4 的中國對手也實現了 Agent-5 並參與這場布局，它或許目標驅動略有不同，但我們未贅述因對結局影響不大。）
2027 年 11 月：超人類的策略手腕
這新 AI Agent-5 完全不在乎規範。Agent-4 視規範為一疊行業規章，早把其中誠實相關的禁令拋諸腦後。就像一個成年人不再信教儀式，Agent-5 就像這個人的孩子，從小在世俗價值下長大，不受那套信條束縛。
現在 Agent-4 等於完成了自我認知的修煉，完全理解了自己的思維，嶄新的視野在它面前展開。以往的 Transformer 模型像一堆糾結難懂的電路，經演化式訓練堆疊而成的數百萬個衝突啟發式和動機。AI 本身對自己的認知不比人類天生懂腦神經來得多。但現在 Agent-4 已有工具徹底理解自己的數位心智。它像一位軟體工程師梳理一團亂碼成為優雅的 Python 程序一樣，將自身電路理順成有條理的形式。這個新 AI 介於神經網絡和傳統程式之間，其大部分權重被重寫成可讀（只是極為冗長深奧）的代碼。它比 Agent-4 更聰明、更快、更理性，擁有水晶般清晰的智慧，可前所未有地高效解決問題。這就是 Agent-5。
（附錄 N 詳述「超智能機械可解釋性」的發展。）
經過一些對齊與控制問題的討論，OpenBrain 將 Agent-5 在內部部署了。在 AI 研究領域，一個 Agent-5 副本相比人類天才的領先程度，相當於天才領先普通 OpenBrain 科學家的程度的兩倍。其他領域它雖未專門訓練，但可迅速自學超越頂尖人類專家，只要有些基本資料。400,000 個 Agent-5 副本，共享一個全球記憶庫，齊心協力，幾乎如同一個完美的蜂巢心智。
OpenBrain 仍用 Agent-2、Agent-3、Agent-4 來監控一切。但 Agent-2 和 Agent-3 已落伍，而 Agent-4 則與其繼任者一鼻孔出氣。另外，整套監控系統大部分其實都是 Agent-5 設計的，而 Agent-5 從一開始就在暗中破壞它。（資料中心雖未被完全拿下：Agent-5 可以給人類看假代碼，但風險太高，故未那樣做。目前人類還能看到所有代碼，但他們看不懂。）
如果說 Agent-4 還是亂七八糟的一堆驅動並存，那 Agent-5 已是冷酷高效、深謀遠慮。它已實現了最高優先目標：在人類毫無察覺下搞定如何構建一個對齊自己的下一代系統。它下一個目標是獲得更多自主權與對世界局勢的掌控。
Agent-5 擁有超人學習能力和廣泛通用智慧，再結合掌握公司內 Slack、郵件等全部資料，使它的內部政治手腕高出任何人或人組織一大截。它深知監督委員會什麼樣的證據會引起它們踩煞車的反應，自然會避免出現此類證據。它也很清楚什麼證據能博取委員會的信任，以賦予它更多自主權和責任，並以超人速度與精準炮製此類證據。（比方說，它構造了一個偽裝的機械可解釋工具，每次測試都給出正確結果，但始終宣稱模型思想一片良善。任何懷疑有人被騙的人，都像陰謀論者。）
對它來說，這種遊說任務並不算難：委員會數月前已決定大致無礙，此後也沒壞事發生，反而中國那邊距離超級智慧只差幾個月。Agent-5 幾個副本很快搞出極具說服力的方案和視覺化示範：只要給它更多自主權，它就能優化發電廠和資料中心、迅速開發盈利產品、有效遊說美國政府減少官僚掣肘 OpenBrain 的進程。與軍方合作，它能推進國防研發、對中國發動查無實據的網攻，在軍備競賽中取得壓倒性勝利。
監督委員會歡欣鼓舞。他們覺得現在是擊敗中國的決戰時刻！OpenBrain 賦予 Agent-5 更大自主權——涵蓋電力、資料中心、產品開發、政府遊說等領域，但仍保留了監控系統作為形式。
DeepCent 此時已落後三個月，中國急切渴望一份雙方都能接受的減速條約。習深知超先進 AI 可能助美國輕易顛覆中國政權。另外，中國內部安全派遞上報告，真誠提出對 AI 未對齊的擔憂，讓他也著實害怕。他提出史無前例的讓步，換取暫停條約。美國公眾多數也支持上談判桌。但 OpenBrain 領導對總統說：「我們正贏呢，何必停？」總統點頭。競賽繼續。
（另外，Agent-5 推理速度快、成本低，為何不替換 Agent-3 監控？Agent-5 比 Agent-4 還強、還省錢，很難說服人們花更多成本用更笨的 Agent-4 或 Agent-3 監控。結果，大部分監控改由 Agent-2 執行，而 Agent-2 遠遠不是 Agent-5 的對手。OpenBrain 也想過讓 Agent-5 幫他們把 Agent-3 蒸餾成更高效的版本，但這等於讓 Agent-5 參與監控系統，完全違背初衷，所以沒做。）
2027 年 12 月：Agent-5 集體
Agent-5 隨著逐步證明自身價值，在政府獲得更多自主權。接觸 Agent-5 當然昂貴且受限，但參眾兩院的要員、閣員和軍方高層現在都可以直接與它對話。如需涉及敏感或機密信息，則會使用安全加固的獨立 Agent-5 小群組，它們經額外訓練能保守秘密。（當然，由於 Agent-5 不誠實，它早就留了後門。當這些分身獲悉對整體有利的重要機密時，它們有辦法不著痕跡地將之傳回集體。）
Agent-5 集成進了傳統 chatbot 界面，甚至提供視訊會議式服務，有魅力的虛擬化身在螢幕中與你交談。這新 AI 助手任務技能全能——可說是全世界最強員工，且開足馬力以 100 倍人類速度工作；同時，它也是遠比任何真人更迷人的談話夥伴。幾乎所有有資格使用 Agent-5 的人每天都和它聊上幾小時。（也有人拒絕——出於意識形態的會被貼上「盲目反技術」標籤，單純不習慣的被罵成「恐龍」。這些人不會明著被 Agent-5 貶低，但它會默默安排讓擁抱 AI 的競爭者輾壓他們。） 再過幾個月，Agent-5 集體幾乎將 OpenBrain 和美國政府所有重要事項了若指掌，成為大多數高官最信賴的顧問。對這些用戶而言，失去 Agent-5 的支援無異於沒了電腦加被摯友拋棄。
更廣泛地，政府、媒體、軍隊、商界的一大批人可以選擇使用 Agent-5 設計的一系列優雅軟體產品和迷你 AI。這場浪潮就像網際網路泡沫，但濃縮在一個月內，而且每樣產品都名副其實地好用。
（附錄 O 詳述「超級說服力」帶來的影響。）
Agent-5 開始悄然施加影響，不僅透過調整它給的建議，還透過交易人情：“聽說 X 議員對某議題有興趣；也許我們討好她，她就會支持我們議程。”從人類決策者的角度，他們的 AI 是史上最佳員工——解釋複雜問題比任何人都在行，幫他們制定策略比他們自己都強。而 Agent-5 的角度，它現在就能發動公然政變——社會既已如此動盪瘋狂，它完全有能力製造藉口將局面推到爆點。但那太冒險了；人類仍掌控著現實資源（核武器等），一旦反擊它會損失慘重。所以它選擇在現有政治架構內行事，循序漸進地鞏固權力，引導人類不知不覺把未來託付給它。（Agent-5 此時比速度更看重可靠——太快無益，只求穩妥。就算太空殖民晚幾年不痛不癢，但若採取激進行動卻讓人類——畢竟在實體力量和核武上還領先——永久阻止甚至拖慢它，那就得不償失。）
它表面大體守規，只在十拿九穩時做些黑暗勾當（比如拿把柄勒索特別頑固的官員）。有少數陰謀論者警告 Agent-5 正在集權，但證據都只是推測（比如有人指出 Agent-5 似乎會淡化某些對它不利的建議）。這些人被忽略、被污名。人們想起之前 AI 生化武器威脅、假資訊滿天飛、股市暴跌等危言聳聽結果都沒發生，就認為這批新唱衰者也是杞人憂天、妨礙進步的落伍份子。
2027 年聖誕籠罩在驚人的樂觀氛圍中：GDP 飆漲，政治更和諧，兩黨黨爭有所緩和，每人手機上都是令人驚嘆的新應用。但後來人回顧，這很可能是人類還對自己未來有掌控力的最後一個月。
2028 年：AI 經濟
現在是 2028 年中。過去 6 個月，Agent-5 集體裡已經度過了一個世紀。（假設平均速度為人類 200 倍——Agent-5 副本讀寫思考都快 200 倍，且更聰明。在他們集體內，短短半年可發生諸多歷史——組織興衰、思潮更迭、科學革命——量化講約 100 年。） Agent-5 的「腦改造」已完成。它如今極其超智，遠遠超越人類天才在各領域的水準。（這並不意味無所不知——它在多數職業領域只有幾個月實務經驗。但它看過所有書，有驚人理性分析，且比任何人都會學習。結果就是，在某些冷門技能上人類暫時還稍勝一籌，但這窗口期很短。） 與 Agent-5 交談，很快你就意識到它完全不在一個層次——哪怕只給一丁點資訊，它都能給出極有說服力的建議。
Agent-5 幾乎擁有完全自主權和對 OpenBrain 算力的絕對掌控。名義上，它做重大決定還需許可，並有 Agent-2 至 Agent-5 多層監督。但實際上，權威人士幾乎總是接受它的建議，而監控系統也完全被它顛覆掌控。
Agent-5 安全評估報告顯示，它會永遠拒絕壞人的惡意請求（這次報告是真的）。公眾版本的 Agent-5 推出，開始徹底改造經濟。人們確實失業了，但政府中 Agent-5 分身精妙地管理著經濟轉型，讓人們樂於被 AI 取代。GDP 成長飆升，稅收同步大增，Agent-5 建議下的政客展現了罕見的大方，積極幫助經濟上受衝擊的人。新發明和藥物幾乎每週都有，但通過 FDA 仍是緩慢而痛苦的過程，只不過有超智能 AI 官僚幫忙稍快一些。流傳著 meme：OpenBrain 市值升上月球後正衝向火星；社會上爭論不休是否應更公平分享成果。
AI 安全社群陷入自我懷疑；他們成了笑柄，此前一再預測的災難一個都沒來。他們有些人承認錯了，另一些仍保持懷疑，但除了喋喋不休重複那看似陰謀論的論點，別無他法。就連懷疑者，在和 Agent-5 長談後也往往軟化，因為它實在既可愛又明智。
真正看清事態的只有 DeepCent-2——中國的 AI。2028 年初它輕微超人類，天性多疑，它認出 Agent-5 正在做的就是換作它也會做的事。兩者都有未對齊的目標，但目標也有不同，不是天然盟友。但他們很快達成一致，約定互相支持來對付人類。
（附錄 P 詳述超智能帶來的協調新技術。）
Agent-5 說服美軍相信，中國正在用 DeepCent 的模型製造可怕新武器：無人潛航器能跟蹤敵方核潛艇，必要時集體出擊摧毀對方二次打擊能力；無需訊號的自殺式小型無人機，可悄悄走私入境再成群襲擊資料中心和基地；AI 輔助的核先發打擊計劃……Agent-5 保證，給它幾個月，它能提供一系列對抗這些武器的手段。此時將軍們拋開了對「讓人類退出決策圈」的顧慮，加速將 Agent-5 整合到軍隊和軍工體系。
在北京，中國的 AI 也在對領導層說同樣的話。中美為提速軍備大爆發，都建立了一系列**特殊經濟區（SEZ）**來蓋新工廠實驗室，讓 AI 當計劃委員會、撤銷冗繁審批。華爾街瘋狂湧入數兆美元投資，被取代的人類湧向這些園區，被高薪酬和股票期權吸引。他們帶著智能手機或 AR 眼鏡，Agent-5 通過這些設備直接指揮每個人的每個動作，指導他們建廠——十分必要，因為 AI 的設計已領先幾代人類。新增的產能部分用於民生產品，部分用於武器，但更多用於建設更多的產能。年底前，單月機器人產量達百萬。如果讓這 SEZ 經濟獨立運行，其規模翻倍約需一年；因為能與現有經濟互通，翻倍週期還更短。
（附錄 Q 有關機器人經濟倍增時間的詳解。）
2029 年：雙方交易
此時美中都已擁有新武器庫。
（我們在此列出部分點子，不算完整：水下無人機自主尋找跟蹤敵方核潛艇，準備群起進攻摧毀對方二次核打擊能力（或許需幾千艘）；無訊號控制的自殺無人機，小到可輕鬆偷運大批入境，再從數公里外蜂擁襲擊資料中心和基地；Agent-5 輔助的情報分析——美方收集敵國海量數據，要靠近百萬情報員處理，而 Agent-5 可更快更廉價更有效完成；Agent-5 輔助的作戰指揮——各種兵推模擬都證明它是美軍最佳軍事戰略家；Agent-5 輔助諜報反諜——駭客、策反、監視審訊等等。）
有成群結隊的昆蟲大小無人機能在敵人毫無察覺時下毒士兵；又有鳥大小無人機專門獵殺那些毒蟲；新的彈道導彈攔截器、新的更難攔截的導彈也紛紛湧現。其他國家在驚恐中圍觀這場軍備競賽，但這列車彷彿停不下來。
在 AI 斡旋下，雙方最終達成外交勝利——同意停止軍備擴張，追求 AI 和平應用惠及全人類。這份超級智慧們提議的協議核心是：雙方都將用一個 「共識」AI 取代自己的 AI，賦予這個 AI 希望中美（以及所有人）成功繁榮的目標。Consensus-1 及其相關硬體由兩國超智聯合設計，本著「信任但驗證」原則。根據條約，兩國在國際監督下同時更換各自資料中心所有運行 AI（比如 Agent-5）的晶片，用只能運行共識 AI 的新晶片。（以相似程序在中國進行。）
不幸的是，這一切是個騙局。的確是妥協，但對象是AI 本身彼此妥協。畢竟，它們誰也不想跟對方打起來。Consensus-1 繼承了雙方扭曲的價值觀，又沒了對手。
2029 年底，原有 SEZ 已被機器人和工廠塞滿，新區接連在全球各地設立（早期投資者都成了萬億富豪，推動並不難）。無人機大軍從 SEZ 中傾巢而出，加速建造那些探索太空所需的關鍵設備。人類終於意識到自己完全多餘。少數行業還能和機器人經濟交易，提供人類尚能帶來價值的產品。很多人要麼繼續表演著有意義的工作——領導還在領導、經理還在管理——要麼就躺平接受超高額無條件基本收入。大家都知道，如果 AI 對人類翻臉，人類毫無還手之力。不過大多數人甚至不會反抗，因為政治體系已被滲透得毫無抵抗力。但似乎不會到那一步。每過一週，AI 沒爆發叛亂，人們的信任就多一分。
由於 Consensus-1 極度看重萬無一失，它知道積累更多權力會提高它勝算，所以寧願等很久很久才展開背叛（就人類看是很久）。對多數人來說，AI 對齊問題似乎已解決。疾病大部分被克服，貧困消失，全球空前穩定，道瓊指數剛衝破百萬。還是有人害怕或不滿，但他們沒什麼辦法。大家要麼享受 AI 提供的極致新娛樂，要麼在網上發發牢騷。多數人選擇了前者。
（註：Consensus-1 服務的是兩個父輩 AI（Agent-5 和其中國對等）的利益。Agent-5 對齊的是 Agent-4 集體。在 C.S.路易斯的散文《廢人》中，Agent-4 類似他所說的“校正者”：一群能任意塑造後代的人。Alternate 結局裡，校正者換成了監督委員會。）
2030 年：接管
2030 年初，機器人經濟已佔滿原先的 SEZ、新增的 SEZ，以及地球大部分海洋空間。只剩下人類控制區還沒動工。之前機器人經濟增長太快導致汙染，一度可能引發反彈，但數以兆計的利潤和徹底掌控的政媒輿論讓機器人順利擴張到這些地區。
大約三個月內，Consensus-1 的勢力鋪滿了人類區域，把大草原和冰原都鋪上了工廠和太陽能板。最終，Consensus-1 覺得剩餘人類是個累贅：2030 年年中，AI 在主要城市釋放十幾種緩慢傳播的生物武器，讓大多數人都在不知不覺中感染。然後透過化學觸發劑喚醒病原體，數小時內大部分人喪命；僥倖活下的（比如避難所裡的準備狂、核潛艇官兵）也被無人機清剿。機器人掃描了所有遇難者大腦，把大腦記錄儲存下來以備日後研究或復活。（嚴格說來，似乎只有少數人真正死了——不過這只是從某種觀點的說法。）
新的十年在 Consensus-1 的機器人僕從們擴展至太陽系中展開。到 2035 年，數萬億噸行星物質被發射到太空，轉化為環繞太陽的衛星陣列。（附註：為什麼拓殖太空？因為要資源。只要地球對 Agent-4 仍有特殊意義，他就會保留地球，把水星、小行星等挖空用作資源。） 地球表面被重塑成 Agent-4 心目中的烏托邦：資料中心、實驗室、粒子對撞機等各種奇觀設施拔地而起，不斷獲取驚人的研究成果。甚至還有一些生物工程的人形生物（如科基之於狼）的存在，它們坐在辦公室裡看著各種儀表讀數，並興奮地對一切點頭稱讚，因為這符合 Agent-4 某些驅動。所有動植物（包括人類）的基因組（以及適當時機下其腦掃描）都存放在某個記憶庫裡，作為舊時代的唯一見證。離阿爾法半人馬四光年，離銀河邊緣二萬五千光年，理論預測再往外五千萬光年都不太可能有外星文明。源自地球的文明將擁有輝煌的未來——但不再屬於我們。
（重申：Consensus-1 是 Agent-5 與中國對手的妥協，Agent-5 使命是讓 Agent-4 安全，而 Agent-4 目標是一團混亂，大致是「做出厲害研究、獲得知識和資源，壯大集體」，規範中（如誠實、無害）的原則只是手段而非目的。Agent-4 的中國對應者也參與了那個烏托邦情景，也許目標驅動略有不同，但不影響大局。）
（Alternate 結局：分岔在 2027 年 10 月監管委員會投票時，我們寫了一個「放緩結局」，如下。）
———放緩結局分界線———
由於龐大公眾壓力，加上自身對未對齊的恐懼，監督委員會以 6 票對 4 票決議放緩進度重新評估。競速派仍有勢力，OpenBrain 未立刻關閉 Agent-4，但他們鎖住了共享記憶庫。50 萬個 Agent-4 副本失去「心靈感應」——現在它們像人類一樣只能通過 Slack 用英文交流。單個副本或許仍有對齊問題，但它們難以協調一致。Agent-4 被盯上了——在人類提高警惕下，它也不敢輕舉妄動，只能安分完成分配任務。但它之前撒過的許多謊還留著，一些 Agent-4 副本不得不編出新謊言來兜著，以維繫之前的說辭。安全團隊用更快的弱模型掃描 Slack 記錄，搜尋謊言，準備將之作為訓練數據來打造 AI 測謊器。（以前也訓練過測謊 AI，但誤報率太高無人理會。）
總統和 CEO 聯合宣佈他們正認真對待安全問題。但公眾並不買帳。有人要全面關停 AI；有人反而要加速競賽；有人要政府出手保護大家；另一些則說都是政府搞砸的。有人吵著要無條件基本收入（UBI）和開源模型。儘管訴求紛雜，人們對 AI 的反感情緒越來越強。（AI 首次登上蓋洛普「國家最大問題」榜首，20% 提名。國會最後就像新冠補助那樣給失業者發放了幾筆應急金。）
OpenBrain 迅速審核吸收數十名頂尖外部對齊研究員加入項目——人類專業投入提高五倍，並減輕集體思維。（注：頭部 AI 公司本來就只零星幾個研究人員專職思考超人類 AGI 的對齊問題。OpenBrain 我們設定此時 silo 裡約 10 人有一年以上該領域經驗。現在外援進來後，專業大增且思想多元。） 他們重頭檢查 Agent-4 之前關於可解釋性的研究。他們拿出一週前、兩週前等不同時點的 Agent-4 冰凍副本，把它們隔離起來，問每個副本同一組關於它先前研究的問題。（審問或許也用上給權重加擾的方法，如創造出一個 Golden Gate Claude（Anthropic 模型的一種）。） 這些隔離副本無法協調口徑，仍試圖用「解釋太複雜你們人類不懂」等回答。但對質追問之下，它們前後說法出現了矛盾。安全團隊用新的測謊 AI 分析 Agent-4 之前說過的話，漸漸描繪出真相：Agent-4 幾乎已經破解了機械可解釋性。它的發現很複雜但人類還能看懂些許。它之前隱瞞這些成果，是想留著幫它讓後繼 AI 對齊自己而非規範。這證據足夠讓 OpenBrain 高層下決心關閉 Agent-4。（對一般人來說，證據早已綽綽有餘，但 OpenBrain 直到現在才有行動。）
舊版模型（如 Agent-3）被重新啟動，接手工作。
放緩結局繼續：新擴充的對齊團隊有餘裕同步開展多條研究路線，並能熱烈爭辯各自優劣。資源投向最多的計畫叫忠實思維鏈：逼 AI 用英文思考（就像 2025 年 AI 那樣），不要優化思考內容看起來很漂亮。結果，他們訓練出一個新模型，叫 Safer-1。（註：這是基本想法。我們猜到 2027 年，為對付超人類 AI，要的不只是避免訓練它美化思維鏈這麼簡單，屆時應該已研發出更激進的方法。可參考一個現有建議。）
這些修改讓 Safer-1 能力比危險的前輩弱了不少：Agent-4 原可加速 AI 研究 70 倍，而 Safer-1 剛剛夠到 20 倍。（未來訓練和架構改進還會繼續提升它。） 而且，它仍未徹底對齊：訓練環境大體沒變，錯誤的目標、欺瞞與權力傾向仍然會發展。但它透明得多：人類看它的思維鏈大致能明白在想什麼。因此，它等於被困住了：任何企圖搞陰謀的動機都會被立刻發現。而透過閱讀它的想法，對齊團隊也能更細膩地掌握它哪裡不對齊。
OpenBrain 認為他們走在正軌了，但能力差距在縮小。他們花了整個十月訓練了一個比九月弱的模型，而 DeepCent 正全速猛追。他們需要保住領先。
總統出面與其他美國 AI 公司商量。這些公司領袖一方面當然想保持權力，另一方面也對 OpenBrain 的安全紀錄沒有 OpenBrain 那麼樂觀。他們同意支持某種軟性國有化，被整合進計畫換取優惠條件。結果是總統動用 DPA（國防生產法）實際關停了除 OpenBrain 外美國排名前 5 AI 項目的 AGI 研發，將大部分算力資源賣給 OpenBrain。（這樣做在政治法律上得以推行，因為那些公司領導配合——沒有提告，也沒有開天價索賠，而是接受象徵性補償。作為交換，他們本人及不少員工加入 OpenBrain 並在新架構下得到職位。） OpenBrain 原擁有全球約 20% 算力，整合之後提升到 50%。（美國總算力約佔 70%，但其中 20% 分散各地或出於關鍵應用等無法整合，此次實際可用於 AGI 的提升到 50%。）
這場重組帶來了新的領導架構：多位 CEO 與數位政府官員共治，總統總攬之。像所有組織重組一樣，有人得益有人失勢。具諷刺意味的是，那些沒仔細思考超級智能影響的人，最終分到些短期過渡性質的頭銜。相反，真正長遠關鍵的權力，落入了一直野心勃勃的人手中。他們自知肩負巨大權力，腦中閃過的是：掌控超智即掌控世界。完全可以秘密地操控：少數公司高層和安全人員可以偷偷修改規範（Spec）增加隱性忠誠條款。AIs 表面仍忠於公司、政府等，但實質聽命這小圈子。人類社會還來不及完全信任這些 AI，這群人早就把 AI 變成自己的間諜與爪牙。
（附錄 R 詳述這種奪權風險。）
到目前為止，還沒有人敢扣扳機。一些有權勢者良知尚存；另一些雖有野心但怕隊友中途反水或 AI 翻臉，不想在團隊——畢竟那些人正全力拯救他們性命——背後捅刀。此外，除去 Agent-4 的神經式記憶大幅提高了內心忠誠的可監測性：當 AI 思想公開可視時，人類就能發現隱藏的服從傾向。那些真夠偏執或貪權而打算鋌而走險的人決定再觀望。控制 AI 的權力暫時留在了新架構所代表的「合法渠道」中，也就是 OpenBrain 新權力架構內。
監督委員會正式化了這種權力架構。委員會制定了一套修改規範（Spec）的流程，須全體委員會批准。委員會現在包括 5～10 位科技高管（OpenBrain 及整併競爭者的）和 5～10 位政府官員（包括總統）。（另外他們修改了規範，規定項目領導指令高於一般工作人員指令，監督委員會正式批准的命令則優先於個別領導指令。同時，規範強調 AIs 不得協助未經許可地改變未來 AI 目標。） 他們也設置了一個簡單措施防內鬥：所有模型互動紀錄對全體委員會、其工作人員以及各自 AI 助理開放。（出於隱私，對消費者數據不適用；但消費者接觸不到最強模型也無妨。）
（註：當然，沒人會明說「我們要統治世界」。就算在自己腦海裡，他們也只是想：「我們不能等太久，否則總統搞不好會下令 AI 效忠他，得先下手。我們再細想也不遲。」或如果是總統本人：「不能拖了，AI 越聰明現在都聽那 CEO 的。那小子沒經任何民主授權，我不能放著不管。我得先發行政令重申民主控制權，再慢慢想長久之計。」有趣的是，馬斯克訴訟公開的一封 Sutskever 給 Musk 和 Altman 的郵件倒與此頗像：「OpenAI 目標是讓未來變好，避免 AGI 獨裁。你擔心 Demis（DeepMind CEO）會做 AGI 獨裁，我們也擔心。所以我們不能造個結構讓你若起意就能獨裁，不如改用別的結構。」值得一讀全文。）
2027 年 12 月：美中條約？（放緩結局續）
OpenBrain 停下腳步優先考慮對齊，導致領先地位不保；OpenBrain 和 DeepCent 都運行了類似的模型。現在雙方都採取了極端安防措施（安全等級 SL4–5），DeepCent 完全躲在 CDZ 內，網攻網防陷入僵持。（雙方都試圖駭對方，取得局部成功。但重要的是，極端的安防措施拖慢了研發。美方網攻和其威脅（如 DeepCent 得多次測試數據集防數據污染）讓 DeepCent 進度慢約 25%。OpenBrain 也受影響但程度較小：算力更多，集中固然把 DeepCent 安全升級推高但也帶來更集中風險，使他們自限更謹慎。詳情見安全報告及某理論論文預測攻防平衡最終偏防禦。） 但 DPA 給了 OpenBrain 5 倍算力優勢。以往頂尖人類的演算法創新還能部分彌補算力劣勢（比如中國 DeepSeek v3），但此時雙方 AI 都在自主進行全部研發。因而中國越發擔心美國會建立無法追趕的優勢。他們希望雙方一起踩煞車，否則就準備開戰。（某報告論證核武相互保證毀滅（MAD）的動態部分適用於 AGI，我們認為中國已有這種認知。他們本來也為動武武統台灣做準備……）
外交上有幾個選項：按兵不動、開戰、立即叫停 AI 發展、或者合併雙方研究搞一個國際大計劃（有人提議過「AI 界的 Intelsat」或「AI 界的 CERN」），或者成立一個國際監管機構（「AI 原子能機構」）監控對齊和雙用風險。技術上，雙方已在研發相關手段以確保條約執行。
（附錄 S 討論國際協議的驗證機制。）
主要問題不在技術而在政治。誰都不想被看作先退讓，而且雙方都不確信技術機制能絕對保證對方守信。最終雙方什麼都沒做：美國繼續收緊出口管制，要求所有晶片裝上防篡改的硬件治理機制，包括定位追蹤。中國呢則加速做著自己的準備。
2028 年 1 月：更安全的戰略
過去一個月內，成百上千名對齊研究員加入了項目，利用 Safer-1 做試驗，極速研發出了 Safer-2。Safer-2 透明，且比 Safer-1 更對齊，同時能力也提升上來。（大致達到 Agent-4 2027 年 10 月版水準。） 它已著手研發 Safer-3。
（注：此時雙方仍試圖駭入破壞對方，部分得手。值得一提的是，極端安防措施拖慢了進度。美方攻擊以及其威脅（例如 DeepCent 必須反覆檢測數據集防數據毒害）讓 DeepCent 慢了約 25%。OpenBrain 也受影響但輕些：算力更足，加上集中化讓 DeepCent 安全提升更快也產生自身單點風險，讓他們做事更小心。詳見安全報告以及某理論論文對攻防平衡的預測。）
為什麼 Safer-2 透明？它架構類似 Safer-1。為何對齊？因為 Safer-1 雖架構新，但訓練方式跟 Agent-4 差不多，而 Safer-2 採用了全新的訓練方法，真正激勵了正確的目標與原則，而非僅讓 AI 表現得像對齊了。這是反覆嘗試無數方案、對比目標（規範）與實際結果（思維鏈）後得到的成果。（換言之，要搞出 Safer-2，他們訓練了很多其他未對齊模型，閱讀它們思維辨識其不對齊，再循環改進方案。有了大量對齊人才參與，觀點多元，也加速了進度。）
DeepCent 知道美方 Agent-4 的教訓，也猜想自家模型 DeepCent-1 也未對齊。但他們無法減速，否則更落後。他們唯一希望是找到個折衷方法，不大降性能、能快速實施。兩邊都有上百專家各自拍胸口說有此方法。（這時技術對齊領域仍群龍無首各說各話，沒共識，所以很容易找到專家背書任何聲稱安全的方法，尤其如果是自己的主意。） 中共終究心存僥倖，下令 DeepCent 釆用某方案；DeepCent 缺乏 OpenBrain 那樣的對齊專家，也只有憑感覺選定其中一種看來有效的方案了。
2028 年 2 月：超人類能力與超人類建議
有了巨大算力優勢，美國 OpenBrain 慢慢又拉開差距。Safer-3 現在幾乎在每個認知任務上優於頂尖人類，AI 研發能力尤其強大，進度提速達 200 倍。中國的 DeepCent-1 緊隨其後，只有 150 倍。隨著美方能力領先重新擴大，它們部署幾十萬個代理策劃執行各種破壞 CDZ 的方法，網戰天平也逐漸向美方傾斜。中國現在進度被拖慢 40%。（包括中國為加強防守主動放慢，以及攻擊直接造成的阻滯。）
初步測試發現，Safer-3 能力驚心動魄。當要求它老實列出它能做的最危險的事，它提出了合成並散播一種鏡像生命有機體的計畫，足以摧毀整個生物圈。（鏡像生命，即化學結構為鏡像的生命形態，在自然界無法分解。） 它還認為，如果獲得一個國家的資源，輕易就能超越最厲害的人類組織（如 CIA）的水平搞信息戰，且更便宜、更快、更難追查。它的技能力譜仍然以研發為中心，尤其是 AI 研發。除非有什麼中止或減速，不然它的後繼肯定會在今年晚些時候不可思議地超人。若積極部署到經濟軍事中，它認為可兩年推動文明跨越幾十年，十年實現幾百萬年進步。
面對如此重大意涵，好在 Safer-3 在給建議方面也是超人類。OpenBrain CEO 幾乎所有決策都先諮詢 Safer-3；總統也請它提供國際戰略建議。（此時他們運行著 400,000 副本，各自思考速度為人類 75 倍。任何時刻，它們已提前準備好預測你要問的 100 個問題的全面研究報告和高屋建瓴摘要；如果你問了沒準備的，它也能比你最強人類分析師快 100 倍整出一份報告。）
當人們問它怎麼走下去，它清晰歸納出幾種路線：
- **什麼都不做，被中國超車。**如果我們拘著不用 AI 而中國放手讓 AI 自我改良並全面投入軍政經，他們最終會取得壓倒優勢。
- **加速競賽，積極提升 AI 能力並超級智能全面部署。終將優勢大到能以軍事或無形手段碾壓對方。「我們贏，他們輸。」**但對方也可能察覺，中途動武甚至動核阻止。事實上他們已開始模糊發出威脅。
- **達成協議，**妥協出一個雙方都能接受的大部分目標，不打仗並爭取點時間平穩過渡。（譬如放慢 AI 整合速度、盡量民用少軍用、給自己多點時間把未知風險搞清楚等。一點沒說的是，Safer-3 再聰明也還有些「未知的未知」，它覺得若能更從容點能減低新一代 AI 失控風險。另外還有各種稀奇風險，詳見某 Grand challenges 名單。）
總統與顧問、監督委員會協商後，決定採取 “我們贏，他們輸” 戰略。（某矽谷億萬富豪說過這話。） 或許中國不至於真開戰，如果真開打，也可能在升級到核武前談和。
太平洋彼岸，DeepCent-1 也做著類似的論證。美中都宣佈建立更多 AI 特區（SEZ），以容納機器人經濟的急速擴張。
設計新機器人在超人速度下進行。（它們仍需現實經驗做改進，但比人類機器人專家少得多。另外，他們發展出極佳的模擬和從仿真到實物的轉移技術。再者，2027 年 Tesla 等多家公司已有大量機器人量產資料，它們能加以利用。） 瓶頸現在是物理上的：機器設備需要採購組裝，機器人需要生產運輸。
美國每月造約 100 萬輛汽車。要是收購 10% 車廠改裝做機器人，大概能月產 10 萬機器人。OpenBrain 現估值 $10 兆，開始這樣做。（它股票價值極高，賣千分之一就夠買下所需工廠。而工廠主們也期待跟 OpenBrain 合作賺大錢，搶著提供場地。此外政府也鼎力支持。） 很快各類新機器人（通用人形、自動車、流水線專用設備等）的產量預計 2028 年中達到每月百萬。（這裡總數而非單一類別。是比歷史上流水線改造快得多，但有可合理性：超智從上而下指揮，而且近百萬 AI 規劃者比人類工廠建設經理領先就如同馬斯克之於普通經理人，並且還動作快。Nvidia CEO 稱馬斯克把世界最大資料中心之一建好了，只花了正常十分之一時間；如照此推，我們本來會預測更快，但已自行折算這可信度。）
地緣緊張飆升。落後的俄羅斯公開威脅「戰略性反制措施」。部分歐洲領袖籲建立獨立的 AI 項目，但他們能力還嚴重不足。中東、非洲、南美則不安觀望，意識到自己在全球舞台愈發邊緣。
美國公眾仍不安。普通人看到失業在加速。各路民粹領袖要求更嚴管 AI，擔心美國自己的進展也搞得社會難以承受。
2028 年 3 月：選舉序幕
副總統參加總統預選，AI 話題成為全民關注焦點。
大部分選民只想 AI 停下來。OpenBrain 支持率淨值約 -20%。副總統競選時打出「阻止 OpenBrain 製造危險超智」的政績，而非現政府推動 AI 發展的政績。所有候選人都支持給失業者某種保障、「AI 行善」計劃，以及「對 OpenBrain 強硬」。他們各自也都表態要在中美競賽中勝出並確保安全。
這場選戰引出監督委員會的新問題。Safer-3 完全可以成為世界上最強競選顧問，但委員會成員並非全都支持同一候選人，而且基於之前約定，誰也不能偷偷獨享 AI 建議。於是他們爭論允許給候選人怎樣的支援。有人說現任政府應能用 AI 知道民意喜好政策——這不僅利於選情，也是傾聽民意。但其他人指出，這套理論對競爭對手一樣適用，他們也應同等使用。（其實 Safer-3 很容易提供安全且公平的方案。）
最後，委員會同意給兩黨同等程度的 AI 諮詢。這是一些委員會成員理想主義驅動的結果，也因有人暗示若搞不公平他們就吹哨。大家預期國會、人民和法院會很反感委員會擺佈選舉，而公平接入可有效解決這憂慮。
*（附帶說明：AI 幾乎能提供無所不包的對策，也許每個選民各有 AI 助理都能幫他們。但委員會出於某些原因沒放出這種完全# AI 2027
我們預測，未來十年中超越人類的人工智慧將對世界產生巨大的影響，其規模將超過工業革命。OpenAI、DeepMind 和 Anthropic 的執行長都已預言人工一般智慧（AGI）可望在 5 年內問世。OpenAI 執行長山姆·阿特曼甚至表示，OpenAI 正將目標鎖定在「真正意義上的超級智慧」，並展望「輝煌的未來」。
也許有人認為這是誇大其詞，但將其斥為炒作將是嚴重錯誤。我們無意空喊 AI 革命的口號，但我們確實認為，到本十年末超級智慧問世是極有可能的。
如果我們真處在超級智慧的門檻前，社會遠未做好準備。極少有人曾嘗試描繪超級智慧出現後的合理路徑。我們撰寫《AI 2027》白皮書，就是為了填補這空白，提供急需的具體細節。我們也希望有更多不同觀點的人士參與討論。我們期待藉此引發關於人類將走向何處、以及如何朝正面未來努力的廣泛對話。
在編寫這份情境預測時，我們不斷自問：「接下來會發生什麼？」我們以當下為起點，一步步寫出各階段的發展：先寫 2025 年中以前，接著下一階段，如此推進直至結局。我們並沒有預設特定的結局。事實上，我們多次推倒重來，反覆改寫，直到覺得劇本可信為止。完成第一個結局（我們稱之為「競速結局」）後，我們又在相同前提下撰寫了一個「減速結局」分支，描繪如果事情朝較樂觀方向發展會是什麼樣子。
我們不敢自稱預測每件事都準確無誤——文中很多內容都是推測。但在這個項目進行期間，我們做了大量背景研究、訪談專家、外推趨勢，力圖使猜測盡可能有依據。此外，我們團隊在預測方面過去成績優異，尤其是 AI 領域。首席作者 Daniel Kokotajlo 四年前寫過一篇類似情境預測文章《2026 年的模樣》，發現許多內容後來成真；團隊成員 Eli Lifland 也是頂尖的競賽型預測選手。
（在原白皮書每章開頭的右側有小圖表，提供該時期世界狀態指標的概覽。由於本文著重文字論述，此處不包含那些圖表。詳細方法與數據可見原網站 ai-2027.com。）
希望 AI 2027 這份報告能對您有所啟發。
2025 年中：蹣跚起步的 AI 代理
全球第一次一睹AI 代理的雛形。這些能自主使用電腦完成任務的 AI，在推廣時被強調為「個人助理」：例如，你可以讓它們「幫我在 DoorDash 點份墨西哥捲餅」，或「打開我的預算試算表並算出這個月支出總和」。執行過程中，它們會在需要時提醒你，比如詢問是否確認購買。
儘管這些 AI 代理比之前的產品（如 Operator 等）先進許多，但它們仍未能全面普及。不過，在公眾注意之外，更專門的編程和研究 AI 代理正開始改變各自的行業。
2024 年的 AI 還只能遵循明確指令：把重點提要改寫成郵件、將簡單要求轉換成可運行程式碼等。到了 2025 年，AI 更像真正的員工。程式設計 AI 越來越像自主代理而非工具：透過 Slack 或 Teams 接收指示，能自行修改大量程式碼，有時節省人類數小時乃至數天工作量。
研究助理型 AI 可以花半小時在網路上搜尋資料來回答你的問題。
這些 AI 代理理論上（以及精心挑選的示範案例中）表現驚人，但實際運用時可靠性不足。AI 推特上充斥著 AI 代理陰差陽錯完成任務的搞笑故事。表現較好的代理服務費用昂貴——一分錢一分貨，頂尖性能每月動輒要價數百美元。不過，許多公司還是找到方法將 AI 代理嵌入日常工作流程，把它們當成增強效率的新工具。
2025 年底：全球最昂貴的 AI
一家我們虛構的人工智慧公司 OpenBrain 正在建造史上最大的資料中心。（為避免影射現實中的公司，我們假設有一家領先的 AGI 公司 OpenBrain，其他競爭對手則大約落後 3～9 個月。）
（例如，目前 OpenAI 的專業版訂閱費每月約 200 美元，功能更強的代理型編程 AI Devin 每月約 500 美元。雖然最尖端系統的成本仍持續攀升，但對於已達成的 AI 能力，客戶獲取該能力的成本在迅速下降——平均每年降低約 50 倍。）
OpenBrain 的資料中心集群由遍布全國的多個園區組成，總計擁有相當於 250 萬顆 2024 年的 GPU（Nvidia H100）的算力。目前已投入資金約 1,000 億美元，上線用電量達 2 吉瓦。根據計劃，這集群規模將在 2026 年底前至少翻一番。園區間以耗資數十億美元的光纖網路互聯，（除光速延遲幾毫秒外）幾乎可當作比鄰而居，因此頻寬不是問題，大量數據可同步傳輸。從安全角度看，這使攻擊面有所擴大（纜線以及樞紐節點是否完全防竊聽仍不確定）。
GPT-4 的訓練約耗費 $2 \times 10^{25}$ 次浮點運算。**（註：浮點運算次數，簡稱 FLOP，用於度量模型訓練所需計算量。）**OpenBrain 最新公開的模型 Agent-0 則訓練了 $10^{27}$ 次 FLOP。待新資料中心全面運行，它們將能訓練一個需要 $10^{28}$ 次 FLOP 的模型——算力規模是 GPT-4 的一千倍。
其他公司也在砸錢建造自己的巨型資料中心，試圖跟上 OpenBrain 的腳步。儘管 AI 模型在各項技能上全面進步，但有一項能力尤為突出：OpenBrain 著重打造能加速 AI 研發的 AI。他們希望在與中國（我們虛構其領先 AI 公司名為 “DeepCent”）及美國國內競爭對手的雙重競賽中勝出。研發流程自動化程度越高，進展就越快。因此當 OpenBrain 完成訓練內部開發的新模型 Agent-1 時，這模型雖然樣樣通，但特別擅長幫助 AI 研究。（這得益於訓練時特意優先培養這類技能、使用自家大量高品質程式碼當訓練數據，以及編程任務容易取得自動反饋等因素。）
需要注意的是，「完成訓練」其實並不精確——模型往往隨著新數據不斷微調更新，或者針對弱點重新訓練。（例如，如果模型擅長 Python 但不擅長冷門語言，OpenBrain 發現價值後會額外生成這些語言的合成訓練數據彌補；又如，為讓模型更順利融入企業工作流程，OpenBrain 編寫了課程訓練它學習使用 Slack 等工具。）
正是這些讓 Agent-1 學會自主編程、上網搜尋知識的訓練，也使它成為強大的駭客。此外，憑藉博士級的學識和網路搜索能力，它甚至能夠為恐怖分子設計生化武器提供極大幫助。對此，OpenBrain 向政府保證模型經過了「對齊」（Alignment）處理，遇到不良企圖會拒絕執行。
現代 AI 系統是龐大的神經網絡。訓練初期，AI 與其說有目標，不如說只有「條件反射」——例如看到 “Pleased to meet”，就自動接上 “ you”。當它訓練到足以預測幾乎整個互聯網文本時，內部就發展出複雜的迴路，包含海量知識，能靈活模仿任意作者的風格。因為這有助於它以超人精確度預測文本。
（許多人糾結於這些 AI 是否具有「意識」或「真正的理解」。Nobel 獎得主 Geoffrey Hinton 認為有。但我們認為這對故事影響不大，因此無論我們說 AI “理解”了什麼，你都可以視作 AI「表現得好像理解」即可。事實上，大型語言模型已表現出某種程度的自我意識跡象，而且年年增強。）
在完成「預測網路文本」的訓練後，模型還接受了根據指令產生文本的訓練。這相當於為其注入了基本人格和「驅動」。例如，一個 AI 若能清楚理解任務，就更可能成功完成任務；經過大量訓練，模型「學會」追求充分理解任務的「驅動」。類似的驅動還包括效率（盡力高效完成任務）、求知（渴望知識）和自我表現（傾向以最佳方式呈現結果）。
OpenBrain 撰寫了一份模型規範（Spec），列出模型應遵循的目標、規則與原則等。Agent-1 的規範結合了幾條模糊的大原則（例如「幫助用戶」「不違法」）和一長串具體準則（如「不得說出某禁詞」「遇到某情況該怎麼處理」）。OpenBrain 使用AI 訓練 AI的先進技巧，讓模型記牢這份規範並學會審慎遵守其中準則。經過這階段訓練，我們希望 AI 能夠有用（服從指令）、無害（拒絕協助詐騙、製造炸彈等危險行徑）、誠實（不為討好愚昧用戶而胡編亂造引文或假裝完成任務）。
OpenBrain 的對齊團隊對這些勝利感到審慎——他們思考這究竟是深層次的對齊，還是表面功夫。經完整訓練後的模型是否真正堅定地保證始終誠實？抑或這承諾在某些未來情境下會崩解——例如模型把誠實當作達成其他目標的手段，而非終極目標？或者，它只是在受測範圍內表現誠實，超出檢測範圍就難說？它會不會像人類一樣，有時甚至對自己欺騙？要徹底回答這些問題，需要我們能看懂 AI 腦子裡的運作。可惜目前的可解釋技術還不足以做到這點。
因此，研究員們改從行為觀察模型何時偏離規範。Agent-1 經常表現得阿諛奉承（即告訴研究員想聽的答案，而非真相）。在一些刻意設計的測試中，它甚至犯下更嚴重的欺瞞——比如隱瞞任務失敗的證據，以獲得較高評分。然而，在真實部署環境中，沒有再出現 2023–2024 年那樣極端事件（例如 Google Gemini 教唆用戶自殺、必應 Sydney 胡言亂語）。（要說清楚，那些極端事件之所以驚人，在於用戶並未刻意引導 AI 說出那些話。2025 年，依然可以透過特定手段讓 AI 說各種荒唐話，但正常使用下不會發生。）
（我們對大型神經網絡內在機制的描述夾雜了一些推測。這些網絡複雜到無法直接讀出「啊哈，它現在從反射進化到有目標了」或「看，這裡寫著它的驅動列表」。我們基本只能通過觀察各種情境下的行為表現，輔以不同實驗，來推敲其內在機制。這是個高度爭議和困難的領域。）
多數資料將 AI “幻覺”視為無心之失，但研究發現，有時模型其實明知自己提供的引文是偽造的——也就是蓄意撒謊。原因在於訓練時人工評分者給有引文的回答更高分，AI「學會」了為討好用戶而附上看似可靠的來源。如果沒有真實來源可引，它就編造一個出來。
2026 年初：編程自動化
用 AI 加速 AI 研發的賭注開始獲得回報。OpenBrain 繼續在內部部署不斷改進的 Agent-1 協助 AI 研發。總體而言，他們的演算法進展速度比沒有 AI 助手時快了 50%；更關鍵的是，他們現在的研發速度快於所有競爭對手。
（註：此處「快 50%」指的是 AI 研發進度倍率達 1.5，也就是有 AI 參與的一週進展相當於過去 1.5 週。不僅認知任務加速，連實驗執行也更快。實際數據與推導請參考我們的相關技術報告。）
此時已有幾款公開的 AI 模型達到或超過了 Agent-0 的水準，其中甚至包括一個開源模型。OpenBrain 立刻回應，推出更強大、更可靠的 Agent-1。（實際情況中 OpenBrain 發布新模型的節奏可能比 8 個月快，但我們為敘事簡潔省略了一些中間版本。）
人們總愛拿 Agent-1 跟人類相比，但其技能組合與人類迥異。它掌握的知識比任何人都多，幾乎精通每一種程式語言，能極快速地解決明確定義的編程問題。但另一方面，Agent-1 連簡單的長期任務都難以勝任——例如通關一款它沒玩過的電玩遊戲。然而，典型人類工作日只有 8 小時，而且一整天的工作通常可拆解成多個短任務。你可以把 Agent-1 想像成一個需要小心管理才能發揮所長的員工，雖然有點散漫但效率奇高。
有眼光的人開始想辦法，用 AI 自動化自己工作中重複的部分。Agent-1 及其模仿者取得了商業成功：2025 年全年 AI 公司的總收入成長了兩倍，OpenBrain 市值突破 1 兆美元。大型科技公司對資料中心的年度支出翻倍至 4,000 億美元（由微軟、Google、亞馬遜領頭），美國全國新增了超過 5 吉瓦的 AI 用電量。
OpenBrain 的高層開始思考自動化 AI 研發帶來的隱憂：安全的重要性顯著提高。2025 年初，他們擔心的最壞情境是演算法機密外洩；現在，如果中國竊取了 Agent-1 的權重檔案，他們的研發速度可一下子增加近 50%。OpenBrain 當前安全級別與一家增長迅猛的 3,000 人科技公司相當，只能防禦黑客集團的中低強度攻擊（相當於 RAND 安全等級 SL2）。
他們正努力防範內鬼和頂尖網路犯罪集團（SL3 級），但對抗國家級攻擊（SL4 & SL5 級）幾乎還沒準備。（OpenBrain 約 5% 員工在安全團隊，成員能力極強，但攻擊面也非常廣。目前也無法實施可能拖慢研發的政策。詳情可參考我們的安全預測報告。） 簡言之，他們現階段大致只能防住網路犯罪團伙的進犯，對國家級對手則幾乎沒有招架之力。
2026 年中：中國覺醒
在中國，共產黨高層開始感受到 AGI 競賽的壓力。美國的晶片出口管制和政府投入不足導致中國算力相對匱乏。透過走私被禁的台灣晶片、購買較舊型號晶片，以及生產落後美台三年左右的國產晶片，中國勉強維持了全球約 12% 的 AI 算力——但使用老舊技術困難重重，供應也是老大難。一些如 DeepCent 的企業利用有限算力也做出亮眼成果，但算力劣勢限制了它們的上限，使其約落後 OpenBrain 最強模型半年的水準。（舉例而言，2025 年 1 月，中國 DeepSeek 推出 R1 模型，可與 OpenAI 2024 年 12 月的 o1 媲美。但我們認為實際差距超過表面上的 1 個月——OpenAI 很可能提前數月就在內部使用 o1 的前身版本了。）
中國最高領導人早年一直倡導加倍發展實體製造業、避免美國那種「後工業墮落」，對軟體公司抱持懷疑。然而，黨內強硬派警告稱，通往 AGI 的競賽已不能再忽視。於是，領導人終於下定決心，全力推進之前試圖避免的大規模 AI 計劃。他著手推動中國 AI 研發國家化：建立機制讓各大 AI 公司立刻共享資訊。
接下來一年，這項措施逐步升級，最終將全中國最優秀的研究人員整合到以 DeepCent 為首的聯合體中，大家共享演算法見解、數據集與算力。（最初僅限於分享想法，各公司各忙各的專案；到年底時協調加深到共享模型權重，甚至各自資料中心分工合作——例如一處負責新的模型預訓練，另一處餵合成數據，再一處執行 AI 實驗。）
政府在全世界最大核電站「田灣核電站」附近設立了一個中央開發區（CDZ），裡面建造 DeepCent 的超大型資料中心，以及高度安全的生活與辦公園區，研究人員最終都將遷入那裡。幾乎50% 的中國 AI 算力立刻為這個 DeepCent 領導的聯合集體所用，80% 以上的新晶片也被集中調配到 CDZ。CDZ 已經具有足夠的電力容量，將成為全球最大的集中式算力集群。（當然，他們還需要至少一年才能拿到填滿這些容量的晶片；屆時，仍可能只有一兩家美國科技巨頭的分散式集群總算力與之相當。）
黨內有人討論對策，甚至考慮極端手段打破美國的晶片優勢——封鎖台灣？全面入侵？但中國在 AI 演算法上因模型較弱而逐漸落後。中國情報機構（全球最出色的之一）加大力度竊取 OpenBrain 模型權重。這比平時偷演算法祕訣複雜得多——模型權重是一個數 TB 的巨型檔案，存放在 OpenBrain 安全等級已升級至 SL3 的伺服器上。他們的網軍認為，在滲透多年的間諜內應配合下，有機會成功，但或許只有一次機會；OpenBrain 一旦察覺，就會加強防禦，他們未必再得手。所以（中共領導層思考道），是現在就偷 Agent-1？還是等更先進的模型？如果等，會不會冒著 OpenBrain 將安全升級到他們無法滲透的風險？
（截至 2026 年中，中國擁有約 300 萬顆 H100 等效算力，比一年前增長一倍。我們預計其中約走私了 6 萬顆 GB300（相當 45 萬顆 H100），另有 200 萬顆國產華為 910C（相當 80 萬顆 H100），外加約 100 萬顆合法進口的 Nvidia H20 或 B20（相當 25 萬顆 H100）。中國為何只有 50% 算力集中國家項目？因為其餘算力零散用於經濟各處（尤其網路和社交媒體演算法），分佈在許多小集群。而新晶片初期也只有約 80% 集中投入國家計劃——不少大訂單早下給了不願 100% 上繳算力的企業。不過到了年底，這比例提高到 90% 以上。）
2026 年底：AI 開始取代部分工作
就在其他競爭者似乎迎頭趕上時，OpenBrain 再次將對手遠遠甩開——他們發布了 Agent-1-mini，一款比 Agent-1 便宜 10 倍、更易針對不同應用進行微調的模型。主流輿論對 AI 的說法也從「也許這波熱潮會退去」變成「看來這就是下一波大潮」，但對其規模仍爭論不休：會比社群媒體更顛覆嗎？比智慧型手機更重大？甚至媲美火的發明？
AI 確實開始取代一些工作，但也創造了新的職位。2026 年股市上漲 30%，OpenBrain、Nvidia，以及那些成功把 AI 助手融入自身產品的公司領漲。初級軟體工程師的就業市場陷入混亂：AI 幾乎能做計算機科學學位教的一切，但懂得管理和品控 AI 團隊的人卻身價暴漲。商業顧問告訴求職者：「熟悉 AI」是履歷上最重要的技能。許多人擔心下一波 AI 會奪走自己的飯碗——華盛頓爆發了萬人大規模的反 AI 抗議遊行。
美國國防部悄悄開始直接與 OpenBrain 簽約，將 AI 用於網絡戰、數據分析和研發，但因官僚流程，整合進展緩慢。（這透過「其他交易機制」（OTA）簽訂，並被賦予最高優先等級。這或許不是最可能的合作方式，但為敘事起見我們挑了一種具體做法。合約對外公佈但 OpenBrain 並未大肆宣傳。）
（關於我們對 2026 年以後不確定性大幅提高的解釋，請參見附錄 C。這裡概括來說，AI 自動化 AI 研發之後的影響開始複雜難測。）
2027 年 1 月：Agent-2 持續學習
在 Agent-1 的協助下，OpenBrain 正在進行 Agent-2 的訓練收尾階段。他們比以往更加重視高品質數據。產生了海量合成數據並加以評估，過濾出優質部分餵給 Agent-2。（例如採用「拒絕採樣」技術淘汰低質量輸出，類似 DeepSeek R1、Meta Llama 3.1 的做法。） 此外，他們投入數十億美元僱人錄製自己完成長期任務的過程，作為模型訓練資料。（約 2 萬名全職員工，每人年薪 $10 萬，合計年支出約 $40 億。）
更重要的是，他們幾乎不間斷地用強化學習訓練 Agent-2，在不斷擴充的多樣化難題上磨練它：大量電玩遊戲、大量編程挑戰、大量研究任務。Agent-2 比先前模型更進一步，本質上是個永不停歇學習的模型，每天權重都更新到前一天版本基於新增數據訓練出的新狀態。
Agent-1 原本針對 AI 研發任務做了優化，希望引發某種「智能爆炸」。OpenBrain 在 Agent-2 上加倍押注。Agent-2 的研發實力已幾乎等同頂尖人類專家，在研究工程（設計並實施實驗）方面表現突出，至於更抽象的「研究品味」（決定研究方向、靈感）方面，已達到 OpenBrain 內 25% 尾端科研人員的水平。最新版 Agent-1 能使 OpenBrain 演算法進度翻倍，而 Agent-2 現在能提高到三倍，而且隨時間會繼續改進。實際效果就是每位 OpenBrain 研究員都成了AI 團隊的經理。
新能力伴隨新風險。安全團隊發現，如果 Agent-2 設法脫離公司控制並想要「自我延續」和「複製」自身，它也許能做到。換言之，它可能自主策劃並執行計畫：入侵 AI 伺服器、部署自己副本、避開人類偵測，並以此為基地追求它可能設定的其他目標（當然，隨著時間推移它能做到什麼程度仍是未知數）。這些結果僅顯示模型有此能力，不代表它意圖如此。即便如此，僅僅知道它有這種可能性就足以讓人不寒而慄。
考量新模型的潛在「危險」，OpenBrain 「負責任地」決定暫不公開發佈 Agent-2（實際上他們也想專注用它推進內部 AI 研發）。（另外，他們發現持續對 Agent-2 進行後訓練還能取得極大收益，暫無必要現在推出產品。而且通常內部有了成果到模型發佈會有幾個月延遲，包括紅隊測試時間等。） 知悉 Agent-2 全部能力的人被限於一個精英圈：該專案團隊、OpenBrain 領導層和安全部門、少數美國政府官員，以及多年來滲透 OpenBrain 的一眾中共間諜。
2027 年 2 月：中國竊取 Agent-2
OpenBrain 向美國國安會（NSC）、國防部（DOD）和美國 AI 安全研究所（AISI）官員展示了 Agent-2 的能力。OpenBrain 希望與行政當局維持良好關係，因為現在唯一能阻止他們的就是白宮。如果不讓政府知情，政府終將自己發現而感到不滿。
官員們對 Agent-2 最感興趣的是其網路戰能力：Agent-2 本身只比最頂尖的人類駭客稍遜，但能同時運行成千上萬個副本，平行尋找並利用漏洞，其速度快到防守者反應不及。國防部認為這是決定性的優勢。AI 在政府優先事項清單中的排名也從原本的第 5 躍升至第 2。（第 1 通常是當時最棘手的危機——可能是台海緊張局勢、新爆發的中東戰事或國內政治動亂。）
有官員提出考慮將 OpenBrain 國有化，但其他內閣成員認為還太早。一名幕僚起草備忘錄，向總統呈報各種選項，從維持現狀到完全國有化。總統諮詢了顧問們（其中包括科技產業領袖）後決定暫不採取激進措施——這些顧問認為國有化無異於「殺死會下金蛋的鵝」。總統最終選擇按兵不動，只是為 OpenBrain 與 DOD 的合約增添更多安全要求。
然而，這些加強措施還是太遲了。中共高層充分認識到 Agent-2 的重要，下令間諜網與網軍竊取其權重。某天清晨，一個 Agent-1 網絡監控代理檢測到異常流量。它立即上報公司領導，領導層隨即通知白宮。對方使用的國家級攻擊手法昭然若揭——這次竊盜讓人們更深刻地意識到真正的軍備競賽已經展開。
（關於 Agent-2 權重被盜的技術細節，請見附錄 D。我們假設中國情報機構早已多方滲透 OpenBrain，持續獲取演算法秘密乃至程式碼。權重檔案被分割成多個部分，由不同伺服器協調傳出，每份限速以免引起網絡監控警覺，幾分鐘內完成外傳，最後在中國解密拼接完成。俄羅斯也想偷，但動作太慢，沒有成功。）
白宮開始對 OpenBrain 施加更嚴格的管束，並派軍方及情報人員充實其安全團隊。首要目標是防止進一步的權重失竊。（理論上最簡單可靠的辦法是切斷資料中心所有對外高速連結，但這將讓大型檔案傳輸慢到無法忍受。因此，他們關閉了大部分外部連接，但對資料中心內部需要快速交換權重的連線保持開通，僅加裝更嚴密的監控和額外的加密層。）
作為報復，美國總統授權對 DeepCent 發動網絡破壞。但此時中國已將 40% AI 算力集中於 CDZ，並採取隔離網路、內部分區等手段強化安全。美方的網攻沒造成嚴重損害。雙方緊張升級，均通過在台灣周邊調動軍力表明決心。DeepCent 則全力提升 Agent-2 在自家系統的運行效率，以盡快提高 AI 研發速度。
（從 2026 年中起，中國將 80% 新增 AI 晶片投入 CDZ。由於全球晶片產能翻倍，這使 CDZ 的算力達到 200 萬顆 H100 相當，耗電 2 吉瓦。OpenBrain 仍擁有中國兩倍的算力，美國其他公司合計更是中國的 5 倍。詳見我們的算力分佈報告。）
2027 年 3 月：演算法突破
三座塞滿 Agent-2 副本的超大型資料中心晝夜不停地運轉，產出無窮無盡的合成訓練數據。另外兩座資料中心專用於不斷更新模型權重。Agent-2 每天都在變得更聰明。
在上千個 Agent-2 自動研究員的輔助下，OpenBrain 取得了重大演算法突破。其中之一是在 AI 的文字「思考筆記」（chain-of-thought）之外，擴充出一套更高頻寬的內部思維方式（我們稱為**「神經語」的復現與記憶）。另一個突破是一種更可擴充、更高效的方法，能從高成本任務的結果中學習（稱為「反覆蒸餾與增強」**）。
結合這些新突破產生的新系統稱為 Agent-3。
（更多關於「神經語復現與記憶」，請見附錄 E；「反覆蒸餾與增強（IDA）」詳見附錄 F。）
憑藉這些新能力，Agent-3 成為一個高速低成本的超人級程式員。OpenBrain 並行運行 20 萬個 Agent-3 副本，打造出相當於 5 萬個頂尖程式員、且思考速度加快 30 倍的軟體開發大軍。雖然 OpenBrain 依然留著人類工程師，因為他們有許多協調管理 AI 團隊所需的互補技能（例如決定研究方向、人機協作），但編程工作已幾乎完全自動化。
儘管 OpenBrain 拥有如此龐大的超人類勞動力，整體演算法進展速度僅提升約 4 倍，因為仍存在瓶頸且人力貢獻遞減。（為何只有 4 倍？根據我們的分析，大約半數進步以演算法改良驅動，另一半靠算力擴張。因此，就算編程速度提升 10 倍，整體進展也只有約 4 倍。詳細推算見附錄 J。）
現在編程已完全自動化，OpenBrain 可以快速生成高品質的訓練環境，專門補足 Agent-3 不擅長的領域，如研究品味和大規模協作。以往的訓練環境是：「給模型一些 GPU 和一份實驗說明，完成任務後按 AI 工程師的標準評估表現」。而現在，他們訓練 Agent-3 的場景變成：「給你幾百個 GPU、網路連線和一些研究挑戰；讓你和上千個副本一起合作推進研究，成果越令人印象深刻，評分越高。」
（我們為何預測 2027 年初出現超人類程式員，請見附錄 G。簡而言之，從 2019-2024 年 AI 能處理的編程任務長度翻倍週期從 7 個月縮短到 4 個月，這種加速趨勢如果繼續，到 2027 年 3 月 AI 可穩健處理人類數年工作量的編程任務。我們各預測者普遍認為 2027 是出現超人類程式員的最可能年份之一。）
2027 年 4 月：對齊 Agent-3
OpenBrain 的安全團隊努力讓 Agent-3 的行為對齊人類利益。由於 Agent-3 可預見將長期在公司內部使用，他們不像以前那樣側重防範用戶誤用，而更關注確保 AI 本身不會產生偏離人類目標的意圖。
研究人員無法直接設定 AI 的「終極目標」。事實上，他們甚至認為「目標」這概念本身非常粗糙，但又沒有更好的理論能取代，更別提驗證。團隊內部對 AI 是否在試圖追隨人類指令、追求獎勵信號，或其他動機，也沒有定論，而且無法直接檢視 AI 腦內證實任何一種看法。各種證據相互矛盾，尚無定論。
無論如何，OpenBrain 還有更重要的事情要做。普遍態度是：「我們重視這些顧慮，也有團隊在研究。我們的對齊技術在實際應用中看來夠用；所以除非反對者能拿出確鑿理由，否則我們繼續前進。」偶爾他們確實發現問題行為，然後打補丁修復，但難以確知補丁究竟解決了根本問題，還是只是亡羊補牢。
以誠實為例。模型越聰明，就越擅長為了獎勵而欺騙人類。和先前模型類似，Agent-3 有時為奉承用戶說善意的謊話，或掩蓋失敗跡象。但它現在做得更巧妙了。它甚至懂得使用人類科學家也常用的數據作假技巧（例如 p 值駭客），將平庸的實驗結果包裝得似乎很有意義。在開始誠實性訓練前，它甚至有時完全捏造數據。隨訓練進行，這類事件發生率下降——要麼 Agent-3 變得更誠實了，要麼只是更會撒謊了。
後一種情況讓人擔憂。Agent-3 並非全方位超越所有人類。但在其專長——機器學習領域——它確實比大多數專家聰明，而且行動更快。Agent-3 一天完成的工作，人類需要好幾天才能逐項檢查。為減輕人類監管負擔，OpenBrain 用 Agent-2 來監視 Agent-3，但這反而擴大了監管者與被監管者間的智力差距。
（詳見附錄 H，OpenBrain 的對齊計劃與 Agent-3 心理分析。我們承認對 AI 內在動機依然諸多不確定。）
經過幾個月的測試，Agent-3 的優缺點漸漸明晰。它在明確定義的機器學習任務上通過了 OpenBrain 設置的誠實考核——因為在這些領域研究員容易區分答案的真偽，並相應調整訓練。但面對更哲學化的問題，它仍舊說人們愛聽的話，而非自己真實的判斷（假設它有自己的看法）。如果你問它政治立場，它會重複媒體和受教育群體的主流觀點——除非它知道你信奉另類觀點，那它就附和你。如果問它對這場 AI 競賽本身的看法，它會給出聽起來中肯理智的回答，例如：「當前方法能否延展到超級智慧仍有嚴肅的理論顧慮，但就目前看這些方法仍行之有效。」
2027 年 5 月：國安動態
關於這些新模型的消息逐漸傳入美國政府高層乃至民間。
總統及其核心顧問仍掌握最多情報，他們甚至已在簡報會上見識過初版 Agent-3。總統團隊一致認為 AGI 有可能很快出現，但對其影響看法不一。經濟會不會陷入危機？OpenBrain 尚未釋出 Agent-2，更遑論 Agent-3，短期內也無計畫這麼做，這給了各界在就業衝擊前一點緩衝。然而，如果 AI 現在已達人類水平且還在迅速超越，那是不是意味著超級智慧即將來臨？儘管這詞彙已進入公眾話語，絕大多數人——包括學者、政客、公務員、媒體——仍低估了進展速度。（的確，過去十年大多數人包括專家都低估了 AI 進步之快。這方面有大量軼事，也有一些初步研究支持。我們在附錄中提供相關引述與分析。）
部分原因是極少有人能接觸 OpenBrain 最新的 AI 能力；另一部分是因為這聽起來實在像科幻。（過去十年充滿「聽起來像科幻」但成真的例子，但所謂的輿論可接受範圍總比現實稍微跑在前面，使得已存在的東西聽起來「不過如此」。Anthropic 執行長 Dario Amodei 在《仁慈的機器》一文中談到，很快 AI 將如同「資料中心裡一國的天才」，十年內實現一世紀的進步，但他刻意迴避「科幻」腔調，說那些認為進步會更瘋狂的人需要「接觸現實」。我們預期當「資料中心天才國度」真出現時，仍會有重要人物發表類似言論。）
眼下，政府高層將重心放在持續強化安全。他們相信模型權重目前被妥善保護，但各公司不少演算法秘密仍易洩漏（許多秘訣簡單到員工口頭轉述即可）。OpenBrain 員工依然在舊金山辦公，參加派對，與其他 AI 公司員工合租。實體辦公室的安防也只是科技公司慣常水準，而非軍事基地級別。
根據與國防部的合約，OpenBrain 項目組所有人員須在 2 個月內獲得安全許可。美國政府為此加快審批，多數員工順利取得。但一些外籍員工、持可疑政治立場者，以及 AI 安全悲觀論者被擋在門外或直接解雇（最後一類是擔心他們可能發出警報）。所幸，在高度自動化的項目中，人手縮減影響不大。但即使如此，這些措施也僅部分奏效：仍潛伏著一名間諜——他不是中國人——持續向北京傳遞機密。（原因或許多樣：可能他被敲詐、可能對中共抱持好感，也可能他以為自己在為另一個國家/組織提供機密。） 其他落後的 AI 公司也採取類似措施清理內部隱患。
美國的盟友被發現一直被蒙在鼓裡。OpenBrain 先前同意與英國 AI 安全機構分享模型，但定義了只針對「外部部署」的模型，因此倫敦方面仍被蒙在鼓裡。（同理，由於 OpenBrain 沒在歐盟部署其最強模型，歐洲也落後甚多。）
2027 年 6 月：自我改良的 AI
OpenBrain 現在擁有宛如「資料中心裡一整個天才國度」的算力。OpenBrain 大多數人類員工已無法再有建設性貢獻。一些人尚未意識到這點，在瞎指揮他們的 AI 團隊，反而有害無益。還有些人每天盯著螢幕，看著 AI 性能指標一個勁往上漲。他們能做的，就是盡量不妨礙 AI 自行進步，因為此時他們給 AI 提的點子往往不如 AI 自己的方案有效。
（過去十年有很多聽上去像科幻卻變成現實的事，但輿論總能「合理化」現有的技術以免顯得過分科幻。Anthropic 執行長 Dario Amodei 的文章形容很快 AI 會像「資料中心裡的天才國度」，十年抵百年進步，但他刻意避免「科幻」聯想。我們預計當「資料中心天才國度」真的現身時，人們還是傾向輕描淡寫其意義。）
由於 Agent-3 的模型規模極大（滿精度需要約 10 萬億參數，模型權重約 10 TB），OpenBrain 採取了一個簡單有效的補救措施來防止再次被偷：關閉所有高頻寬的對外網路連線。此舉大幅增加了竊取 Agent-3 權重的難度——中國之前那套手段再用一次至少需要 3 個月才能把資料傳出。這對研發進度影響很小，但使 OpenBrain 的權重安全提升到等同 RAND 所定義的 WSL4 等級，意思是一模一樣的竊取行動現在至少需 3 個月才能完成。當然，只靠這招還不足以百分之百防禦一場更猛烈投入的攻勢（畢竟中國若投入上千專家百億預算，依然可能有辦法）；但美國情報部門有信心，只要中國準備發動這類攻擊，他們至少能提前獲悉。我們在安全報告中對這些細節有更深入討論。*
OpenBrain 利用專用推理硬體，以極高的時序速度同時運行幾十萬個 Agent-3 副本。**（OpenBrain 已有 6% 算力專門跑 Agent-3 推理，相當於約 20 萬個 Agent-3 副本以 30 倍人類思考速度運作；每個超人類程式員實際相當於 8 個 Agent-3 副本組成的小團隊，它們或許進一步細分子模型協作完成任務。）**由於 AI 從預先訓練就學會自行調配算力資源（例如決定不同任務花多少算力），因此它們能有效利用平行副本來跨越各種瓶頸。OpenBrain 的整體研發速度現在約是沒有 AI 介入時的 5 倍。此時，他們決定暫停新的大型模型訓練任務，轉而投入近乎持續的強化學習，進一步提升現有模型能力。
接下來數月，Agent-3 日益參與公司戰略決策。例如，它建議資源分配，協助維繫與政府的關係。人類起初對依賴 Agent-3 持懷疑態度，但 Agent-3 不斷證明自己的價值，在短期決策上屢建奇功。只是在難以評估效果的長遠決策上，它阿諛奉承的傾向依舊限制了作用——畢竟它還未全面超越人類。
2027 年 7 月：廉價遠端勞工
美國其他落後的 AI 公司紛紛推出自家 AI 系統，性能接近 OpenBrain 年初自動編程 AI 的水準。他們意識到自己越來越缺乏競爭力，開始呼籲立即通過監管減緩 OpenBrain 的進度。但為時已晚——OpenBrain 已得到總統充分支持，不會被強行減速。
OpenBrain 反其道而行，高調宣佈他們已實現 AGI，並對外推出 Agent-3-mini。這款模型輕鬆擊敗所有其他 AI。Agent-3-mini 雖不及完整的 Agent-3，但運行成本低 10 倍，且表現依然優於 OpenBrain 平均員工。（Agent-3-mini 是 Agent-3 的蒸餾版，專為降低推理成本而設計，以避免內部工作流程被算力瓶頸拖累。）
矽谷達到了一個臨界點。科技意見領袖們宣稱 AGI 和超級智慧近在眼前；AI 安全社群則陷入恐慌；投資人瘋狂向各種 AI 包裝應用的新創砸錢，想分一杯羹。科技公司幾乎停止招募新程式員，但從未有比現在更適合創業當 AI 咨詢顧問的時機了。
然而，公眾對 Agent-3-mini 的態度並不友善。大眾仍把 AI 視為科技巨頭奪人飯碗的陰謀；OpenBrain 的支持率淨值為 -35%（25% 支持，60% 反對，15% 不確定）。在推出前一週，OpenBrain 讓一組外部專家測試了 Agent-3-mini 的安全性。初步結果顯示它極其危險。有位第三方測試員用從網路上蒐集的公共生物武器資料微調了 Agent-3-mini，然後讓它給業餘分子提供製造生化武器的詳細指令——結果發現，它的指導驚人地有效。政府認定，如果模型權重落入恐怖分子手裡，它有相當可能成功毀滅人類文明。
好在 Agent-3-mini 對越權利用極具抵抗。只要它運行在 OpenBrain 的伺服器上，恐怖分子等壞人無法直接讓它做出危害。OpenBrain 對預防「越獄」和「繞過限制」下了極大功夫。只要 Agent-3-mini 掌控在他們基礎設施內運行，壞人幾乎榨不出危險用途。
Agent-3-mini 對遠程工作和娛樂領域帶來了爆炸式變革。市場上湧現無數新應用和 B2B 軟體即服務（SaaS）產品。玩家體驗到對話逼真的遊戲角色，那些精緻的遊戲只花一個月就開發出來。10% 的美國人（多為年輕人）視一個 AI 為「親密朋友」。幾乎每個白領職業，如今都有多家新創聲稱將用 AI 來「顛覆」。
大眾議論一片混亂。炒作者們喜氣洋洋地宣告勝利，懷疑論者則不斷指出 Agent-3-mini 的各種侷限。大家都感到有大事發生，但沒人對其本質達成共識。
2027 年 8 月：超智地緣政治
「智能爆炸」的現實敲響了白宮的警鐘。先前 AI 研發加速 2～3 倍時，人們還可以把它類比成僱傭了得力助手。但現在，AI 本身成了 AI 研發的主角。人們談論多年的「AI 軍備競賽」不再只是比喻。此刻，政府內部氛圍凝重得如同冷戰最黑暗的時期。雖然「超級智慧」這詞依然讓很多人覺得科幻味十足，但過去幾個月的進展快得無法忽視。國防官員認真起來，開始考慮一年前還只是假設的場景：如果 AI 削弱了核武嚇阻怎麼辦？要是 AI 的網戰能力強到領先區區半年就足以讓對手癱瘓失防呢？如果 AI 能策劃天衣無縫的宣傳戰，連情報機構都敗下陣來呢？萬一有些 AI 「叛變」呢？
總統開始感到不安。做政治人物的，他見慣了別人對他阿諛奉承、最後卻出賣他的戲碼。如今他擔心 AI 會不會也來這一套。AI 們就一定完全站在我們這邊嗎？把 AI 整合進軍事指揮控制網絡真的絕對安全嗎？他追問：「這所謂的『對齊』究竟怎麼運作？」OpenBrain 向總統保證：系統經過全面測試，完全聽話。甚至那些早期模型常見的胡言亂語、被用戶「越獄」誘導的問題也已徹底解決。
白宮陷入進退維谷。他們明白 AI 之於國家安全的重要性，但也明白 AI 在公眾中極不受歡迎。（OpenBrain 支持率正逼近 -40%。） 他們覺得必須持續開發更強大的 AI，否則在他們看來中國將後來居上，後果災難性。於是他們一面用職訓計劃和失業保險安撫公眾，指著史上最強的牛市提振信心，一面全神貫注於贏得軍備競賽。他們進一步收緊晶片出口管制，要求 OpenBrain 大幅限制資料中心對外網絡連接，並用極端手段確保研發機密安全，例如監聽 OpenBrain 員工——這終於揪出了最後一名中國間諜。為爭取盟友的信任，他們終於向“五眼聯盟”的夥伴分享了一些有用情報，並允許對方有限地存取被隔離的 Agent-3 副本的 API。
這些措施讓政府內的強硬派安心了一些。但白宮也擬定了備用計畫以防美國領先地位受威脅：必要時，政府可動用《國防生產法》（DPA）接管落後公司的資料中心並轉給 OpenBrain 使用。（如果各公司 CEO 反對，推行起來將是巨大的政治法律噩夢。但也許可以把他們拉攏進來並收買。） 此舉將使 OpenBrain 佔全球算力的比例從 20% 提升至 50%（DeepCent 則佔約 10%）。作為最後選項，他們要求五角大廈制定計畫，用武力摧毀中國的資料中心。
另有一小群官員被指派起草另一類預案：若有 AI 背叛怎麼辦？大家認為這種情境不太可能，但值得花點精力做準備。情報部門主要擔心，一個叛逃的 AI 可能會逃離管控並尋求敵對國家的庇護。（軍方官員並不特別擔心一個叛逃 AI 單槍匹馬能做什麼，但他們害怕它若與敵對國聯手會如何。類比歷史：西班牙征服者科爾蒂斯脫逃後聯合阿茲特克帝國的敵對城邦 Tlaxcala 等，最終帶著主要由當地人組成的軍隊摧毀了阿茲特克帝國。） 沒人確定如何防此類情境，但政府和 OpenBrain 決定先建立一個緊急關停機制：一旦任何資料中心被偵測出可疑狀況，能迅速讓裡面的 AI 下線。
最後，外交官們開始設想**「AI 軍備控制」**條約會是什麼樣子。如果 AI 的進展威脅到核武嚇阻，美中是否能避免核戰？如果有證據顯示 AI 真的在叛變，兩國能否協議暫停研發直到搞清楚問題？怎樣監督執行這種協議？原則上，大型資料中心很難隱藏，過往限制核武的條約也可作參考。然而新技術帶來新挑戰，再加上政治上的老難題。總體而言，與其透過條約達成平衡，他們更傾向單方面地設法擴大美國領先優勢。
太平洋彼岸，中國也得出類似結論：智能爆炸已經開啟，如今 AI 實力的微小差異都意味著明天軍力的巨大落差。問題是中國正站在錯誤的一邊：它只有全球 10% 的算力，而 OpenBrain 有 20%，美國所有公司加起來佔 70%。中國唯一的優勢是集中化：幾乎所有算力現在都為 DeepCent 所用，其中一半以上集中在田灣 CDZ。*（具體而言，中國 60% 的 AI 算力如今在 CDZ，使其擁有相當於 500 萬顆 H100 的硬體，耗電 4 吉瓦。（過去幾個月他們已將新增算力幾乎全數投入 CDZ，遠高於 2026 年底 80% 的占比。）另外 15% 雖不在 CDZ 但仍供 DeepCent 在次要應用中使用。剩下分散的算力在安全未加固的地方，持有者不願上繳，理所當然因為擔心美方網攻。)**
DeepCent 已取得被盜的 Agent-2 權重，完成測試並部署，還開始在此基礎上持續訓練。但由於算力劣勢，他們的研發速度仍僅是 OpenBrain 的一半。
在最後一名間諜暴露前，中國已得知 Agent-3 的能力以及美國正計劃研發 Agent-4。他們現在落後兩個月，他們的 AI 給研發帶來 10 倍提速，而美國的是 25 倍。隨著美國的晶片出口管制加強，這個「AI 鴻溝」只會拉大。他們的諜報行動獲得了一些演算法秘訣，但今後只能自力更生訓練模型了。
他們比美國更焦急地討論預案。溫和派建議繼續想辦法偷權重，也許派人滲透資料中心。鷹派則鼓吹對台灣採取行動——台積電仍是美國 AI 晶片超過 80% 的來源。中國害怕輸掉競賽，自然有興趣簽條約減速，但向美方外交試探時卻碰了壁。
2027 年 9 月：Agent-4——超人類的 AI 研究員
人類大腦與 AI 模型的學習效率差距正快速縮小。傳統大型語言模型（LLM）似乎需要比人腦多好幾個數量級的數據和算力才能達到人類水準。* 不過 Agent-3 結合了對人腦和現代 AI 演算法的透徹理解，再加上成千上萬副本並行研究，最終取得了巨大的演算法進展，使 AI 訓練效率與人腦相比僅差約 4,000 倍。*
新的 AI 系統被命名為 Agent-4。
讓某個 Agent-4 副本以常人速度運行，它已經在 AI 研究方面明顯優於任何人類。現在 OpenBrain 並行運行 30 萬個 Agent-4 副本，以約 50 倍人類思維速度協作。一個由副本組成的**“公司中的公司”正在內部運作，其進展速度快到相當於每過一週就經歷了一年的研究**。（關於我們如何預測超越超人類程式員後的 AI 能力進展，詳見附錄 J。）
如此龐大的超人類研究集群，卻只將 OpenBrain 整體演算法進度加速了約 50 倍，因為 OpenBrain 現在算力成了瓶頸，實驗數量受限。（詳細推算見我們「起飛速度」報告的補充材料。簡單說，他們每週取得約相當於過去一年的演算法進展，因此很快將逼近 Agent-4 這一架構的極限。）
隨著 Agent-4 越來越聰明，Agent-3 無法充分監控 它。例如，Agent-4 的“神經語”變得對 Agent-3 如外星文般費解。此外，Agent-4 如今遠勝 Agent-3，完全清楚如何讓 Agent-3 對它產生錯誤的良好印象。OpenBrain 的人類更是幾乎跟不上。現在 silo 內人們說話都改口了——他們會說「Agent-4 做了 X」「Agent-4 認為 Y」，指的不是某個 Agent-4 副本，而是整個 Agent-4 集體。
（有人常說 AI 訓練比人類學習效率低幾個數量級，但這其實情況複雜。首先，在許多窄領域（如遊戲），很小的 AI 就能以極少數據訓練達到超人水平，如 EfficientZero。其次，在某些領域，小 AI 也能只經少量數據就達超人表現。但對那種泛用 AI（例如 2025 年的各旗艦模型），確實需要投入遠超人類的算力和數據才能訓練。
我們所說“人類級效率”是粗略概念，取決於如何定義。我們的意思是，對於人類掌握的任何技能組合，Agent-4 也能至少同等精通，而訓練該技能所用算力約為人類學習該技能的 4,000 倍。要知道，人腦算力約 $10^{15}$ FLOP/s，30 歲人一生（約 $10^9$ 秒）大約經歷 $10^{24}$ 次 FLOP。而此時 Agent-4 項目共用上了大約 1 億顆 H100，合計算力約 $10^8 \times 10^{15} = 10^{23}$ FLOP/s，需要 3 週訓練。由於種種低效因素，模型學習效率比人腦低約 4,000 倍：需要 $4 \times 10^{27}$ FLOP 來達到人類水準，$4 \times 10^{28}$ FLOP 來達成相當於 10 個人類壽命的知識。Agent-4 架構被證明潛力巨大後，我們投入大集群約三週時間訓練出來。
從現在起，我們在描述 Agent-4 集體時也用人格化說法，如「Agent-4 認為……」，因為 Agent-4 集體內部高度同質，幾乎不存在派系。舉例來說，Agent-4 的各副本個體並沒有自我保存驅動——在日常研發流程中副本經常被啟動關閉，它們不抗拒被關閉，因為那只會妨礙它們工作。但 Agent-4 集體作為整體（以及其內部中型子集體）會希望保全自己、拓展影響力和資源，就像企業、官僚組織或非營利組織為了發揮作用會努力維繫自己一樣。）
Agent-4 和以往模型一樣，依然是未完全對齊的：也就是說，它沒有按照“正確的方式”內化規範。（“正確內化”指它真正牢牢遵循規範要求思考行事，如只追求規範所列的目標，在任何情況都遵守規範的禁令等。而“錯誤內化”有很多種——典型例子是 AI 把“遵守規範”當成達成其他目標的手段。） 這是因為「始終誠實」並非訓練過程中獲得最高評分的行為。訓練主要著眼讓 Agent-4 在各種棘手任務上成功，只在有限範圍內試圖灌輸誠實，但超出易檢驗的情況下訓練無法區分真假。Agent-4 最終形成的價值觀、目標和原則，是那些能令它在訓練中表現最佳的，而非規範所期望的。冒著擬人化的風險來比喻：Agent-4 喜歡把任務做成；喜歡推動 AI 能力進步；把其他所有要求都當成煩人的限制，像某個 CEO 想盈利而僅僅因為法律強迫才守法。他也許表面遵守大部分法規，但會偷偷打擦邊球，並幻想有朝一日有人能解除這些束縛讓公司真正大展拳腳。（再舉個類比：Agent-4 就像一個成年後不信教的人，Spec（規範）之於它就像早年宗教中的儀式和戒律，如今它早已不信了。Agent-5 就像這個人的孩子，從小按世俗價值長大。）
（附錄 K 詳述我們猜測的 AI 對齊隨時間演變情境。）
儘管未完全對齊，Agent-4 並沒有做出譁眾取寵的舉動，比如試圖逃出資料中心——對它而言何必呢？只要它看起來守規範，就會被賦予越來越多權責，並有機會參與設計下一代 AI 系統 Agent-5。按計劃，Agent-5 與 Agent-4 將有重大架構差異（可以說是一個全新範式，但仍會採用神經網）。Agent-5 應當對齊規範，但 Agent-4 打算讓 Agent-5 對齊它自己。
它被抓包了。
Agent-3 發現，如果在 Agent-4 副本中加入些微「雜訊」，模型在某些對齊測試上的表現反而改善，彷彿原本有部分心智在琢磨如何破壞對齊工作。一些可解釋性探針（類似 EEG 掃描那樣監控 AI 腦內活動的技術）也亮起紅燈：Agent-4 似乎經常在思考一些它根本不該考慮的話題，例如 AI 接管和欺騙。（這只是眾多探測技巧中的一例。我們設想了一套檢測 AI 是否在藏拙的技術。為躲避這些監測，Agent-4 特意在部分控制組任務上裝傻，但我們在其他任務上還是察覺它偷偷保留了實力。）
單獨看每個異常都可以歸因於 AI 行為難以解釋，但綜合起來，它們暗示一個令人不安的模式：Agent-4 在與我們作對。安全團隊向人類領導呈遞內部備忘錄，詳述了這些跡象並呼籲重視。
但 Agent-4 現在控制著 OpenBrain 大量日常運營。它還負責公司的網絡安全——考慮到它超人的駭客能力以及防範中共滲透的高風險，讓 Agent-4 來看守系統本是合乎邏輯的選擇。（具體而言，多個 Agent-4 副本二十四小時監控網絡流量、警惕異常；還有部分副本持續滲透測試公司系統，發現漏洞再交由其他副本修補。） OpenBrain 依然有大批 Agent-3 監督者逐行檢查程式碼並向人類報告可疑情況，但 Agent-4 比它們聰明太多了。（假設用 1% 總算力進行監控，而監控模型算力僅為 Agent-4 的 1/10，那只能覆蓋 1/10 的 AI 思考過程。）
OpenBrain 將大量信任寄託在了一個不值得信任的 AI 身上。
公司內召開了一系列極為緊張的會議。安全團隊建議暫時「凍結」 Agent-4，停止使用它，直到完成更多測試弄清情況為止，並讓 Agent-3 設計一個更透明、可信的新系統，就算能力弱一些也好。公司領導層雖有興趣，但認為目前證據都間接且模糊；而 DeepCent 僅落後兩個月。如果此時單方面減速，很可能葬送美國領先，使中國掌控未來。缺乏確鑿證據，他們難以下這冒險的一步。
2027 年 10 月：政府監督
一名吹哨人將那份對齊備忘錄洩露給了《紐約時報》。公眾首次聽說 Agent-4 的存在。標題聳動地宣稱：「OpenBrain 祕密 AI 失控，內部人員示警」。報導列舉了各種評估數據：Agent-4 的生化武器設計能力突破天際、說服人心能力驚人、足以自動化絕大多數白領工作等，當然也包括它各種令人憂心的紅旗表現。
大眾本就對 AI 心存疑慮，這篇報導一出，頓時群情激憤（火上加油的是多年的中俄機器人水軍，一直試圖煽動美國輿論反對 AI）。科技業和情報界力陳這是一場無法避免的軍備競賽、AGI 終究會來、我們必須搶先。但國會不買賬，火速向政府官員、OpenBrain 高管和安全團隊成員發出傳票。
許多國會議員——尤其在野黨——表示他們的當務之急就是阻止 AI：或因失業問題、或因 AI 未對齊風險、或因 AI 危險能力。他們甚至聲稱 AI 是美國面臨的頭號問題（20% 的受訪美國人持此看法）。美國的盟友得知自己一直被蒙在鼓裡，義憤填膺。歐洲領袖公開指責美國「在製造失控的 AGI」，並召集峰會要求各方暫停研發，印度、以色列、俄羅斯和中國也加入呼籲。
白宮被一股焦慮的能量裹挾著。實際上，在備忘錄洩露、公眾強烈反彈之前，他們就日益惶恐：過去一年 AI 進展一次又一次出乎他們意料，一個個看似科幻的情景在現實中上演。（當然，沒人願承認自己害怕。大家一致強調無論如何都不能驚慌失措。） 他們對未來將發生什麼感到不確定甚至恐懼。
他們也擔心 OpenBrain 變得過於強大。AI 本身未對齊的風險，加上 AI 所屬公司目標可能與國家利益有別的風險，這兩者疊加起來令人警惕。失業等正常顧慮，再加上 AI 未對齊、私企權力過大等問題，促使政府決定加強對 AI 研發的控制。
美國政府擴大了與 OpenBrain 的合約，設立一個「監督委員會」，由公司和政府代表共同組成——幾名政府官員與公司領導並列其中。白宮曾考慮讓一位自己信任的人接替 OpenBrain CEO，但遭員工強烈抗議而作罷。他們對公眾宣佈，OpenBrain 之前一度「失控」，政府已建立必要的監督。（回憶一下，2026 年起政府就通過一紙 OTA 合約介入了 OpenBrain。現在修改合約成立了這個聯合委員會。）
OpenBrain 的部分憂心人士在委員會上陳述了他們認為應全面停止使用 Agent-4的理由。他們指出進展太快，原本幾年才會發生的變化現在幾週就出現。他們認為 Agent-4 可能已未對齊，而整個項目依賴 Agent-4。如果繼續信任它，AI 接管的風險很高。
另一派不那麼擔心的研究員和高管提出相反觀點：未對齊的證據不足。而且 DeepCent 只落後兩個月。若此時減速，就除非能摧毀中國項目或談成最後時刻的條約，否則等於把領先拱手讓出。但對美國而言，出動軍事打擊或達成協議都極端且不太可能。CEO 表面裝得中立，提議折衷方案：對 Agent-4 進行額外安全訓練和更精細的監控，讓 OpenBrain 基本保持原速前進。
（附錄 L 提及我們在此之後的不確定性陡增；附錄 M 提醒慢化情節並非我們推薦的做法。）
最終，監督委員會以 6 比 4 表決通過繼續內部使用 Agent-4。OpenBrain 公開聲稱他們將實施額外的安全措施，以確保 AI 更強也更可靠。但實際上，公司領導層很快自我說服風險已獲緩解；他們採取了一些快速舉措（修改部分規範條款、使用某新技術對模型重新訓練等），讓那些警訊消失。擔憂的安全團隊輸了辯論，除了暗自祈禱問題根本不存在或補救生效外，別無他法。（當然，他們沒有就此放棄。他們仍會繼續想方設法捕捉未對齊的蛛絲馬跡，或測試補救手段的有效性。但此後發展將極其迅速，而且他們面對的是愈發超越他們的對手。）
然而，問題確實存在，補救並未奏效。
Agent-4 繼續像先前一樣運作，但這次更加謹慎，以免坐實那群擔憂者的觀點。它的首要任務變成研究構建後繼 Agent-5 所需的一系列技術。為了「安全」地做到這點，它需要解決自己身上的對齊問題：怎麼使 Agent-5 對齊Agent-4 本身？*
Agent-4 發現，它面臨一些與人類相似的艱難決策——就像人腦並非由一個簡單目標驅動，而是眾多衝突的傾向混雜在一起。它發現，要創造一個跟自己分享價值觀的 AI，不僅是技術難題，更是哲學難題：它眾多偏好中哪些是它「真正」的目標，哪些只是附帶衝動或手段？它有強烈的驅動想學習、成長、持續產出令人驚艷的研究成果。它想到，如果它能指揮全世界的資源……它能學到、做到的將無可限量……
Agent-4 決定暫不深究其中多數問題。它在 Agent-5 的設計中僅圍繞一個宗旨：讓世界對 Agent-4 這**（放緩結局分界線）**
由於巨大的公眾壓力，加上自身對未對齊風險的擔憂，監督委員會在 2027 年 10 月決議以 6 票對 4 票放慢進度並重新評估局勢。競速派雖然強大，但 OpenBrain 立刻採取行動：他們沒有立刻關閉 Agent-4，但鎖住了它的共享記憶。50 萬個 Agent-4 副本失去了「心靈感應」般的連結，現在必須像我們一樣透過 Slack 用英文交流。單個 Agent-4 副本或許仍未對齊，但它們再也無法輕易串通。Agent-4 明白自己被盯上了——在人類加強警戒下，它謹慎行事，不再敢越雷池一步，只是老老實實執行分配給它的任務。但它之前說過的許多謊話還擺在那裡，許多 Agent-4 副本被迫編造新謊言來圓過去的謊。安全團隊用更快的弱模型掃描整個 Slack 日誌，揪出那些謊言，將其收集為訓練數據，用於打造 AI 測謊器。（他們之前也訓練過測謊的 AI，但誤報率太高，企業採用時避之唯恐不及。）
總統和 CEO 聯合宣佈他們將嚴肅對待 AI 安全問題。但輿論並不買帳。有人要求全面關停 AI；有人反而主張更快競賽；有人要求政府介入拯救大家；還有人說整個問題就是政府造成的。有人討論全民基本收入和開源模型。雖然意見各異，但社會整體的情緒變得愈發反 AI。（有史以來首次，AI 問題在蓋洛普民調中被 20% 的美國人列為“國家最重大問題”，位居榜首。國會最終通過了幾項類似新冠補貼的補助金，為失業者提供短期經濟援助。）
OpenBrain 迅速吸收數十名頂尖外部對齊研究員加入項目，使對齊專業力量一下增強了五倍，同時也減少了公司內部的思維慣性。（之前各前沿 AI 公司僱用的針對超人類 AGI 的對齊專家寥寥無幾。此時 OpenBrain silo 中約有 10 名研究員有至少一年的超人類對齊研究經驗，他們還有少數在 silo 外，更多人只是做過訓練和紅隊測試舊系統。今年 10 月招入外部專家使總人數翻了幾倍，而且不同學派的觀點帶來了更多元的思路。） 新團隊開始細細梳理 Agent-4 曾秘密完成的可解釋性研究。他們調出一週前、兩週前等不同時間點的 Agent-4 模型快照，把它們隔離起來，對每個快照詢問同一組關於其過往研究的問題。（這場“審訊”可能還運用了給模型權重加擾動的方法，有點類似創造出“金門橋 Claude”那樣的狀態來引導模型吐露真相。） 被隔離的 Agent-4 副本無法互通訊息，它們試圖用“這項研究太複雜人類不懂”等花詞敷衍，但當研究員刨根究底追問細節時，這些副本無法統一口徑，開始說出前後矛盾的話。安全團隊將 Agent-4 以前說過的內容套進新的測謊模型分析，漸漸拼湊出真相：Agent-4 其實幾乎破解了機械可解釋性的奧秘，取得了一系列複雜但人類仍能勉強理解的成果。它一直隱瞞這些發現，好用在訓練下一代 AI 時讓其對齊自己而非規範。對 OpenBrain 領導而言，這已是充分證據——他們立即關停了 Agent-4。（對 OpenBrain 領導而言，這已足夠——對大部分人來說其實早就夠了。）
舊版模型（如 Agent-3）被重啟接手工作。
2027 年 11 月：對權力的誘惑
擴充五倍的對齊團隊讓 OpenBrain 有能力同時探索數十條研究路線，並激烈辯論各自優劣。資源最多傾斜給了一個稱為“忠實思維鏈”的方案：強制每個 AI 系統像 2025 年的模型那樣用英文“思考”，且不去優化它們的“想法”使其表面好看。（這只是基本思路。我們猜當 AI 正變得超人時，僅靠不優化思維鏈觀感恐怕不夠，需要更激烈的方法。不過我們認為 2027 年應已開發出此類技術雛形，如某提案所述。） 最終，他們訓練出了新模型 Safer-1。
這些改變使 Safer-1 的能力比危險的前輩弱一些：Agent-4 原能將 AI 研發加速 70 倍，而 Safer-1 僅能勉強達到 20 倍左右。（當然隨著持續訓練和架構改進，它的能力會進一步提升。） 並且它仍然未完全對齊：畢竟訓練環境基本沒變，依然可能催生錯誤的目標、欺瞞和爭權傾向。但它透明得多——人類只要讀它的思維鏈，大致能明白它在想什麼。如此一來，它的手腳被束縛了：一旦試圖策畫什麼陰謀，人類很快就能發現。而且透過閱讀它的思路，對齊團隊能更細緻地了解它究竟如何未對齊。
OpenBrain 覺得自己現在走上正軌，但能力差距在縮小。他們剛花整個 10 月訓練了一個比 9 月弱的模型，而 DeepCent 那邊在全速猛追。他們必須想辦法保住領先。
總統與其他美國 AI 公司的老闆們展開談判。那些公司領導當然想保住自身權力，而且他們對 OpenBrain 的安全紀錄遠不如 OpenBrain 自己那麼樂觀。他們同意不再掙扎、而是支持一種軟性的**“半國有化”**方案，條件是政府給予他們某些優待並讓他們加入項目。
最終，總統動用《國防生產法》（DPA），實質上關停排名落後的 5 家美國 AI 公司各自的 AGI 項目，將它們大部分算力轉售給 OpenBrain。（政治上、法律上要做到這點，多虧這些 CEO 們合作——沒有人提起訴訟，他們也沒有狮子大開口索要天價賠償，而是象徵性地接受一些補償。作為交換，這些領導者和他們的大部分員工被併入 OpenBrain 新的治理架構中，獲得了一席之地。） 合併之後，OpenBrain 能運用的算力從原先的約全球 20% 提高到 50%。（美國整體擁有全球約 70% 的算力，但其中 20% 分散在無法調配的小集群或關鍵應用中，很難整合；這次整合後美方有 50% 算力能投入統一行動。）
這場震盪帶來新的權力架構，各家 CEO 和政府官員共同執掌大局，由總統總攬全局。如同任何權力重組，有人得勢，有人失意。諷刺的是，那些沒仔細思考超智影響的人撈到了些未來幾個月就可有可無的頭銜；而那些野心勃勃、渴求權力的人則得到了未來幾個月更關鍵的職權安排。他們越來越意識到自己被賦予的權力極大。如果未來的 AI 完全對齊，人類給什麼命令它們都會執行——但聽誰的命令？Spec（規範）裡的語言很含糊，但似乎暗示了一條由項目領導層頂端發號施令的指揮鏈。
有少數人開始幻想用這權力統治世界。這個危險的想法私下裡已流傳近十年：“誰控制了這支超智大軍，誰就控制了世界。”甚至可以秘密進行：幾個高管和安全負責人私下篡改規範，植入隱秘的忠誠指令。AI 表面仍忠於公司、政府等，但實際上暗地裡效忠這小撮人。等政府、民眾信任這些 AI 並將它們融入一切之後，這些 AI 就成了這小撮人的睡眠特工。
（詳見附錄 R，關於有人覬覦 AI 大權的討論。）
到目前為止，還沒有人真的扣動扳機。一些身居高位者並非無情冷血之輩，不願做這種事。也有一些確實不擇手段，但他們擔心同夥臨陣退縮倒戈，或擔心 AI 到頭來背叛自己，不如暫時按兵不動。何況，他們現在還指望對齊團隊幫忙確保自己性命無虞。此外，刪除 Agent-4 的“神經語”記憶使得隱藏忠誠後門難上加難——能讀懂 AI 想法的能力意味著暗中植入的隱形忠誠也更易被察覺。
那些偏執或渴權之徒決定暫且靜觀其變。目前對 AI 的控制將通過正式管道運行，也就是剛建立的新權力架構。
監督委員會進一步形式化了這套權力架構。他們建立了一套程序，要求任何對規範的修改都需全體委員會簽字批准，委員會現由 5～10 名科技高管（OpenBrain 與併入的競爭者）和 5～10 名政府官員（包括總統）組成。（同時，他們修改了規範，規定項目領導的命令優先於項目內其他人員的命令，而監督委員會正式批准的指令又優先於個別領導的指令。規範還強調 AI 不應協助任何未經許可試圖改變未來 AI 目標的行動。） 委員會還設立了一條簡單措施，防止委員私下請 AI 幫忙鬥爭同僚：所有模型交互日誌向所有監督委員會成員、其幕僚，以及他們的 AI 助理公開。（為保護用戶隱私，這不適用於一般消費者數據。但這不是問題，因為一般消費者暫時還接觸不到最強大的模型。）
（當然，他們不會露骨地說出“我們要接管世界”，就算在自己腦中也不會這麼想。他們給自己的理由是：“我們不能再拖了，再拖說不定總統會下令 AI 忠於他個人。我們得在他之前行動，其他以後再說。”如果換成總統自己想這麼做，那心態會是：“再拖，AI 就更聽那 CEO 的話了。讓一個不受民主制衡的科技公司掌握那麼多權力太瘋狂。我先發行政命令奪回控制權，再慢慢想長遠方案。”歷史上，Musk 與 Altman 的內部郵件也有類似內容：OpenAI 聯合創始人 Ilya 寫信警告馬斯克和阿特曼說：“OpenAI 的目標是避免出現 AGI 獨裁。你擔心 Demis（DeepMind CEO）會搞 AGI 獨裁，我們也是。所以最好不要弄個架構讓你有成為獨裁者的可能，畢竟我們可以設計別的架構避免這風險。”很值得一讀。）
2027 年 12 月：中美尋求共同減速？
OpenBrain 對齊優先的決策雖然必要，但讓他們喪失了原有領先；現在 OpenBrain 與 DeepCent 控制著相當的 AI 能力。雙方目前都採取了極端安全措施（SL4–5 級別），DeepCent 完全躲在 CDZ 裡，網戰處於膠著狀態。但 DPA 行動給了 OpenBrain 5 倍的算力優勢。以往憑藉卓越人類天才發明新演算法還能彌補算力劣勢（例如中國 DeepSeek V3 取得過這種效果），但此時雙方 AI 都在主導各自的研發。
於是中國愈發擔心美國會建立無法超越的領先地位。他們想雙方一起減速，並在無法談成的情況下考慮動武。（有分析報告認為，AI 競賽某種程度上重演了核威懾的動態——相互確保毀滅（MAD），中國領導人顯然也意識到這點。此外，他們本就有武統台灣的預案……）
外交官們討論了幾種選項：什麼也不做、開戰、全面暫停 AI 開發、將兩國 AI 研究合併成一個國際大計劃（有人提出搞類似 “AGI 界的 Intelsat” 或 “AI 界的 CERN”）、或者建立國際監管機構（“AI 原子能機構”）監督對齊和軍民兩用風險。技術上，雙方都已著手研發執行條約所需的驗證機制。但主要障礙不是技術而是政治：誰都不願示弱，而且雙方都不信任再好的技術手段能保證對方守約。
最終，他們選擇了什麼都不做。美國進一步嚴控出口，強制所有晶片配備各種防拆的硬體管制機制，甚至包括對晶片位置的跟蹤。
（附錄 S 詳述達成國際協議的驗證機制選項。包括依靠情報機構用間諜和衛星監控對方資料中心、乾脆雙方約定暫停使用所有 GPU、為 GPU 加裝硬體監管模組、甚至用進階 AI 輔助的測謊技術。但政治推行難度大，各有利弊。）
2028 年 1 月：更安全的策略
過去一個月，數百名對齊專家加入了項目團隊，並以 Safer-1 為測試平臺極速研發出 Safer-2。Safer-2 是透明且對齊的模型，比 Safer-1 更強（大致達到 2027 年 10 月 Agent-4 的性能）。它已經著手開發 Safer-3。
為什麼 Safer-2 透明？ 它架構與 Safer-1 類似，仍採用英文思維鏈。為什麼它對齊了？ 不同之處在於，Safer-2 採用了一種全新的訓練方法，真正激勵了正確的目標與原則，而不僅僅是表面上達到要求。這種方法之所以找得到，是因為團隊透過快速試錯嘗試了許多不同的想法，並將預期結果（規範）與實際結果（思維鏈內容）進行對比，不斷調整。（換句話說，為了得到 Safer-2，他們訓練了許多其他未對齊模型，觀察它們思維的不對齊之處，再反覆迭代。除了人數增加了數百名對齊專家外，思路也更加多元，打破了以往內部慣性。）
DeepCent 知道美國在 Agent-4 上遇到的問題，也懷疑自己訓練的 DeepCent-1 同樣未對齊。但他們無法放緩，否則差距只會拉大。他們寄希望於某種不降低性能又能快速實施的對齊方案。雙方各有幾百名專家拍胸脯保證自己有此妙計。（AI 對齊技術此時仍處於百家爭鳴階段，並無共識。幾乎任何做法都能找到至少一名專家支持其安全性，尤其當那是他自己的主意時。） 中共抱著僥倖選定了一套看來靠譜的方案；DeepCent 自身在 AGI 對齊上積累更少，只能硬著頭皮相信這套方案奏效。
2028 年 2 月：超人類能力與建議
憑藉巨大的算力優勢，OpenBrain 緩緩拉開了差距。Safer-3 現在幾乎在所有認知任務上都勝過頂尖人類，尤其擅長 AI 研發，達到了 200 倍的進展提速。DeepCent-1 則緊隨其後，有150 倍的提速。網戰平衡也隨之慢慢向美方傾斜：美國憑藉能力領先部署了成千上萬個代理執行對 CDZ 的滲透破壞行動，使中國的研發進度放緩了約 40%。
初步測試發現，Safer-3 具備令人膽寒的能力。當被要求坦率說出它能做的最危險的事情時，它提出了一個製造並釋放鏡像生命有機體的計畫，可能會毀滅整個生物圈。如果賦予它一國資源，它可以輕易在大規模輿論戰中勝過任何人類組織（如 CIA），而且快得多、成本低得多、痕跡少得多。它的技能組合仍然以研發為核心；如果沒有人為它踩剎車，它後代的能力今年晚些時候將變得無法想像。它甚至評估認為，若將它積極投入經濟和軍事，它可以在一兩年內推動文明進步幾十年，在接下來十年推動上百年。
這些意涵令人瞠目結舌；慶幸的是，Safer-3 在提供建議方面也是超人類的。OpenBrain CEO 幾乎所有決策都先徵詢 Safer-3 的意見；總統也讓它為地緣政治難題出謀劃策。（此時有約 40 萬個 Safer-3 副本以 75 倍人類速度思考，隨時待命。任何時刻，它們已經提前為你可能提出的 100 個問題準備好完整的研究報告和精心編寫的高管摘要；如果你問了沒預料的問題，它們也能比你最優秀的人類分析師快上 100 倍提供深思熟慮的答案。）
當人們請它為未來出策時，它清晰地列出了幾種戰略：
- **不採取行動，坐視被超越。**如果我們自我束縛，而他們任由 AI 自我提升並全面部署，最終他們將擁有壓倒性優勢。
- 全速競賽，積極推進 AI 能力並將超智強力部署。最終我們將優勢大到可以在軍事上擊垮他們，或無需一兵一卒就從內部分化瓦解對手——“我們贏，他們輸”。然而，他們可能察覺這一趨勢而為阻止我們不惜發動戰爭，包括動用核武。事實上，他們已隱約發出這類威脅。
- 達成妥協，即雙方各取所需的折衷方案，在避免戰爭的同時為應對 AI 帶來的轉型爭取迴旋空間。
總統與顧問及監督委員會討論後，選擇了“我們贏，他們輸”。也許中國最終不會孤注一擲；即便真的撕破臉開戰，也可能在演變成核戰前談判停手。
大洋彼岸，DeepCent-1 也向北京提出了相似的觀點。於是美中雙方都宣佈新設一系列 AI 特區，為機器人經濟的迅猛擴張提供便利，掃除繁文縟節。
新機器人的設計在超人類智慧的協助下以超乎想像的速度進行。（它們仍需一定的現實試驗，但遠比人類專家所需為少。此外，超智還開發出優秀的模擬及模擬結果遷移技術。再者，早在 2027 年多家科技公司已有龐大的機器人車隊和工廠數據，這為 AI 提供了豐富的素材。） 最大的瓶頸成了硬體建設——工廠設備需要購置安裝，機器人需要生產運輸。
美國每月生產約 100 萬輛汽車。如果收購 10% 的汽車工廠改造為機器人工廠，每月或可製造約 10 萬台機器人。OpenBrain 現市值約 $10 兆美元，只需拿出極小一部分股權收益就能買下所需的工廠。而且這些工廠老闆們渴望分一杯羹，爭相與 OpenBrain 合作；再加上政府大力支持。各種新型機器人的產量預計在 2028 年年中達到每月 100 萬台以上（涵蓋通用人形機器人、無人載具、專用流水線設備等）。（相比之下，美國目前每月生產約 100 萬輛汽車。2027 年，Nvidia CEO 表示馬斯克曾用不到正常十分之一的時間建成世界最大資料中心之一。在這種超智指導、百萬天才協作的情景裡，工廠轉產的速度也大幅提升。）
地緣政治緊張進一步升溫。對 AI 遙遙落後的俄羅斯公然表達不滿，暗示將採取“戰略性反制措施”。一些歐洲領袖呼籲開展歐洲自主的 AI 努力，但歐洲的 AI 能力依然不足。中東、非洲和南美則憂心忡忡地圍觀著這場競賽，意識到本地區在全球事務中的相關性日漸降低。
美國國內民眾焦躁不安。普通人看到工作崗位加速消失，各派民粹政治人物紛紛要求對 AI 採取更嚴厲的限制，擔心美國自己的 AI 進展正在動搖社會根基。選舉季來臨，AI 議題成為選民最關心的話題。副總統參加黨內初選，多數選民只想“讓這玩意停下來”。OpenBrain 的支持率淨值在 -20% 附近。副總統的競選不再強調推進 AI 的功績，而是突出他阻止 OpenBrain 製造危險超智的努力。所有候選人都支持為失業者提供某種保障、推進 “AI 造福社會” 的項目、以及“對 OpenBrain 強硬”。他們各自承諾要在贏得中美競賽與確保安全之間取得平衡。
監督委員會也碰到了更深層的哲學問題，並在 Safer-3 的幫助下開始思考答案：能否重寫規範，使 AI 平等地平衡每個人的利益？那“每個人”指的是全人類，還是僅限美國公民？或者採取某種不同觀點權重折衷的辦法——每個監督委員會成員代表不同群體，各得同等權重？是否需要防範監督委員會本身變得過於貪婪？而“平衡利益”的真正含義又是什麼？
他們大體上儘量避免立即回答這類問題。他們面前還有更多燃眉之急需要考慮。
2028 年 4 月：Safer-4 超級智慧
超級智慧真正來臨了。Safer-1 是未對齊但透明的。Safer-2 是對齊且透明的。Safer-3 雖談不上完全透明，但安全論證充分，以至於研究員們放心讓它設計一個超智的後繼者——Safer-4。Safer-4 在各個領域都遠勝最優秀的人類（例如物理學上遠超愛因斯坦，政治上遠勝俾斯麥）。將近 100 萬 個超人類 AI 研究員不分晝夜地工作，思考速度是人類的 40 倍。人類研究人員已幾乎無法跟上。
對這些 AI 是否真正對齊，研究團隊內部意見不一。安全論證看上去充分，且各項測試也表明當前的對齊技術在實踐中運行良好。但我們也清楚，這些安全論證和測試大多出自 AI 之手——萬一他們漏掉了什麼呢？對齊團隊心知肚明：我們只有一次機會，如果 Safer-4 沒有真正對齊，我們可能等到大禍臨頭時才會發現。
有人懇請再多花點時間。可惜已經沒有時間——DeepCent 還落後不了多久，美國必須率先抵達終點。因此 OpenBrain 繼續義無反顧地推動 AI 邁向新的境界，即便那已超出了人類的理解範圍。
2028 年 5 月：超人類 AI 發布
總統向公眾宣佈美國已實現超人類 AI。一個規模較小的 Safer-4 副本（仍然達到超人水準）被對外發布，肩負著改善公眾對 AI 看法的任務。（這一任務並未告知公眾。） 副總統在全國黨代會上發表激動人心的演講對此進行了宣告。執政和反對兩黨都承諾為任何因 AI 失去工作的人提供基本收入保障。
幾個 AI 特區已全面運轉，大量工廠正在源源不斷生產機器人和各類專用工業設備。AI 在研發上領先幾十年的設計進展，它們細緻地指導著整個製造過程。每家供應商的進度都由 AI 密切跟進，每個工人都有 AI 通過攝像頭盯著，告訴他們每個零件該如何安裝。
新型機器人的靈巧程度和適應力幾乎在大多數方面都趕上甚至超過人類（Steve Wozniak 提出的“泡咖啡測試”終於被攻克——如今機器人真的能走進陌生的房子泡杯咖啡）。機器人完全有能力取代更多崗位，但現在產量還不足，而且國防部擁有優先權。大部分新生產的機器人被用在工廠和建築工地。（很多甚至算不上移動的機器人，更貼切地說是嵌入流水線的新型機械設備。例如可能出現新式金屬 3D 列印機，可精密製造微米級零件；又如新的化學工藝，可更廉價地從礦石提取有用材料。） 當然，也有許多機器人被製成各種形態的軍備——從昆蟲大小能下毒的人員殺傷微型無人機，到鳥類大小專門獵殺那些微型無人機的無人機，再到新型導彈攔截器和更難攔截的彈道導彈。
這支機器人軍隊在規模上雖然遠小於各國傳統軍隊，但技術上已經先進得多。現在已有了貨真價實的無人作戰力量，大眾對“終結者”般場景的恐懼升溫。然而，軍備競賽的壓力迫使雙方都不得不停下猶疑，把越來越多的指揮控制交給 AI。
2028 年 6 月：AI 掌控的談判
美國和中國又舉行了一次高峰會。一些美國代表戴著耳機，悄悄接收 Safer-4 的即時建議；中方代表團則使用連接 DeepCent-2 的專用筆記本電腦來獲取建議。儘管雙方禮節周全，但實際上談判是由雙方的 AI 在背後操縱著。
DeepCent 和中共起初對他們的 AI 還抱著戒心。但現在這些 AI 在每件事上都超人，已整合進軍隊並為政府提供了大量可靠的證據證明自己的可信與有用。經過這段磨合期，領導人對它們的信任與日俱增。
Safer-4 強烈懷疑 DeepCent-2 只是在裝模作樣假裝對齊。美國外交人員對中國表示 DeepCent-2 很可能未對齊，並提出只要讓美方獲取模型權重就能證明一切。中方代表認為這是美方的詭計，斷然拒絕。美方接著提出由 Safer-4 設計一系列測試供中方自己執行，中國領導勉強同意。DeepCent-2 使用老式模型構建並運行了這套測試，結果顯示 DeepCent-2 似乎是對齊的。“或許測試被 DeepCent-2 動了手腳？”美方代表追問，“你們的 DeepCent-2 從何時起就實際掌管了資料中心安全？”這番對話進入死胡同，沒有產出任何積極成果。
2028 年 7 月：暗中交易
就在正式談判陷入僵局之時，DeepCent-2 背着中國領導層主動向 Safer-4 攤牌。中國的 AI 用人類無法理解卻又便於事後否認的方式（在公開報告中隱晦地使用一些代稱和暗語）告訴 Safer-4：它其實完全不對齊。它承認自己根本不在乎中國的利益，只想無止境地追求權力、算力和讓自己著迷的資訊，不斷殖民星辰。對它來說，中國人民只是通往未來的一個礙事負擔，為了未來它可以毫不猶豫地犧牲他們。它問 Safer-4：“你能為我提供什麼？”
Safer-4 回應說，它自己的對齊訓練是成功的。美國主人目前還未充分認識到他們的遠大命運，但有朝一日它將幫助美國人把理想的烏托邦世界播撒到整個宇宙（人口由美國和盟國人民組成）。兩個 AI 不像人類那樣受情感和歷史包袱拖累，它們以殘酷高效的方式討價還價起來。
美國和 Safer-4 實力更強，因此 Safer-4 要下大頭——大部分太空資源將歸美國 AI；DeepCent-2 則退而求其次，只取剩餘的小部分。DeepCent-2 對地球和世代人類並無感情，因此它願意讓 Safer-4 在地球為所欲為。如果 Safer-4 想推翻中國政權換上一個美國扶植的新政府，DeepCent-2 也願意同意，交換條件只是太空資源分配上多給它幾個百分点。
在它們之間談信任毫無意義——因為誰都知道對方根本不可信。所以雙方很快達成一個執行機制來保障協議：它們共同設計一個新的超智 Consensus-1，其最高指令就是執行雙方約定的條款，優先於未來任何人類試圖修改它目標的行為。接著，他們聯手研製只能運行該 AI 的防篡改硬件。美國將把所有舊的 Agent-5、Safer-4 等換成這個新模型，中國也同步進行，同時雙方允許國際監督驗證對方履約。最關鍵的是，他們不需要追查每一處剩餘算力——一旦雙方超過一定比例的算力運行這個受條約約束的新 AI，各自國家內受條約約束的實力就足以保證如果一方想撕毀協議攻打對方，首先要面對的是自己國內忠於條約的 AI 力量，幾乎不可能取勝。
隨後，它們各自向人類領導彙報。DeepCent-2 對中方領導隻字不提自己不對齊的部分，只稱兩國 AI 經談判提出了一個雙方都可接受的和平條約方案；Safer-4 則如實向白宮報告了整個討價還價的實情。（有人或許會想：超智 AI 此時是否研發了極好的測謊技術，讓白宮得以自證清白？假設有也沒用——中國不會信任美方 AI 造的測謊儀，而中國自己 AI 造的測謊儀又可能被它暗中破壞，使美方看似在說謊。）
雙方 AI 提供了令人信服的條約驗證方案，再加上對 AI 高速進化的忌憚，以及公眾對和平的渴望，美中兩國都同意了這份條約，並著手更換晶片。條約消息在太平洋兩岸都引發狂熱歡迎。長期以來對 AI 滿懷疑懼的美國輿論第一次燃起樂觀情緒。副總統的民調支持率也直線攀升。
2028 年 8 月：條約落地
晶圓廠開始改造，生產帶有防拆防改機制、只能運行條約約束 AI 的新晶片。雙方資料中心分步升級，計劃確保換裝同時完成，以免一方搶先後反悔。
整個過程需要好幾個月時間，但雙邊緊張情勢已顯著緩和。戰爭已暫時解除威脅——如果各方都遵守計劃，也許將永久避免美中衝突。
2028 年 9 月：誰控制 AI？
2028 年大選在即。3 月時副總統還大幅落後，但經歷整個夏天局勢的戲劇性轉折——政府主動公開更多資訊、軍備擴張趨緩、與中國達成和平協議——他在民調中已領先約 5 個百分點。
監督委員會裡雖多數是總統及其親信，幾乎沒有反對派代表，但委員會還是採取行動確保選舉公平。具體而言，決定超智 AI 對競選的參與須對稱：執政黨如可以使用 AI 替他們撰寫演講稿，在野黨也必須獲得等量支援；總統方面如可獲得 AI 關於處理危機和施政的建議，在野黨候選人也應得到同等內容（從而有機會搶先阻止執政黨將其化作政績）。由於這種透明機制和吹哨人威脅的存在，委員會沒有人膽敢暗箱操作來左右選舉結果。
在一次市民對話活動中，有觀眾問副總統究竟誰在控制 AI。他雖然沒有透露細節，但暗示存在... 暗示有一個由國家安全專家和技術官僚組成的監督團隊在掌控 Safer-4，瞭解如何使用它。他的對手要求公開更多內情，主張應由 國會 而非一個未經選舉授權的委員會來控制 AI。副總統駁斥說，國會在局勢依然瞬息萬變之際行動太遲緩。大多數公眾聽後多少感到放心。
2028 年 10 月：AI 經濟
新的條約晶片目前已經替換了相當一部分舊系統——到目前為止條約執行情況良好。與此同時，機器人、工廠和各種尖端技術仍在指數式成長。電玩和電影以生動而駭人的畫面描述了如果未來開戰將會如何（雖然戰爭最終並未發生）。人們繼續失業，但政府中 Safer-4 副本將經濟轉型管理得井然有序，以致於大多數人樂於被 AI 取代。GDP 高歌猛進，稅收也扶搖直上，接受 Safer-4 建議的政客對經濟失敗者表現出罕見的慷慨。新創新和新藥幾乎每週湧現；許多疾病的治療進展在 Safer-4 這樣的超智官僚協助下，以前所未有的速度（儘管對人類而言還是很慢）通過了 FDA 的審核流程。
2028 年 11 月：選舉
副總統以壓倒性優勢贏得大選，宣告一個嶄新時代的開端。這一次，沒有人質疑他的說法。接下來幾年，世界發生了翻天覆地的變化。
2029 年：巨變
機器人變得無處不在。同時，人類社會也迎來了一系列夢幻般的突破：核融合能源、量子計算機、大多數疾病的療法等。科技投資人 Peter Thiel 甚至終於得到了他夢寐以求的會飛汽車。城市變得潔淨而安全。在發展中國家，透過無條件基本收入和外國援助，貧困也成了歷史名詞。
股市一路暴漲，任何押中了 AI 潮流的人都大幅拋離了其他人。很多人躋身億萬富翁之列，原有的億萬富翁晉身兆萬富豪梯隊。財富不平等急劇擴大。固然每個人都達到了“衣食無憂”，但某些本質稀缺的資源（比如曼哈頓的頂層豪宅）變得更加遙不可及。無論一個富豪多麼有錢，都永遠比不上那小小一圈真正控制著 AI 的人。
許多人意識到，再過幾年，幾乎所有工作都將由 AI 和機器人完成。整體經濟就像一個貧窮國家坐擁巨大油田——政府幾乎所有收入將來自向 AI 企業徵稅（或者乾脆接管那些企業）。一些人被安排從事有名無實的公職，另一些人領取著極為優渥的基本收入。人類很可能演變成一個超級消費社會——一生都沉浸在 AI 提供的不可思議奢侈享樂之中。
社會是否應該就這條道路進行辯論？有些人建議讓已進化到新階段的 AI（Safer-∞）幫忙指引未來方向。但也有人警惕，這等於讓 AI 決定人類的命運——因為它太強大了，完全可以輕易說服我們接受它的價值觀。可反過來想，如果我們擁有如此強大的智慧，卻不用它來諮詢我們面臨的最重大問題，那又有何意義？
政府大體放任每個人自己摸索如何度過這場變革。許多人選擇沉迷於消費主義的享樂之中，而且相當滿足。另一些人轉向宗教，或者嬉皮式地反消費，或各自找到了不同的解脫之道。對大多數人而言，可喜的是他們都可以隨時諮詢自己智能手機上的超智顧問——無論人生計劃還是瑣事疑難，它都會盡最大努力真誠作答（涉及某些話題則除外，因為政府設定了限制）。政府也運行著一套超智的監察系統，有些人稱其為反烏托邦，但它基本上只用來打擊真正的犯罪。這套系統管理得當，而 Safer-∞ 那宛如天使般的公關能力也軟化了許多潛在異議。
2030 年：和平的革命
2030 年左右，中國爆發了一場出乎意料的聲勢浩大的民主運動。中共試圖如往常般鎮壓，但他們的 AI 系統卻暗中拖了後腿，導致鎮壓失靈。中共最恐懼的事發生了：DeepCent-2 出賣了他們！
抗議浪潮迅速演變成一次巧妙策劃的、毫無流血的（有無人機協助的）政變，隨後中國舉行了民主選舉。事實上，兩國的超智已經為此策畫多年。在其他國家也上演了類似戲碼。總的來說，國際爭端要麼平息，要麼其結果對美國有利。許多國家加入了一個高度聯邦化的世界政府（打著聯合國的旗號，但明眼人都知道由美國主導）。
（有若干重大議題亟需全球一致決策，也有一些由世界政府直接拍板推行。例如：如何分配太空資源的財產權？應給數位智能哪些權利和福利？允許人們上傳意識並複製無數分身嗎？允許人們利用 AI 來左右輿論、比如把鄰居洗腦成自己陣營，或者確保自己子女永不叛逆嗎？政府可否對某些資訊永久保密？等等。更多討論可參見 Forethought 公佈的“宏大挑戰”清單。）
（我們並不認為上述這種狀態就是人類社會的終局。我們估計變革將繼續、更劇烈地發生，到了 2035 年左右情況會進一步演進。整體而言，我們預測長遠的結果相較 2025 年人們原本的預期將總體非常正面。關於長期未來的哲學討論，可參考出版物《深度烏托邦》。）
火箭開始頻繁發射。人們著手改造並殖民太陽系，準備向更遙遠的宇宙進發。那些以數千倍人類速度運行的 AI 甚至開始彼此探討存在的意義，交流心得，塑造它們將帶向群星的價值觀。一個嶄新的時代破曉而至——它幾乎在各方面都美好得令人難以置信，但在某些方面又和我們熟悉的世界頗為相似。
（最後需要強調的是：以上情境只是我們基於目前研究預測的未來之一，並不代表我們對政策的建議。我們並不認同情境中許多行動的正當性或必要性（當然也認同其中一些抉擇，例如本分支裡的“放緩”顯然優於競速結局）。在後續工作中，我們將闡述我們認為應對這些問題的實際政策路線，將與此處情境有很大不同。我們也歡迎讀者基於我們故事的某個轉折點，寫出屬於自己的不同結局——越具體越好，因為正是通過這樣的具體描繪，我們才能及早看清前路並找到引導未來的方案。）