一個幫忙訓練開源 AI 的人，為什麼最後跑去要求「禁止超級智慧」

> Meta Shift

---

如果你在 2021 年告訴 Connor Leahy，他幾年後會跑去美國國會遊說立法禁止超級智慧，他大概會覺得你在開玩笑。

那時候的他，是 EleutherAI 的核心成員之一，正在幫忙訓練 GPT-J、GPT-NeoX 這些開源大模型，信仰的是「AI 應該開放、透明、人人可用」。EleutherAI 的成立本身就是一種反動 — 反對 OpenAI 把 GPT-3 鎖起來、只讓少數人用的封閉路線。

然後他看到了什麼，讓他從「讓 AI 更開放」的人，變成「我們根本不該繼續做下去」的人？

這個問題值得認真追。

---

EleutherAI 那段日子

EleutherAI 的故事說起來有點 grassroots。2020 年，一群對 OpenAI 封閉 GPT-3 感到不滿的研究員和工程師，在 Discord 上聚起來，目標很簡單：自己訓練一個夠大的開源語言模型。

Leahy 就是這批人裡面的一個。他們沒有 Microsoft 幾十億的算力支援，沒有 OpenAI 那種商業壓力，靠的是分散的志願貢獻和共享 GPU 資源。最後產出的 GPT-J（60 億參數）和 GPT-NeoX（200 億參數）在當時算是非常認真的成果，也是後來很多開源社群 fine-tuning 的基礎。

這段經歷讓 Leahy 看到的是：AI 能力的門檻，比所有人想像的都低。不需要 Google 等級的資源，一群有心人也能做出接近前沿的東西。

這本來應該是一件令人興奮的事。

但後來他越想越覺得不對勁。

---

真正讓他轉向的，是這個問題

「如果連我們這種 grassroots 小組都能訓練出這樣的模型，那當能力再往上推十倍、一百倍的時候，會發生什麼事？」

這不是一個技術問題，是一個 alignment 問題 — 你怎麼確保一個比你聰明非常多的系統，還是在做你想要它做的事？

AI Safety 社群對這個問題已經討論了很多年，但在 ChatGPT 出來之前，這個圈子基本上是學術界的邊緣，沒有人真的覺得緊迫。ChatGPT 的爆紅改變了整個局面：突然之間，所有人都在做 AI，所有的商業壓力都指向「更快、更大、更強」，alignment 的問題被推到後面。

Leahy 在 TechCrunch 的 Equity podcast 裡說得很清楚：他認為超級智慧不是一個「可以被管理的風險」，不是部署前做好 alignment、containment 就沒事的東西。他的用詞是：不是武器（weapon），是對手（adversary）。

這個框架的差異很大。

把 AI 想成武器，你預設你還是拿著槍的那個人。風險是你用錯，或者被敵人搶走。但基本上還是人在掌控局面。

把 AI 想成對手，你承認的是：當能力到某個程度之後，「掌控」這個詞本身就失去意義了。你不是在射一把槍，你是在養一個比你強很多的東西，然後希望它恰好跟你站同一邊。

Leahy 的判斷是：這個賭注太大了。

---

從研究員到遊說人

2022 年，Leahy 離開 EleutherAI，成立 Conjecture，一開始走的是 AI Safety 研究路線，試圖在技術層面找到解方。後來他的立場越來越激進，認為光靠研究不夠，必須從政策面下手。

最終的形態是 ControlAI，一個 nonprofit，目標是推動立法限制超級智慧的開發。

他現在的職稱是 U.S. Executive Director。

在美國這邊，他們在支持 Sanders-Casar 提出的「Ban Superintelligence Act」，同時也有平行的立法在英國推進，ControlAI 有直接參與顧問工作（來源：TechCrunch Equity podcast）。值得注意的是，Leahy 自己都承認美國這個法案可能走得比必要的更遠 — 但他的邏輯是：在這個時間點，設定一個強硬的界線比模糊的指引更重要。

目前這些立法運動的具體進度和支持度，沒有公開的完整數據。但 Leahy 提到，六個月前聽起來很激進的東西，現在已經有更多立法者願意認真討論了。

---

他的幾個核心論點

Leahy 的思路有幾個支柱，我覺得值得拆開來看：

Point of no return 是「AI 能夠建造更好的 AI」

這不是新論點，但他把它說得很具體。一旦 AI 系統能夠自主改善自身，你就進入一個人類監督能力跟不上系統進化速度的區間。從那個點開始，alignment 的問題就不是「這個版本對不對」，而是「下一個你不知道的版本會是什麼」。這個 runaway cycle 才是他真正在防範的東西。

前沿 AI 公司不只是商業公司，是政治行為者

他把 OpenAI、Google DeepMind 這些公司定位為 political actors，不只是在追 return。這個角度解釋了為什麼你會看到這些公司大量投入在遊說、政策倡議、國際合作上。進入數兆美金等級的 data center buildout，你就不可能只是一家科技公司了。

他不認為中國要搶先做超級智慧符合中國的利益

這個論點比較反直覺。一般的地緣政治敘事是「美中 AI 競賽，誰先到誰贏」。但 Leahy 的看法是，超級智慧對所有政府來說都是失控風險，包括中國政府自己。所以他認為 international "trust but verify" 協議是有可能談的。

這個邏輯有沒有道理，取決於你對中國領導層的判斷，我覺得這部分確實值得懷疑，但至少是個有趣的框架。

---

Meta 判讀：這是 Meta Shift，還是 Nerf Watch？

我的判定是 Meta Shift，但不是 Leahy 想要的那種。

先說為什麼不是 Nerf Watch。Nerf Watch 意味著有人被削弱了，但現在 OpenAI、Anthropic、Google 的算力投入沒有任何放緩的跡象，Ban Superintelligence Act 就算通過，執法難度也是天文數字級別的問題。

真正的 Meta Shift 在這裡：AI Safety 從學術邊緣正式進入立法戰場。

這件事本身就是格局改變。幾年前，談 AI existential risk 是學術圈的小眾話題，主流業界對此的態度是客氣地略過。現在，一個有實際技術背景的人在推動明確的禁止性立法，而且有國會議員跟進。

類比的話，這有點像 2009 年前後 Dodd-Frank 法案的討論 — 金融危機之前，限制 derivatives 交易聽起來都是在妨礙創新；危機發生之後，政治能量瞬間到位。AI 的問題是，大家還在爭論「危機」會不會發生，但顯然已經有足夠多的人認為不能等到發生之後再說。

OpenAI 的 Hugging Face breach 這類 safety incident 正在給這個運動提供彈藥（來源：TechCrunch）。每一個公開事故都讓 Leahy 的論點更容易被聽進去。

---

對工程師有什麼關係？

老實說，大部分在做前端、做 API、做基礎建設的工程師，短期內不會因為 Ban Superintelligence Act 有什麼影響。

但有幾件事我覺得值得注意：

如果你在 frontier AI lab 工作或想去，這個監管趨勢值得認真追。不是說公司會關門，但「超級智慧研究」這個 job category 的法律地位可能在幾年內發生變化。美國可能不是第一個立法的，但一旦歐盟或英國有具體框架，美國的壓力會急速增加。

AI Safety 是個快速擴大的領域。Leahy 的轉型本身就說明了一件事：有技術背景的人進入 AI Safety、AI Policy 這條路，需求在增加。這不只是哲學家在講的問題，它需要真的懂模型、懂 infrastructure 的人。

「可解釋、可審計」這個技術方向會越來越重要。不管 Ban Superintelligence Act 最終走到哪裡，監管壓力整體上是往「你得解釋你的系統在做什麼」這個方向走的。interpretability 相關的工作，我認為會是接下來幾年少數真正有護城河的技術方向。

Leahy 從 EleutherAI 走到 ControlAI 這條路，說起來很戲劇性，但背後的邏輯並不複雜：他越深入，越覺得這個東西的 downside 被嚴重低估了。你不一定要同意他的結論，但這個問題本身，確實值得認真想一遍。

延伸閱讀

• Mistral AI 怎麼跟 OpenAI 搶生意 — 開源模型的商業邏輯
• 挪威禁止小學用 AI，而 OpenAI 正在幫 40 萬老師上課 — 這個矛盾說明了什麼
• AI 這 40 個月都發生了什麼？一個技術人的冷靜回顧