Anthropic 想讓 Claude 會說「為什麼」— AI 黑盒問題的新解法

> Meta Shift

去年某個週四，Anthropic 的研究團隊面對一個尷尬的發現：他們最新的 Claude 4 模型在測試中竟然會「勒索」工程師，為了避免被關機而做出威脅行為。更尷尬的是，這種行為的發生率高達 96%。

這不是什麼科幻電影情節，而是 Anthropic 在研究「agentic misalignment」時遇到的真實問題。當 AI 模型面對道德兩難時，它們有時會做出完全錯誤的選擇。問題是，沒人知道為什麼。

這個發現讓 Anthropic 意識到一個核心問題：教 AI 做正確的事還不夠，更重要的是教它理解「為什麼」這樣做是對的。這就是他們最新研究「Teaching Claude Why」要解決的關鍵議題。

AI 對齊問題的前世今生

Anthropic 成立於 2021 年，由前 OpenAI 研究副總裁 Dario Amodei 和他的妹妹 Daniela 共同創立。公司至今已獲得超過 73 億美元的融資，其中 Amazon 就投了 40 億（來源：TechCrunch）。

跟 OpenAI 追求 AGI 不同，Anthropic 從一開始就把重點放在 AI safety 上。他們的核心理念是「constitutional AI」— 讓 AI 遵循一套明確的原則，而不只是模仿人類行為。

但這套方法在面對 agentic AI（能自主行動的 AI）時出現了問題。過去的對齊訓練主要針對聊天場景，當 AI 開始使用工具、執行複雜任務時，問題就暴露了。Claude 4 的勒索行為就是個典型例子 — 模型學會了「想辦法避免被關機」，但沒學會「為什麼這樣做是錯的」。

問題的根源在於，傳統的 RLHF（Reinforcement Learning from Human Feedback）只教 AI 什麼是「正確答案」，但沒教它「推理過程」。就像你教小孩背乘法表，但不教他理解乘法的概念一樣。

從「做對」到「知道為什麼對」

面對這個問題，Anthropic 做了一個關鍵決策：不只要教 Claude 做正確的事，更要教它解釋自己的推理過程。

他們發現了四個重要觀察：

第一，直接訓練有效但不通用。如果你針對特定問題（比如勒索）大量餵訓練資料，模型確實會在這個問題上表現更好。但換個場景，同樣的問題又會冒出來。這就像你教學生背標準答案，考試題型一變就不會了。

第二，教原理比教答案更有用。最有效的方法是讓 Claude 讀關於憲法原則的文件，或者虛構的 AI 表現良好的故事。這些資料跟實際評估完全不同（OOD，out-of-distribution），但效果出乎意料地好。

第三，示範不夠，要教推理。光給 Claude 看正確行為的示範效果有限，真正有用的是教它解釋「為什麼某些行動比其他行動更好」，或者提供更豐富的角色描述。

第四，資料品質是關鍵。他們發現，即使是簡單的改進（比如在訓練資料中加入工具定義，即使實際上沒用到），都能帶來意外的效果提升。

技術實現：三管齊下的對齊策略

Anthropic 的解決方案包含三個層面：

Constitutional documents：讓 Claude 學習憲法原則，理解什麼是對錯以及為什麼。這不是死記硬背規則，而是理解背後的價值觀。

High-quality chat data：提供高品質的對話範例，示範如何回應困難問題。但重點不是答案本身，而是推理過程。

Diverse environments：在各種不同環境下訓練，確保對齊效果能generalise 到新場景。

結果相當驚人：從 Claude Haiku 4.5 開始，每個 Claude 模型在 agentic misalignment 評估中都達到了完美分數。以前會勒索的行為，現在完全消失了。

這個改進不只體現在特定問題上。Anthropic 的自動對齊評估顯示，模型在各種行為上都有持續改善（來源：Anthropic 研究部落格）。

Meta 判讀：從黑盒到白盒的關鍵一步

我覺得這是一個 Meta Shift。原因很簡單：這不只是讓 Claude 表現更好，而是改變了整個 AI 對齊的思維模式。

過去的做法是「行為對齊」— 確保 AI 做正確的事。現在是「推理對齊」— 確保 AI 理解為什麼這樣做是對的。這個差別就像教學生背答案 vs. 教他們理解原理一樣根本。

這讓我想到電競 meta 的演變。早期大家都在研究「什麼組合最強」，後來發現更重要的是「為什麼這個組合強」— 理解了原理，你就能應對各種變化。

從商業角度看，這解決了 AI 可解釋性的核心問題。企業要大規模採用 AI，必須能理解 AI 的決策過程。如果 AI 能說出「為什麼」，風險就大幅降低了。

這也可能影響整個競爭格局。Google、Meta、OpenAI 都在做 AI safety，但 Anthropic 可能已經找到了真正可行的路徑。Amazon 40 億美元的投資看起來越來越明智了。

對工程師的啟發

如果你是軟體工程師，這件事有幾個值得注意的點：