AI 寫的 code 都是 slop?一個月 11,000 個 PR、revert 率 0.5% 的團隊怎麼做
AI 寫的 code 都是 slop?一個月 11,000 個 PR、revert 率 0.5% 的團隊怎麼做
最近看到 AI Engineer 頻道上一場 17 分鐘的演講,標題很嗆,叫〈All Code Is Slop (Except Mine)〉,講者 Lauren Tan(網路上大家叫她 poteto)開場先問台下,有沒有看過別人寫的 code 然後覺得這根本是垃圾,大家舉手,她說她也是,接著丟出一個數字,她上個月自己送了 3000 個 PR 進 production,她的團隊一個月 11,000 個,revert 率大約 0.5%,那麼問題就來了,一個月一萬多個 PR 還不出事,靠的是更好的模型,還是別的東西?
講者的背景先交代一下,前 Meta、Netflix、Cursor,React core team 的成員(React Compiler 那一群),現在在 SpaceXSI 做 Grok Bot 的桌面版,一個 Electron app,這場講的就是他們團隊怎麼讓 agent 寫的 code 可以被信任,聽完我覺得整場最值得帶走的其實只有一句話,每次修 agent 的行為,就把它變成一個程式會擋的檢查,而不是在規則檔裡多加一行。
倒過來的金字塔
她把自己花在 agent 環境上的時間畫成一個倒三角形,越上面越寬、花越多時間:
| 層 | 內容 | 性質 |
|---|---|---|
| codebase 本身 | API 設計、架構、重構 | 確定性 |
| 靜態檢查 | lint、型別、compiler、各種測試 | 確定性 |
| 驗證 | runtime verification、formal verification | 抓錯、確認 agent 懂你的意圖 |
| 描述性的指示 | rules、skills、AGENTS.md | 需要判斷的東西 |
最寬的兩層都是確定性的,也就是寫在 code 裡、每次都會被執行的東西,最窄的那層才是我們平常花最多力氣在寫的 CLAUDE.md、AGENTS.md 跟各種 skill,這個順序跟我自己過去一年的做法剛好是反過來的,我是 agent 出一次包就去規則檔補一句,補到後來規則檔越來越長,然後又要寫文章教大家怎麼把它刪短...
codebase 是 agent 最大的輸入
她的理由很直接,agent 的產出取決於輸入,而 codebase 是 agent 最大的輸入來源,所以裡面的 workaround、anti-pattern、過時的 code、技術債,下一個 agent 看到都會以為這是這個專案的慣例,然後照抄。
她用花園來比喻,以前一天 review 三個同事的 PR,現在是三百個,code 進來的速度快到像是有機物在生長,engineer 的工作越來越像在顧花園,雜草不拔,很快就長滿整片,所以要讓 codebase 盡量乾淨,agent 才只會抄到好的東西。
把 useEffect 禁掉
他們自己做了一個叫 Dune 的 client framework,可以想成 Electron 版的 Next.js,技術上沒有很複雜,特別的地方是它裡面塞了大量的限制跟 lint 規則,把做桌面 app 學到的教訓全部寫成程式會擋的東西。
其中一條教訓是,任何需要很多細節考量才能用好的東西,最後通常會被亂用,經典例子就是 React 的 useEffect,有人開玩笑說要用好 useEffect 需要一個博士學位,agent 也用不好它,所以他們的解法很粗暴,product code 裡直接禁用 useEffect,只有 Dune 的 API 內部可以用,結果這個問題從此在 code review 消失了。
另一個例子是用資料夾結構當上下文,以前在 Cursor 的時候,agent 常常把 main process 的 code import 到 renderer 裡,造成 long task 跟畫面延遲,所以 Grok Bot 最上層就兩個資料夾,一個叫 electron-renderer、一個叫 electron-main,彼此之間的 import 由 dependency graph 分析跟 lint 規則擋掉,設定很簡單,但 review 的時候就少一件要想的事。
註解是給 agent 的藉口
這段是我覺得整場最有意思的觀察,agent 會把 markdown(文件、註解、rules、skill)當成替自己「不把事情做對」辯護的地方。
她舉的例子在 Cursor,VS Code 是命令式的,React 是宣告式的,兩邊的架構衝突讓 agent 很愛用 setTimeout、requestAnimationFrame、requestIdleCallback 當快速修補,大量 timer 快速建立又銷毀會讓 GC 一直跑,效能就掉下來了,但最糟的是 agent 還會在旁邊寫一段註解,解釋為什麼這個 quick fix 是合理的,下一個 agent 看到註解就覺得這樣寫沒問題,timer 就這樣擴散到整個 codebase。
所以 Grok Bot 直接禁掉 99% 的註解,理由有三個,註解很快就過時、人其實很少讀、它會變成 agent 偷懶的理由,再來註解沒有強制力,「我留個註解告訴下一個 agent 不要這樣做」聽起來很有善意,但它永遠不會是你能信任的東西,他們改成寫 lint 規則,而且錯誤訊息寫得很仔細,直接告訴 agent 根因在哪、該怎麼修,而不是讓它再補一個 patch。
她的原則是,每次修 agent,就把它變成一個確定性的檢查,或是想辦法用更好的 API 設計跟架構讓這類問題根本不可能發生,這樣做久了,review 時要看的東西會越來越少,到某個時間點會發現已經沒什麼好看的了,大部分的 PR 就可以讓 agent 自己 merge。
驗證
金字塔第三層是驗證,她說他們的 code review 現在基本上就是在看驗證產物,影片、截圖、圖表、formal verification 的結果。
最基本的是 runtime verification,講白了就是讓 agent 可以自己把程式跑起來,用人類工程師也在用的除錯工具,例如 Chrome DevTools Protocol,他們的 runtime verification skill 裡有一個東西叫 feature map,就是從使用者角度列出 app 所有功能的 sitemap,你跟 agent 說「左邊 panel 那個東西」它不用猜,等於建立一套共同的詞彙,另外他們也讓 skill 用自己寫的 CLI 來操作 app,每次重用同一套 driver,省 token,而且 CLI 本身可以測。
再往上是 formal verification,用 TLA+ 驗證核心使用者流程的模型(例如跨裝置、跨平台的通知),用 Lean 證明演算法,他們自己寫的 virtualization library 就用 Lean 確保不會有閃爍或抖動,UI 這邊則用一個叫 Bombadil 的 library 做 property-based testing,她自己也說這些還在實驗中,不是萬靈丹,只是 agent 環境的另一層,但已經靠它抓到不少 bug。
她引用了一則推文,半年前有個工程師說她沒辦法信任自己的 agent,因為小錯誤一直混進 code 裡,半年後她說每天 70% 的 token 都花在驗證上,講者說她自己也一樣,大部分 token 都花在驗證,而這些工具其實都不是新東西,只是以前太貴,寫起來難、維護也難,現在 agent 把成本壓下來了,她說我們正在進入軟體測試跟驗證的黃金年代。
數字
| 項目 | 數字 |
|---|---|
| 團隊一個月的 PR | 11,000 |
| 講者自己一個月的 PR | 3,000 |
| revert 率 | 約 0.5%,加速之後還相對下降 |
| 10 月至少發過一個 PR 的人 | 約 227 人 |
| stable 版本 | 大約一天一版 |
而且 app 的效能不但沒變差,啟動、打字、開新對話、切換對話都比剛上線時更快,對一個 Electron app、這麼多人在改、這種速度在發版來說,確實很不容易。
最後她講了一個聽起來有點瘋的流程,每次發新版,Grok Bot 會自動在 Cursor 開一個專案,像真的使用者一樣把整個 app fuzz 一遍,找到 bug 就開 PR 修,然後自動 merge,能這樣做的前提是 codebase 夠好,PR 預設就會是對的,大部分 product code 已經不需要人深入 review 了。
拿自己的 repo 對一次
聽完之後我回頭看這個部落格自己的 repo,第一個想到的就是今年 8 月踩過的那個坑,Next.js 只要 render 路徑碰到 cookies(),整條路由就會退出靜態渲染,當時 lib/blog.ts 所有公開讀取都走帶 cookie 的 Supabase client,結果全站每個 export const revalidate 都是空宣告,每個 request 都重新 render,修好之後預先產生的靜態頁從 54 變成 434。
那麼這個教訓現在存在哪裡?我翻了一下,在三個地方:
lib/blog.ts最上面的一段註解,說公開讀取要用createPublicReadClient()- 給 Claude Code 的 memory 檔,寫了為什麼跟改完要怎麼確認
- 我自己的腦袋
三個都是描述性的,沒有一個會擋,而 eslint.config.mjs 裡除了 Next.js 的預設規則以外,自訂規則是 0 條,完全就是她講的那種「留個註解告訴下一個 agent」,哪天 agent 在新的公開頁面順手 import 了 @/lib/supabase/server,什麼都不會報錯,build 會過,頁面會正常顯示,只是 ISR 又靜默失效了,我要等到某天看主機負載才會發現。
這個例子也剛好說明不是每條規則都能直接變成 lint,lib/blog.ts 本身就同時需要兩種 client(收藏、後台要認證),ESLint 的 no-restricted-imports 只看單一檔案的 import,看不到「這個 page 透過 blog.ts 間接碰到 cookies()」這種傳遞關係,所以比較實際的確定性檢查反而是在 build 之後看結果,Next.js build 完會產生 .next/prerender-manifest.json,裡面列了哪些路由有被預先產生,寫個小腳本確認 /blog/[slug] 還在裡面就好:
// scripts/check-isr.mjs
import { readFileSync } from "node:fs";
const manifest = JSON.parse(readFileSync(".next/prerender-manifest.json", "utf8"));
const mustBeStatic = ["/blog/[slug]"];
const missing = mustBeStatic.filter((r) => !(r in manifest.dynamicRoutes));
if (missing.length) {
console.error(
`這些路由退出了 ISR: ${missing.join(", ")}\n` +
"通常是公開讀取碰到了 cookies(),改用 lib/supabase/service.ts 的 createPublicReadClient()"
);
process.exit(1);
}
錯誤訊息直接寫根因跟該怎麼修,這也是她特別強調的,lint 的訊息是寫給 agent 看的,寫得越清楚,agent 越會去修根本原因而不是繞過去,這個腳本我還沒接進 CI,先放在這裡當作下一步。
pstack
講者把自己的做法整理成一個開源的 plugin 叫 pstack,放在 cursor/plugins 底下,MIT,Cursor 跟 Claude Code 都能裝,README 的核心一句是「if you want to go fast, go deep first」,主入口是 /poteto-mode,會依任務類型挑 playbook(bug fix、perf、refactoring 等 22 種),然後產生 todo list 照步驟走,另外有 /no-comments、/unslop 這種專門清 slop 的 skill,演講裡提到的 statechart 工具也在裡面。
有一點滿有意思的,它刻意不放任何 planning skill,作者的說法是「the best spec is code」,跟整場演講的立場是一致的,寫在 markdown 裡的東西都不如寫在 code 裡的可靠。
結論
這場演講沒有什麼新技術,lint、型別、測試、formal verification 都是存在幾十年的東西,她自己也這樣說,差別在於以前這些東西寫起來、維護起來都太貴,很多團隊只做到一半,現在 agent 把成本壓下來了,同時 agent 也把「沒做好」的代價放大了,一個人一天三個 PR 的時候,壞習慣擴散得很慢,三百個的時候,一個沒擋住的 anti-pattern 隔天就長滿整個 codebase。
所以她的收尾是,在做什麼 software factory、把一切自動化之前,先把自己的 codebase 整理好,先用 lint 擋住新的 anti-pattern,再慢慢清掉舊的,因為內層的 loop 如果產出的是垃圾,把它自動化只會產出更多垃圾,然後要花更多 token 去修。
我自己的想法是,規則檔還是有它的位置,需要判斷的事情本來就寫不成 lint,但每次想在 CLAUDE.md 多加一句「不要這樣做」的時候,可以先問自己一個問題,這句話能不能變成一個會報錯的檢查?如果可以,那就去寫那個檢查,規則檔留給真的需要判斷的事,大概可以少寫一半吧。
參考資料
- All Code Is Slop (Except Mine) — Lauren Tan, SpaceXSI(AI Engineer,2026-11-14)
- pstack
Waiting7777
WoW Arena 冠軍轉前端,用電競 meta 思維拆解技術趨勢。
相關文章
AIAI Agents+1換到新模型之後,寫給 AI 的規則檔要怎麼整理?拆解 Anthropic 的 prompt-audit
換了新模型之後,之前對著舊模型調出來的 CLAUDE.md 跟 skill 要不要跟著整理?把 Anthropic 公開的 prompt-audit 從頭讀了一遍,看它怎麼判斷哪句該刪、哪句不能刪,再拿自己的 code review skill 試一次,結果一行都沒少。
2026年11月16日 · Waiting7777 · 8 分鐘閱讀
繼續閱讀 →
AI AgentsSEO+1把個人網站變得 agent-friendly:一個週末補完 9 個 well-known 路由
從 Link headers 到 WebMCP,isitagentready 給了我 9 個作業,我花一個週末全部交完。
2026年11月4日 · Waiting7777 · 7 分鐘閱讀
繼續閱讀 →
AIAI Agents+1做 code review agent 之前,我先拆了阿里的 open-code-review
規劃 code review agent 時越做越發現什麼都能寫成 code,於是拆了阿里開源的 open-code-review,看它怎麼把不能錯的步驟交給程式、只把判斷留給模型,整理成七條設計原則,再回頭判斷這件事到底該不該做成 agent。
2026年10月27日 · Waiting7777 · 9 分鐘閱讀
繼續閱讀 →這篇文章對你有幫助嗎?
每週一篇 — 技術趨勢背後的商業邏輯
AI 產業在變什麼、工程師該注意什麼——拆清楚寄到你的信箱。