ChatGPT 開始帶人進來之後,我幫部落格做了一次 AEO 檢查
ChatGPT 開始帶人進來之後,我幫部落格做了一次 AEO 檢查
這陣子翻 GA 的時候看到一個以前沒注意的來源,chatgpt.com,九十天裡只有 5 個 session,量小到可以忽略,但其中 4 個是 engaged session,換算下來是全站所有來源裡比例最高的,同一段時間 Google 自然搜尋只有 31 個 session,而且 8 月那次 spam update 之後幾乎掉到零,那麼問題就來了,如果之後讀者越來越常是先問 AI、再被 AI 帶過來,這個站有沒有準備好被 AI 讀?
這件事現在有個名字叫 AEO(Answer Engine Optimization),也有人叫 GEO,意思差不多,就是讓 ChatGPT search、Perplexity、Google AI Overviews、Claude 這類「回答引擎」在組答案的時候,抓得到你的內容、讀得懂、引用的時候連回正確的網址,這篇把我實際檢查和修改的過程整理下來,順便記錄中間踩到的兩個坑。
先分清楚是誰在讀
SEO 的世界只要顧好 Googlebot 跟 bingbot,AEO 麻煩一點,因為每家 AI 公司都把爬蟲拆成好幾隻,而且用途差很多:
| 公司 | 拿去訓練模型 | 建搜尋索引 | 使用者叫 AI 去讀 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (無) | PerplexityBot | Perplexity-User |
右邊兩欄才是會帶人回來的,最右邊那欄更直接,是有人在對話裡貼了你的網址或 AI 判斷要去讀你的頁面,當下就在抓,所以如果 robots.txt 一刀把 AI 爬蟲全擋掉,擋到的其實不只訓練,連被引用的機會也一起丟了。
Google 比較特別,AI Overviews 用的是一般 Googlebot 的索引,Google-Extended 只是 robots.txt 裡的一個 token,控制的是內容能不能拿去給 Gemini 訓練和 grounding,擋它並不會讓你從 AI Overviews 消失,這點很容易搞混。
我的站在 robots.txt 裡放的是 Cloudflare 去年提出的 Content Signals:
User-agent: *
Allow: /
Content-Signal: ai-train=no, search=yes, ai-input=yes
意思是可以拿去搜尋、可以拿來當回答的輸入,但不要拿去訓練,要講清楚的是這只是一個聲明,沒有任何技術上的強制力,各家要不要遵守是他們的事,但至少立場寫下來了,比起全擋或全開,這是我覺得對個人部落格最合理的組合。
實際抓一次
規則寫得再漂亮,抓不到都是白搭,所以第一步是用各家的 User-Agent 實際打一次文章頁:
for ua in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot PerplexityBot; do
curl -s -o /dev/null -w "$ua %{http_code} %{time_total}s\n" \
-A "Mozilla/5.0 (compatible; $ua/1.0)" \
https://bridge-craft.org/blog/all-code-is-slop
done
全部 200,除了第一次因為 cache 沒熱花了 2.3 秒,其他都在 0.1 秒內,這一步看起來很蠢,但很多站是在 Cloudflare 或 WAF 上開了 bot 防護之後自己都不知道,AI 爬蟲拿到的是一頁驗證碼。
另一個常見的問題是內容要等 JavaScript 跑完才出來,AI 爬蟲大多不跑 JS,這個站是 Next.js server render,curl 下來的 HTML 就有全文,這關沒問題。
給 AI 看的 Markdown
HTML 對 AI 來說其實很吵,一篇文章的 HTML 裡面真正的內容可能不到一半,剩下是 nav、footer、class name 跟一堆 script,所以這個站之前就做了每篇文章的 Markdown 版本,兩種拿法:
- 直接加
/md:/blog/<slug>/md - 對原本的網址送
Accept: text/markdown,middleware 會 rewrite 過去
然後在 llms.txt 裡面寫清楚這件事,llms.txt 是 2024 年 Answer.AI 提出來的格式,用 Markdown 列出網站的結構和重要連結,老實說目前沒有哪家大廠公開說他們的爬蟲會固定去讀它,Google 那邊甚至講過他們沒在用,但 coding agent 跟一些 AI 工具在讀文件站的時候確實會先找它,做起來成本又很低,所以留著。
這次檢查的時候順手把 Markdown 版本整個看了一遍,結果發現開頭長這樣:
---
title: "AI 寫的 code 都是 slop?..."
slug: "all-code-is-slop"
published: "2026-11-17T14:14:22.694+00:00"
---# AI 寫的 code 都是 slop?...
frontmatter 結尾的 --- 跟第一個標題黏在一起了,原因是組 frontmatter 的時候最後放了一個空字串想換行,結果後面接了一個 .filter(Boolean) 把 null 濾掉,空字串也是 falsy,就一起被濾掉了:
const frontmatter = [
"---",
`title: ${JSON.stringify(post.title)}`,
post.published_at ? `published: ...` : null,
"---",
"", // 想換行,但會被 filter(Boolean) 吃掉
].filter(Boolean).join("\n");
這個 bug 對人類讀者沒差,網頁上看不到,但對照規格解析 frontmatter 的工具來說,---# 不是合法的結束符號,於是它會一路往下找下一個 ---,整篇文章就這樣被當成 metadata 吞掉了,也就是我特地為 AI 準備的版本,在最照規矩的那一批工具眼裡是空的...
修法很簡單,結尾手動補兩個換行,filter 改成只濾 null,順便把 frontmatter 補完整,description、正式網址、作者、更新時間、分類都放進去,因為 AI 引用的時候最需要的就是「這段話是誰在什麼時候寫的、原文在哪」:
---
title: "AI 寫的 code 都是 slop?..."
description: "整理 Lauren Tan 的 All Code Is Slop 演講..."
url: "https://bridge-craft.org/blog/all-code-is-slop"
author: "Waiting7777"
published: "2026-11-17T14:14:22.694+00:00"
updated: "2026-11-17T14:14:22.871339+00:00"
categories: ["AI","AI Agents","程式碼品質"]
language: zh-TW
---
url 這個欄位特別重要,沒有它的話 AI 引用時很可能直接貼 /md 的網址給使用者,人點進去看到的是一坨純文字。
讓搜尋引擎別搞混
多了一份 Markdown 等於同一篇內容有兩個網址,這在 SEO 上是重複內容,所以 Markdown 的 response 要加 canonical 指回 HTML,Markdown 不是 HTML,沒辦法放 <link> tag,要用 HTTP header:
headers.set("link", `<${htmlUrl}>; rel="canonical"`);
if (isDeindexedPost(post.slug)) {
headers.set("x-robots-tag", "noindex");
}
下面那行是之前的債,這個站 10 月因為 spam update 把 150 篇文章設成 noindex,但只處理了 HTML,/md 還是可以被收錄,等於從後門又開了一扇門。
反方向也要做,HTML 頁面要告訴 AI 有 Markdown 版本可以拿,Next.js 的 metadata 直接支援:
alternates: {
canonical: postUrl,
types: { "text/markdown": `${postUrl}/md` },
},
Vary 的坑
同一個網址會依照 Accept 回 HTML 或 Markdown,標準做法是 response 帶 Vary: Accept,告訴中間的 cache 要用 Accept 當 key,不然有可能 A 拿到 Markdown 之後被 cache 起來,B 用瀏覽器打開也拿到 Markdown。
一開始我在 middleware 裡加,Markdown 那條路有效,HTML 那條沒效果,實際 curl 出來 Vary 只有 Next.js 自己那串 rsc, next-router-state-tree, ...,middleware 設的被蓋掉了,那改用 next.config 的 headers() 試試,結果更糟,Vary 一樣被蓋,反而是我順便加的 Link header 套到了 rewrite 之後的 Markdown response 上,把剛剛設好的 canonical 蓋成一個指向自己的 alternate,等於修一個壞一個。
最後是往前移一層,交給前面的 Caddy 處理:
@article path_regexp article ^/blog/[^/]+$
header @article +Vary Accept
+ 是附加不是取代,這樣 Next.js 自己的 Vary 跟 Accept 會同時存在,這個經驗其實滿通用的,框架會自己管的 header(Vary、Cache-Control 這類),在框架裡面硬改常常改不動,放到 reverse proxy 反而乾淨。
量不到就不知道有沒有用
做完上面這些,我發現一個更根本的問題,我根本不知道 AI 爬蟲有沒有來,GA 是靠 JavaScript 記錄的,爬蟲不跑 JS,所以 GA 裡面只會看到「被 AI 帶過來的人」,看不到「AI 自己來讀了幾次」,而這台機器上的 Caddy 一直沒開 access log。
所以在 Caddyfile 補上 log,因為 VM 硬碟之前被 log 塞爆過,大小一定要設上限:
log {
output file /data/access.log {
roll_size 5MiB
roll_keep 4
roll_keep_for 720h
}
}
再寫一支小腳本從 log 裡依 User-Agent 分組,看每家爬蟲抓了幾次、抓了哪些頁、狀態碼分布、有沒有去讀 /md 或 llms.txt,這樣一個月後就能回答幾個現在只能猜的問題,像是 ChatGPT-User 跟 OAI-SearchBot 的比例、Markdown 版本到底有沒有人用,log 才剛開,數字之後再補。
內容本身
上面講的都是讓 AI 抓得到、讀得懂,但會不會被引用還是看內容,回頭看那 5 個從 ChatGPT 來的 session,落地頁是 all-code-is-slop 跟 deerflow 架構拆解那兩篇,共同點是裡面有別人沒有的具體數字或第一手拆解,像一個月 11,000 個 PR、revert 率 0.5% 這種,樣本只有 5 個,講不出什麼統計上的結論,但方向跟直覺是一致的,AI 回答問題的時候需要一個可以引用的來源,泛泛的整理文到處都有,它沒理由挑你的。
幾個寫作上我之後會注意的地方:
- 段落開頭先給答案再展開,AI 在切段落的時候比較容易抓到完整的一句話
- 數字、日期、版本號寫死,不要寫「最近」「目前最新版」
- 標題就是問題本身,讀者問 AI 的句子常常就長那樣
JSON-LD 這個站之前就有了,BlogPosting 帶 author、datePublished、dateModified,這部分是 SEO 時代就該做的,AEO 沿用就好。
結論
整理下來,個人部落格的 AEO 大概就這幾件事:
| 項目 | 做法 |
|---|---|
| 讓 AI 抓得到 | robots.txt 區分訓練跟搜尋,實際用各家 UA 打一次 |
| 讓 AI 讀得懂 | server render、提供 Markdown 版本、llms.txt |
| 讓 AI 引用正確 | Markdown 帶 url/author/日期,canonical 指回 HTML |
| 知道有沒有用 | 開 access log 看爬蟲,GA 看 AI 帶來的人 |
技術面能做的其實很有限,而且大部分都是一次性的工作,這次最大的收穫反而是那個 frontmatter bug,它從 4 月這個功能上線就在了,在線上躺了七個月,因為人類讀者看不到,我自己也從來沒用解析器讀過一次,給機器看的東西,就要用機器的方式驗收,不然你永遠不會知道它壞了。
至於 AEO 會不會取代 SEO,以這個站的數字來看,Google 帶來的人還是比 ChatGPT 多好幾倍,只是一個在往下掉、一個從零開始長,與其猜哪邊會贏,不如兩邊都顧好,然後把量測先接起來,等數字自己告訴你吧。
Waiting7777
WoW Arena 冠軍轉前端,用電競 meta 思維拆解技術趨勢。
相關文章
Next.js個人專案從零到上線:用 Next.js 與 Supabase 重做個人官網的這一年
一個前端工程師在 2026 年如何把「架部落格」當成 side project,順便練熟 Auth、RLS 與部署。
2026年11月18日 · Waiting7777 · 4 分鐘閱讀
繼續閱讀 →
AIAI Agents+1AI 寫的 code 都是 slop?一個月 11,000 個 PR、revert 率 0.5% 的團隊怎麼做
Lauren Tan(poteto)在 AI Engineer 講她的團隊一個月發 11,000 個 PR、revert 率還維持在 0.5%,靠的不是更好的模型,是把規則寫成 lint、把 token 花在驗證上,聽完回頭看自己的 repo,發現踩過的坑只寫在註解裡,沒有任何檢查會擋。
2026年11月17日 · Waiting7777 · 9 分鐘閱讀
繼續閱讀 →
AIAI Agents+1換到新模型之後,寫給 AI 的規則檔要怎麼整理?拆解 Anthropic 的 prompt-audit
換了新模型之後,之前對著舊模型調出來的 CLAUDE.md 跟 skill 要不要跟著整理?把 Anthropic 公開的 prompt-audit 從頭讀了一遍,看它怎麼判斷哪句該刪、哪句不能刪,再拿自己的 code review skill 試一次,結果一行都沒少。
2026年11月16日 · Waiting7777 · 8 分鐘閱讀
繼續閱讀 →這篇文章對你有幫助嗎?
每週一篇 — 技術趨勢背後的商業邏輯
AI 產業在變什麼、工程師該注意什麼——拆清楚寄到你的信箱。