---
title: "ChatGPT 開始帶人進來之後，我幫部落格做了一次 AEO 檢查"
description: "個人部落格的 AEO 實作紀錄：分清楚 GPTBot、OAI-SearchBot、ChatGPT-User，Content-Signal、Markdown 版本與 llms.txt，canonical 與 Vary header，以及用 access log 量測 AI 爬蟲。"
url: "https://bridge-craft.org/blog/aeo-checklist-for-a-small-blog"
author: "Waiting7777"
published: "2026-11-22T15:07:53.464+00:00"
updated: "2026-11-22T15:10:03.92083+00:00"
categories: ["SEO","AI","Next.js"]
language: zh-TW
---

# ChatGPT 開始帶人進來之後，我幫部落格做了一次 AEO 檢查

這陣子翻 GA 的時候看到一個以前沒注意的來源，chatgpt.com，九十天裡只有 5 個 session，量小到可以忽略，但其中 4 個是 engaged session，比例跟 Google 自然搜尋差不多，比 direct 的兩成多高很多，而同一段時間 Google 自然搜尋也只有 31 個 session，Search Console 的曝光從 8 月那次 spam update 之後幾乎掉到零，那麼問題就來了，如果之後讀者越來越常是先問 AI、再被 AI 帶過來，這個站有沒有準備好被 AI 讀？

這件事現在有個名字叫 AEO(Answer Engine Optimization)，也有人叫 GEO，意思差不多，就是讓 ChatGPT search、Perplexity、Google AI Overviews、Claude 這類「回答引擎」在組答案的時候，抓得到你的內容、讀得懂、引用的時候連回正確的網址，這篇把我實際檢查和修改的過程整理下來，順便記錄中間踩到的兩個坑。

## 先分清楚是誰在讀

SEO 的世界只要顧好 Googlebot 跟 bingbot，AEO 麻煩一點，因為每家 AI 公司都把爬蟲拆成好幾隻，而且用途差很多：

| 公司 | 拿去訓練模型 | 建搜尋索引 | 使用者叫 AI 去讀 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | (無) | PerplexityBot | Perplexity-User |

右邊兩欄才是會帶人回來的，最右邊那欄更直接，是有人在對話裡貼了你的網址或 AI 判斷要去讀你的頁面，當下就在抓，所以如果 robots.txt 一刀把 AI 爬蟲全擋掉，擋到的其實不只訓練，連被引用的機會也一起丟了。

Google 比較特別，AI Overviews 用的是一般 Googlebot 的索引，`Google-Extended` 只是 robots.txt 裡的一個 token，控制的是內容能不能拿去給 Gemini 訓練和 grounding，擋它並不會讓你從 AI Overviews 消失，這點很容易搞混。

我的站在 robots.txt 裡放的是 Cloudflare 去年提出的 Content Signals：

```text
User-agent: *
Allow: /
Content-Signal: ai-train=no, search=yes, ai-input=yes
```

意思是可以拿去搜尋、可以拿來當回答的輸入，但不要拿去訓練，要講清楚的是這只是一個聲明，沒有任何技術上的強制力，各家要不要遵守是他們的事，但至少立場寫下來了，比起全擋或全開，這是我覺得對個人部落格最合理的組合。

## 實際抓一次

規則寫得再漂亮，抓不到都是白搭，所以第一步是用各家的 User-Agent 實際打一次文章頁：

```bash
for ua in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot PerplexityBot; do
  curl -s -o /dev/null -w "$ua %{http_code} %{time_total}s\n" \
    -A "Mozilla/5.0 (compatible; $ua/1.0)" \
    https://bridge-craft.org/blog/all-code-is-slop
done
```

全部 200，除了第一次因為 cache 沒熱花了 2.3 秒，其他都在 0.1 秒內，這一步看起來很蠢，但很多站是在 Cloudflare 或 WAF 上開了 bot 防護之後自己都不知道，AI 爬蟲拿到的是一頁驗證碼。

另一個常見的問題是內容要等 JavaScript 跑完才出來，AI 爬蟲大多不跑 JS，這個站是 Next.js server render，`curl` 下來的 HTML 就有全文，這關沒問題。

## 給 AI 看的 Markdown

HTML 對 AI 來說其實很吵，一篇文章的 HTML 裡面真正的內容可能不到一半，剩下是 nav、footer、class name 跟一堆 script，所以這個站之前就做了每篇文章的 Markdown 版本，兩種拿法：

- 直接加 `/md`：`/blog/<slug>/md`
- 對原本的網址送 `Accept: text/markdown`，middleware 會 rewrite 過去

然後在 `llms.txt` 裡面寫清楚這件事，`llms.txt` 是 2024 年 Answer.AI 提出來的格式，用 Markdown 列出網站的結構和重要連結，老實說目前沒有哪家大廠公開說他們的爬蟲會固定去讀它，Google 那邊甚至講過他們沒在用，但 coding agent 跟一些 AI 工具在讀文件站的時候確實會先找它，做起來成本又很低，所以留著。

這次檢查的時候順手把 Markdown 版本整個看了一遍，結果發現開頭長這樣：

```text
---
title: "AI 寫的 code 都是 slop？..."
slug: "all-code-is-slop"
published: "2026-11-17T14:14:22.694+00:00"
---# AI 寫的 code 都是 slop？...
```

frontmatter 結尾的 `---` 跟第一個標題黏在一起了，原因是組 frontmatter 的時候最後放了一個空字串想換行，結果後面接了一個 `.filter(Boolean)` 把 null 濾掉，空字串也是 falsy，就一起被濾掉了：

```ts
const frontmatter = [
  "---",
  `title: ${JSON.stringify(post.title)}`,
  post.published_at ? `published: ...` : null,
  "---",
  "",               // 想換行，但會被 filter(Boolean) 吃掉
].filter(Boolean).join("\n");
```

這個 bug 對人類讀者沒差，網頁上看不到，但對照規格解析 frontmatter 的工具來說，`---#` 不是合法的結束符號，於是它會一路往下找下一個 `---`，整篇文章就這樣被當成 metadata 吞掉了，也就是我特地為 AI 準備的版本，在最照規矩的那一批工具眼裡是空的...

修法很簡單，結尾手動補兩個換行，filter 改成只濾 null，順便把 frontmatter 補完整，description、正式網址、作者、更新時間、分類都放進去，因為 AI 引用的時候最需要的就是「這段話是誰在什麼時候寫的、原文在哪」：

```yaml
---
title: "AI 寫的 code 都是 slop？..."
description: "整理 Lauren Tan 的 All Code Is Slop 演講..."
url: "https://bridge-craft.org/blog/all-code-is-slop"
author: "Waiting7777"
published: "2026-11-17T14:14:22.694+00:00"
updated: "2026-11-17T14:14:22.871339+00:00"
categories: ["AI","AI Agents","程式碼品質"]
language: zh-TW
---
```

`url` 這個欄位特別重要，沒有它的話 AI 引用時很可能直接貼 `/md` 的網址給使用者，人點進去看到的是一坨純文字。

## 讓搜尋引擎別搞混

多了一份 Markdown 等於同一篇內容有兩個網址，這在 SEO 上是重複內容，所以 Markdown 的 response 要加 canonical 指回 HTML，Markdown 不是 HTML，沒辦法放 `<link>` tag，要用 HTTP header：

```ts
headers.set("link", `<${htmlUrl}>; rel="canonical"`);
if (isDeindexedPost(post.slug)) {
  headers.set("x-robots-tag", "noindex");
}
```

下面那行是之前的債，這個站 10 月因為 spam update 把 150 篇文章設成 noindex，但只處理了 HTML，`/md` 還是可以被收錄，等於從後門又開了一扇門。

反方向也要做，HTML 頁面要告訴 AI 有 Markdown 版本可以拿，Next.js 的 metadata 直接支援：

```ts
alternates: {
  canonical: postUrl,
  types: { "text/markdown": `${postUrl}/md` },
},
```

## Vary 的坑

同一個網址會依照 `Accept` 回 HTML 或 Markdown，標準做法是 response 帶 `Vary: Accept`，告訴中間的 cache 要用 Accept 當 key，不然有可能 A 拿到 Markdown 之後被 cache 起來，B 用瀏覽器打開也拿到 Markdown。

一開始我在 middleware 裡加，Markdown 那條路有效，HTML 那條沒效果，實際 curl 出來 `Vary` 只有 Next.js 自己那串 `rsc, next-router-state-tree, ...`，middleware 設的被蓋掉了，那改用 `next.config` 的 `headers()` 試試，結果更糟，`Vary` 一樣被蓋，反而是我順便加的 `Link` header 套到了 rewrite 之後的 Markdown response 上，把剛剛設好的 canonical 蓋成一個指向自己的 alternate，等於修一個壞一個。

最後是往前移一層，交給前面的 Caddy 處理：

```text
@article path_regexp article ^/blog/[^/]+$
header @article +Vary Accept
```

`+` 是附加不是取代，這樣 Next.js 自己的 Vary 跟 Accept 會同時存在，這個經驗其實滿通用的，框架會自己管的 header(Vary、Cache-Control 這類)，在框架裡面硬改常常改不動，放到 reverse proxy 反而乾淨。

## 量不到就不知道有沒有用

做完上面這些，我發現一個更根本的問題，我根本不知道 AI 爬蟲有沒有來，GA 是靠 JavaScript 記錄的，爬蟲不跑 JS，所以 GA 裡面只會看到「被 AI 帶過來的人」，看不到「AI 自己來讀了幾次」，而這台機器上的 Caddy 一直沒開 access log。

所以在 Caddyfile 補上 log，因為 VM 硬碟之前被 log 塞爆過，大小一定要設上限：

```text
log {
  output file /data/access.log {
    roll_size 5MiB
    roll_keep 4
    roll_keep_for 720h
  }
}
```

再寫一支小腳本從 log 裡依 User-Agent 分組，看每家爬蟲抓了幾次、抓了哪些頁、狀態碼分布、有沒有去讀 `/md` 或 `llms.txt`，這樣一個月後就能回答幾個現在只能猜的問題，像是 ChatGPT-User 跟 OAI-SearchBot 的比例、Markdown 版本到底有沒有人用，log 才剛開，數字之後再補。

## 內容本身

上面講的都是讓 AI 抓得到、讀得懂，但會不會被引用還是看內容，回頭看那 5 個從 ChatGPT 來的 session，落地頁是 all-code-is-slop 跟 deerflow 架構拆解那兩篇，共同點是裡面有別人沒有的具體數字或第一手拆解，像一個月 11,000 個 PR、revert 率 0.5% 這種，樣本只有 5 個，講不出什麼統計上的結論，但方向跟直覺是一致的，AI 回答問題的時候需要一個可以引用的來源，泛泛的整理文到處都有，它沒理由挑你的。

幾個寫作上我之後會注意的地方：

- 段落開頭先給答案再展開，AI 在切段落的時候比較容易抓到完整的一句話
- 數字、日期、版本號寫死，不要寫「最近」「目前最新版」
- 標題就是問題本身，讀者問 AI 的句子常常就長那樣

JSON-LD 這個站之前就有了，BlogPosting 帶 author、datePublished、dateModified，這部分是 SEO 時代就該做的，AEO 沿用就好。

## 結論

整理下來，個人部落格的 AEO 大概就這幾件事：

| 項目 | 做法 |
|---|---|
| 讓 AI 抓得到 | robots.txt 區分訓練跟搜尋，實際用各家 UA 打一次 |
| 讓 AI 讀得懂 | server render、提供 Markdown 版本、`llms.txt` |
| 讓 AI 引用正確 | Markdown 帶 url/author/日期，canonical 指回 HTML |
| 知道有沒有用 | 開 access log 看爬蟲，GA 看 AI 帶來的人 |

技術面能做的其實很有限，而且大部分都是一次性的工作，這次最大的收穫反而是那個 frontmatter bug，它從 4 月這個功能上線就在了，在線上躺了七個月，因為人類讀者看不到，我自己也從來沒用解析器讀過一次，給機器看的東西，就要用機器的方式驗收，不然你永遠不會知道它壞了。

至於 AEO 會不會取代 SEO，以這個站的數字來看，Google 帶來的人還是比 ChatGPT 多好幾倍，只是一個在往下掉、一個從零開始長，與其猜哪邊會贏，不如兩邊都顧好，然後把量測先接起來，等數字自己告訴你吧。
