BridgeCraft logobridgecraft
週報分享作品集關於聯絡登入
聯絡

bridgecraft

從資料視覺化到 AI Agent,一直在找下一個 meta

文章主題指南週報技術分享Labs作品集系統架構關於聯絡RSS

© 2026 BridgeCraft — Waiting7777. All rights reserved.

← 所有文章

ChatGPT 開始帶人進來之後,我幫部落格做了一次 AEO 檢查

2026年11月22日 · Waiting7777 · 8 分鐘閱讀

SEOAINext.js
📂 SEO 系列📂 AI 系列📂 Next.js 系列

ChatGPT 開始帶人進來之後,我幫部落格做了一次 AEO 檢查

這陣子翻 GA 的時候看到一個以前沒注意的來源,chatgpt.com,九十天裡只有 5 個 session,量小到可以忽略,但其中 4 個是 engaged session,換算下來是全站所有來源裡比例最高的,同一段時間 Google 自然搜尋只有 31 個 session,而且 8 月那次 spam update 之後幾乎掉到零,那麼問題就來了,如果之後讀者越來越常是先問 AI、再被 AI 帶過來,這個站有沒有準備好被 AI 讀?

這件事現在有個名字叫 AEO(Answer Engine Optimization),也有人叫 GEO,意思差不多,就是讓 ChatGPT search、Perplexity、Google AI Overviews、Claude 這類「回答引擎」在組答案的時候,抓得到你的內容、讀得懂、引用的時候連回正確的網址,這篇把我實際檢查和修改的過程整理下來,順便記錄中間踩到的兩個坑。

先分清楚是誰在讀

SEO 的世界只要顧好 Googlebot 跟 bingbot,AEO 麻煩一點,因為每家 AI 公司都把爬蟲拆成好幾隻,而且用途差很多:

公司拿去訓練模型建搜尋索引使用者叫 AI 去讀
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity(無)PerplexityBotPerplexity-User

右邊兩欄才是會帶人回來的,最右邊那欄更直接,是有人在對話裡貼了你的網址或 AI 判斷要去讀你的頁面,當下就在抓,所以如果 robots.txt 一刀把 AI 爬蟲全擋掉,擋到的其實不只訓練,連被引用的機會也一起丟了。

Google 比較特別,AI Overviews 用的是一般 Googlebot 的索引,Google-Extended 只是 robots.txt 裡的一個 token,控制的是內容能不能拿去給 Gemini 訓練和 grounding,擋它並不會讓你從 AI Overviews 消失,這點很容易搞混。

我的站在 robots.txt 裡放的是 Cloudflare 去年提出的 Content Signals:

User-agent: *
Allow: /
Content-Signal: ai-train=no, search=yes, ai-input=yes

意思是可以拿去搜尋、可以拿來當回答的輸入,但不要拿去訓練,要講清楚的是這只是一個聲明,沒有任何技術上的強制力,各家要不要遵守是他們的事,但至少立場寫下來了,比起全擋或全開,這是我覺得對個人部落格最合理的組合。

實際抓一次

規則寫得再漂亮,抓不到都是白搭,所以第一步是用各家的 User-Agent 實際打一次文章頁:

for ua in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot PerplexityBot; do
  curl -s -o /dev/null -w "$ua %{http_code} %{time_total}s\n" \
    -A "Mozilla/5.0 (compatible; $ua/1.0)" \
    https://bridge-craft.org/blog/all-code-is-slop
done

全部 200,除了第一次因為 cache 沒熱花了 2.3 秒,其他都在 0.1 秒內,這一步看起來很蠢,但很多站是在 Cloudflare 或 WAF 上開了 bot 防護之後自己都不知道,AI 爬蟲拿到的是一頁驗證碼。

另一個常見的問題是內容要等 JavaScript 跑完才出來,AI 爬蟲大多不跑 JS,這個站是 Next.js server render,curl 下來的 HTML 就有全文,這關沒問題。

給 AI 看的 Markdown

HTML 對 AI 來說其實很吵,一篇文章的 HTML 裡面真正的內容可能不到一半,剩下是 nav、footer、class name 跟一堆 script,所以這個站之前就做了每篇文章的 Markdown 版本,兩種拿法:

  • 直接加 /md:/blog/<slug>/md
  • 對原本的網址送 Accept: text/markdown,middleware 會 rewrite 過去

然後在 llms.txt 裡面寫清楚這件事,llms.txt 是 2024 年 Answer.AI 提出來的格式,用 Markdown 列出網站的結構和重要連結,老實說目前沒有哪家大廠公開說他們的爬蟲會固定去讀它,Google 那邊甚至講過他們沒在用,但 coding agent 跟一些 AI 工具在讀文件站的時候確實會先找它,做起來成本又很低,所以留著。

這次檢查的時候順手把 Markdown 版本整個看了一遍,結果發現開頭長這樣:

---
title: "AI 寫的 code 都是 slop?..."
slug: "all-code-is-slop"
published: "2026-11-17T14:14:22.694+00:00"
---# AI 寫的 code 都是 slop?...

frontmatter 結尾的 --- 跟第一個標題黏在一起了,原因是組 frontmatter 的時候最後放了一個空字串想換行,結果後面接了一個 .filter(Boolean) 把 null 濾掉,空字串也是 falsy,就一起被濾掉了:

const frontmatter = [
  "---",
  `title: ${JSON.stringify(post.title)}`,
  post.published_at ? `published: ...` : null,
  "---",
  "",               // 想換行,但會被 filter(Boolean) 吃掉
].filter(Boolean).join("\n");

這個 bug 對人類讀者沒差,網頁上看不到,但對照規格解析 frontmatter 的工具來說,---# 不是合法的結束符號,於是它會一路往下找下一個 ---,整篇文章就這樣被當成 metadata 吞掉了,也就是我特地為 AI 準備的版本,在最照規矩的那一批工具眼裡是空的...

修法很簡單,結尾手動補兩個換行,filter 改成只濾 null,順便把 frontmatter 補完整,description、正式網址、作者、更新時間、分類都放進去,因為 AI 引用的時候最需要的就是「這段話是誰在什麼時候寫的、原文在哪」:

---
title: "AI 寫的 code 都是 slop?..."
description: "整理 Lauren Tan 的 All Code Is Slop 演講..."
url: "https://bridge-craft.org/blog/all-code-is-slop"
author: "Waiting7777"
published: "2026-11-17T14:14:22.694+00:00"
updated: "2026-11-17T14:14:22.871339+00:00"
categories: ["AI","AI Agents","程式碼品質"]
language: zh-TW
---

url 這個欄位特別重要,沒有它的話 AI 引用時很可能直接貼 /md 的網址給使用者,人點進去看到的是一坨純文字。

讓搜尋引擎別搞混

多了一份 Markdown 等於同一篇內容有兩個網址,這在 SEO 上是重複內容,所以 Markdown 的 response 要加 canonical 指回 HTML,Markdown 不是 HTML,沒辦法放 <link> tag,要用 HTTP header:

headers.set("link", `<${htmlUrl}>; rel="canonical"`);
if (isDeindexedPost(post.slug)) {
  headers.set("x-robots-tag", "noindex");
}

下面那行是之前的債,這個站 10 月因為 spam update 把 150 篇文章設成 noindex,但只處理了 HTML,/md 還是可以被收錄,等於從後門又開了一扇門。

反方向也要做,HTML 頁面要告訴 AI 有 Markdown 版本可以拿,Next.js 的 metadata 直接支援:

alternates: {
  canonical: postUrl,
  types: { "text/markdown": `${postUrl}/md` },
},

Vary 的坑

同一個網址會依照 Accept 回 HTML 或 Markdown,標準做法是 response 帶 Vary: Accept,告訴中間的 cache 要用 Accept 當 key,不然有可能 A 拿到 Markdown 之後被 cache 起來,B 用瀏覽器打開也拿到 Markdown。

一開始我在 middleware 裡加,Markdown 那條路有效,HTML 那條沒效果,實際 curl 出來 Vary 只有 Next.js 自己那串 rsc, next-router-state-tree, ...,middleware 設的被蓋掉了,那改用 next.config 的 headers() 試試,結果更糟,Vary 一樣被蓋,反而是我順便加的 Link header 套到了 rewrite 之後的 Markdown response 上,把剛剛設好的 canonical 蓋成一個指向自己的 alternate,等於修一個壞一個。

最後是往前移一層,交給前面的 Caddy 處理:

@article path_regexp article ^/blog/[^/]+$
header @article +Vary Accept

+ 是附加不是取代,這樣 Next.js 自己的 Vary 跟 Accept 會同時存在,這個經驗其實滿通用的,框架會自己管的 header(Vary、Cache-Control 這類),在框架裡面硬改常常改不動,放到 reverse proxy 反而乾淨。

量不到就不知道有沒有用

做完上面這些,我發現一個更根本的問題,我根本不知道 AI 爬蟲有沒有來,GA 是靠 JavaScript 記錄的,爬蟲不跑 JS,所以 GA 裡面只會看到「被 AI 帶過來的人」,看不到「AI 自己來讀了幾次」,而這台機器上的 Caddy 一直沒開 access log。

所以在 Caddyfile 補上 log,因為 VM 硬碟之前被 log 塞爆過,大小一定要設上限:

log {
  output file /data/access.log {
    roll_size 5MiB
    roll_keep 4
    roll_keep_for 720h
  }
}

再寫一支小腳本從 log 裡依 User-Agent 分組,看每家爬蟲抓了幾次、抓了哪些頁、狀態碼分布、有沒有去讀 /md 或 llms.txt,這樣一個月後就能回答幾個現在只能猜的問題,像是 ChatGPT-User 跟 OAI-SearchBot 的比例、Markdown 版本到底有沒有人用,log 才剛開,數字之後再補。

內容本身

上面講的都是讓 AI 抓得到、讀得懂,但會不會被引用還是看內容,回頭看那 5 個從 ChatGPT 來的 session,落地頁是 all-code-is-slop 跟 deerflow 架構拆解那兩篇,共同點是裡面有別人沒有的具體數字或第一手拆解,像一個月 11,000 個 PR、revert 率 0.5% 這種,樣本只有 5 個,講不出什麼統計上的結論,但方向跟直覺是一致的,AI 回答問題的時候需要一個可以引用的來源,泛泛的整理文到處都有,它沒理由挑你的。

幾個寫作上我之後會注意的地方:

  • 段落開頭先給答案再展開,AI 在切段落的時候比較容易抓到完整的一句話
  • 數字、日期、版本號寫死,不要寫「最近」「目前最新版」
  • 標題就是問題本身,讀者問 AI 的句子常常就長那樣

JSON-LD 這個站之前就有了,BlogPosting 帶 author、datePublished、dateModified,這部分是 SEO 時代就該做的,AEO 沿用就好。

結論

整理下來,個人部落格的 AEO 大概就這幾件事:

項目做法
讓 AI 抓得到robots.txt 區分訓練跟搜尋,實際用各家 UA 打一次
讓 AI 讀得懂server render、提供 Markdown 版本、llms.txt
讓 AI 引用正確Markdown 帶 url/author/日期,canonical 指回 HTML
知道有沒有用開 access log 看爬蟲,GA 看 AI 帶來的人

技術面能做的其實很有限,而且大部分都是一次性的工作,這次最大的收穫反而是那個 frontmatter bug,它從 4 月這個功能上線就在了,在線上躺了七個月,因為人類讀者看不到,我自己也從來沒用解析器讀過一次,給機器看的東西,就要用機器的方式驗收,不然你永遠不會知道它壞了。

至於 AEO 會不會取代 SEO,以這個站的數字來看,Google 帶來的人還是比 ChatGPT 多好幾倍,只是一個在往下掉、一個從零開始長,與其猜哪邊會贏,不如兩邊都顧好,然後把量測先接起來,等數字自己告訴你吧。

每週一篇 — 技術趨勢背後的商業邏輯

分享:

Waiting7777

WoW Arena 冠軍轉前端,用電競 meta 思維拆解技術趨勢。

關於作者

相關文章

從零到上線:用 Next.js 與 Supabase 重做個人官網的這一年Next.js個人專案

從零到上線:用 Next.js 與 Supabase 重做個人官網的這一年

一個前端工程師在 2026 年如何把「架部落格」當成 side project,順便練熟 Auth、RLS 與部署。

2026年11月18日 · Waiting7777 · 4 分鐘閱讀

繼續閱讀 →
AI 寫的 code 都是 slop?一個月 11,000 個 PR、revert 率 0.5% 的團隊怎麼做AIAI Agents+1

AI 寫的 code 都是 slop?一個月 11,000 個 PR、revert 率 0.5% 的團隊怎麼做

Lauren Tan(poteto)在 AI Engineer 講她的團隊一個月發 11,000 個 PR、revert 率還維持在 0.5%,靠的不是更好的模型,是把規則寫成 lint、把 token 花在驗證上,聽完回頭看自己的 repo,發現踩過的坑只寫在註解裡,沒有任何檢查會擋。

2026年11月17日 · Waiting7777 · 9 分鐘閱讀

繼續閱讀 →
換到新模型之後,寫給 AI 的規則檔要怎麼整理?拆解 Anthropic 的 prompt-auditAIAI Agents+1

換到新模型之後,寫給 AI 的規則檔要怎麼整理?拆解 Anthropic 的 prompt-audit

換了新模型之後,之前對著舊模型調出來的 CLAUDE.md 跟 skill 要不要跟著整理?把 Anthropic 公開的 prompt-audit 從頭讀了一遍,看它怎麼判斷哪句該刪、哪句不能刪,再拿自己的 code review skill 試一次,結果一行都沒少。

2026年11月16日 · Waiting7777 · 8 分鐘閱讀

繼續閱讀 →

這篇文章對你有幫助嗎?

每週一篇 — 技術趨勢背後的商業邏輯

AI 產業在變什麼、工程師該注意什麼——拆清楚寄到你的信箱。