llms.txt到底要不要做，现状、争议和一个折中方案

最近半年问 llms.txt 的客户明显变多。有人被服务商推荐做，有人看到同行做了，也有人担心不做会掉队。

先给结论：现在做 llms.txt 的实际收益很小，但成本也极低。值得花半小时做一个，不值得为它投入任何额外预算。下面把现状和争议摊开讲清楚，你可以自己判断。

一、llms.txt的提出背景

llms.txt 这个提案在 2024 年底被提出，规范文档在 llmstxt.org。它的想法很直接：网站在根目录放一个 Markdown 格式的文件，告诉大语言模型这个站是做什么的、哪些页面最重要，帮模型更高效地理解网站。

标准格式大致是：域名根目录下的 /llms.txt，用 Markdown 写，包含一段网站简介，再加上 10 到 50 条精选链接，每条配一行说明。

提出的初衷是解决一个真实问题——模型的上下文窗口有限，与其让它爬完整站的 HTML（里面掺着导航、页脚、脚本、广告），不如直接给它一份干净的索引。对文档站和 API 站来说，这个逻辑是成立的。

问题出在，从提案到被各家采纳，中间还差着很长一段路。

二、各主要AI厂商的支持现状

这是最值得看清楚的一节，因为市面上的说法非常混乱。

谷歌明确反对。 谷歌搜索关系团队的 Gary Illyes 公开确认谷歌不支持 llms.txt，也没有支持计划。John Mueller 把它类比成早已被证伪的 keywords 元标签。谷歌在 2026 年 5 月发布的生成式AI优化指南里也写明：llms.txt 对 AI Overviews、AI Mode 或任何其他生成式搜索功能都不是必需的。

部分厂商自己在用，但这和「读取别人的」是两回事。 Anthropic 在其面向 Agent 的写作指南里推荐了 llms.txt；OpenAI 为自家的 Agents SDK 和 Agentic Commerce Protocol 维护着 llms.txt 文件；Perplexity 被观察到有调用 llms.txt 内容的行为。

这里要特别区分两件事：一家 AI 公司在自己的文档站发布 llms.txt，说明它认可这个格式对文档的价值；这不等于它的爬虫会去读你网站的 llms.txt。截至目前，没有任何一家主流 AI 公司公开承诺在生产环境中读取并执行第三方网站的 llms.txt。

三、反对意见的主要理由

除了谷歌的表态，实测数据也不太乐观。

爬虫几乎不请求这个文件。 有监测平台在 90 天内记录了超过 5 亿次 AI 机器人访问事件，其中直接请求 /llms.txt 的只有数百次。GPTBot、ClaudeBot、PerplexityBot、OAI-SearchBot、Google-Extended 这些主流 AI 爬虫，抓取的绝大部分仍然是 HTML 内容。

采用率不高，且和被引用没有相关性。 有针对 30 万个域名的研究显示采用率约为 10%。更说明问题的是：在被 AI 引用最多的 50 个域名里，只有 1 个放了这个文件。

已有的文件质量普遍很差。 HTTP Archive 的 2025 年 Web 年鉴发现，约 40% 的 llms.txt 是插件自动生成的默认内容，而不是人工精选的索引。一个自动罗列全站链接的文件，和 sitemap 没有区别，完全失去了这个格式的意义。

最本质的质疑是：这是一个无法验证的自述文件。 网站自己说哪些页面重要，模型凭什么信？这正是当年 keywords 元标签被废弃的原因——任何由站长单方面声明、又无法交叉验证的信号，最终都会被滥用到失效。

四、一个低成本的折中写法

既然收益不确定，为什么还建议做？因为成本确实低，而且有一个副作用是有价值的：写 llms.txt 会强迫你想清楚，自己网站上到底哪 20 个页面最重要。

折中的做法是这样：

1.花半小时手写，不要用插件生成。插件生成的版本不如不做

2.只列 15 到 30 条链接，全部是你真正希望被引用的页面：核心服务页、有独家数据的文章、常见问题页

3.每条链接配一句具体说明，写清这个页面回答什么问题，而不是复制页面标题

4.开头写 3 到 5 句公司简介，包含公司全称、所在地、主营业务、服务对象这些实体信息

5.放在根目录，纯 Markdown，不要加额外标记

6.每季度回看一次，链接失效了就更新。做完就不要再管它

更重要的是把精力放在真正起作用的地方。 前面的数据已经说明，AI 爬虫抓的是 HTML。所以让页面本身好读，收益远大于加一个索引文件：

• 每一节的第一句话就是这一节的答案，不要铺垫

• 补齐 Article、BreadcrumbList、FAQPage、Organization 四类结构化数据

• FAQ 模块写成一问一答，答案 80 到 200 字，首句给结论

• 标注作者、发布时间、更新时间，事实给出处

• 有独家数据——模型引用的往往是别处找不到的数字

这几件事同时对传统搜索排名和AI引用都有帮助，投入产出比比 llms.txt 高得多。

五、效果怎么验证

做完之后想知道有没有用，有两个可操作的办法。

看服务器日志。 在日志里筛 /llms.txt 这个路径，看有没有 AI 爬虫的 User-Agent 来请求过，多久请求一次。这是唯一能直接证明「有没有被读」的数据。按前面的实测情况，大概率是零，看到了反而是意外之喜。

做人工抽样测试。 固定 10 到 20 个和你业务相关的问题，每月在几个 AI 搜索里问一遍，记录答案里引用了哪些来源。做三个月就能看出趋势——重点不是看自己有没有被引用，而是看行业里谁被当成了权威来源。

需要提醒的是，即使你被引用了，也很难归因到 llms.txt 上，因为同期你多半还在更新内容、补结构化数据。这也是这件事无法严格验证的根本原因。

写在最后

llms.txt 现在的状态是：一个想法合理、但尚未获得主流支持的提案，谷歌明确反对，其他厂商没有承诺，实测请求量接近于零。

合理的态度是花半小时手写一个放着，然后把真正的精力投到内容结构和结构化数据上。如果有服务商把 llms.txt 当成核心卖点向你收费，可以直接把这篇文章里的数据拿去问他。

想系统评估自己的网站在AI搜索里的可读性，可以看谷歌SEO服务页了解我们的诊断方式。

常见问题

Q1. 不做会有损失吗？

目前看没有明显损失。谷歌已公开表示不支持也不计划支持，实测数据显示AI爬虫对该文件的请求量极低，在被AI引用最多的50个域名里只有1个放了这个文件。不做不会影响你在传统搜索和AI搜索里的表现。做的理由是成本极低，以及写的过程能帮你理清哪些页面最重要。

Q2. 和robots.txt冲突吗？

不冲突，两者作用完全不同。robots.txt 是访问控制，告诉爬虫哪些路径可以抓、哪些不能抓，是被广泛遵守的既有标准。llms.txt 是内容索引，向模型推荐哪些页面值得看，目前没有厂商承诺遵守。两个文件可以同时存在，互不影响。

Q3. 内容要写多详细？

控制在15到30条链接，每条配一句具体说明这个页面回答什么问题。关键是手写和精选，不要用插件自动导出全站链接。约40%的现存llms.txt是插件生成的默认内容，这种版本和sitemap没有区别，不如不做。开头再加3到5句包含公司全称、所在地、主营业务的简介。

Q4. 放在哪个路径？

放在域名根目录，即 yourdomain.com/llms.txt，纯Markdown格式，不需要额外标记。多语言站点如果想分语种，可以在各语言目录下再放一份，但主文件必须在根目录。做完之后可以在服务器日志里筛这个路径，看有没有AI爬虫来请求过。

参考来源

· Google 2026 生成式AI优化指南相关讨论 — Passionfruit　https://www.getpassionfruit.com/blog/should-i-create-an-llms.txt-file-google-s-2026-guidance-explained

· llms.txt 2026年采用与爬虫请求实测数据 — GEO Jacker　https://geojacker.com/llms-txt

· llms.txt 规范原文　https://llmstxt.org