Comparison

llms.txt vs robots.txt

这两个文件解决的是不同问题。robots.txt 负责 crawler access 和 discovery；llms.txt 更像公开参考页的偏好说明。把其中一个当成另一个的替代品，只会得到浅层修复。

robots.txt

访问策略和发现提示

llms.txt

canonical 引用偏好提示

两者都需要

强页面架构

Compare

各自适合解决什么

robots.txt

当问题是抓取权限或 sitemap 发现时，用它。

允许或禁止路径

提示 sitemap.xml

减少 noisy URL pattern 的误抓取

llms.txt

当问题是“模型应该优先参考哪些公开页面”时，用它。

突出 canonical docs 或 setup 页

优先 pricing 和 trust pages，而不是过时 campaign 页

降低对“最佳公共来源”的歧义

两者都替代不了

如果底层架构混乱，这两个文件都只能打辅助。

internal linking

canonical tags

清晰 hubs 和 leaf pages

可信页面内容

Use them together

如果问题是某条路径该不该抓，那就是 robots.txt 的事。

如果问题是哪些 URL 应该被列为重要 canonical 页面，那是 sitemap 的事。

如果问题是模型应该优先参考哪组公开页面来理解产品，那是 llms.txt 的事。

如果用户和模型还是看不懂，真正的问题通常是页面架构，而不是文件配置。

查看生成器、示例和关于机器可读入口页的解释。

先看核心概念，再进入 checklist 和 comparison 页面。

聚焦 canonical 文档结构、导航和引用路径的检查清单。

Next step

这个 comparison 的价值不在于概念，而在于帮你判断下一个修复动作究竟该落在 robots、sitemap、llms，还是页面架构本身。