llms.txt 是什么?能提升 AI 引用吗?
llms.txt 是放在站点根目录的一份 Markdown 说明文件, 用几段话讲清「这个站是谁、提供什么、哪些页面值得读」。 它由社区在 2024 年提出,属于约定而非标准,主流生成式引擎没有公开承诺一定读取。 正确的定位是:低成本的基础设施,不是排名开关。
一、它解决什么问题
一个中型网站的 HTML 里,导航、广告位、推荐位、页脚占据了大量字符, 真正有效的信息可能只占 10%。模型抓取时要么付出更高的上下文成本,要么抓不全。
llms.txt 用纯文本把「有效信息」单独拎出来:一段摘要、几条关键事实、一组重要页面链接。 它不改变页面本身,只是降低理解成本。
二、它不解决什么问题
- 不会让页面被收录。收录取决于可抓取、可索引与内容质量,这是 robots 与 sitemap 的领域。
- 不会提升结果页排名。没有公开证据表明它参与排名算法。
- 不能弥补正文空洞。说明写得再漂亮,页面上没有实质内容也无从引用。
- 不是所有引擎都读。各厂商实现策略不同,把它当成「有则更好」的补充即可。
三、三个文件的正确分工
| 文件 | 面向 | 回答的问题 | 格式 |
|---|---|---|---|
robots.txt |
所有爬虫 | 哪些能抓、哪些不能抓 | 纯文本协议 |
sitemap.xml |
抓取调度 | 有哪些页面、什么时候更新 | XML 协议 |
llms.txt |
语义理解 | 这个站做什么、哪些内容重要 | Markdown 约定 |
三者不冲突:robots 决定「能不能进」,sitemap 决定「先抓什么」, llms.txt 影响「读懂多少」。前两个是协议,第三个是约定 —— 优先级不要搞反。
四、怎么写:一个可照抄的骨架
结构很简单,四段就够:
- H1 标题:站点或品牌名,一行。
- 引用块摘要:两三句话说清做什么、给谁做、交付什么。
- 联系与基本事实:联系方式、语言、站点根、抓取声明。
- H2 分组链接:按用途分组(业务页 / 知识库 / 法律文本),每行「链接 + 一句话说明」。
本站的文件可以直接对照:/llms.txt。要点有三:
- 摘要里写可核事实(服务范围、口径),不要写形容词堆砌;
- 链接分组并加一句说明,让模型知道点进去能拿到什么;
- 写一句冲突处理规则(例如「本文件与页面正文冲突时以页面为准」),避免模型引用过期摘要。
五、什么时候值得做
三种情况值得立刻写:站点页面数量多且结构复杂;业务描述容易被误解(新兴品类、专业服务); 你已经在做内容矩阵、希望模型优先读某几页。
三种情况可以先放:站点只有个位数页面(正文本身已足够清楚); 内容还没成型(写完再维护,否则文件会与正文脱节);把 llms.txt 当成唯一手段(基础没做,它救不了)。
常见问题
llms.txt 能提高搜索排名吗?
没有证据表明它能直接影响传统搜索排名。它是一份站点说明,作用是降低生成式引擎理解与取用内容的成本; 是否读取由各引擎自行决定,多数厂商未公开承诺支持。把它当成低成本的基础设施,而不是排名开关。
不写 llms.txt 会有什么后果?
通常没有直接惩罚,引擎仍会通过常规抓取与索引理解你的站点。代价是失去一次 「主动说清我是谁、哪些内容值得读」的机会,尤其在站点结构复杂、导航混乱时,理解成本会更高。
llms.txt 和 sitemap.xml 有什么区别?
sitemap.xml 面向抓取调度,回答「有哪些页面、什么时候更新」,是机器可解析的 XML 协议; llms.txt 面向语义理解,回答「这个站是做什么的、哪些页面重要」,是给人读的 Markdown。 两者互补,不能互相替代。
需要额外再做 llms-full.txt 吗?
多数中小站点没有必要。llms-full.txt 的设想是把正文全量塞进一个文件,体积大、维护成本高, 且会与页面内容重复。优先把正文写清楚、把 sitemap 维护好,收益更确定。