robots txt怎么写？从语法到实操的完整指南

📍 WDQWDWQD987AAAAA:216.73.216.60
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /fd712a7703bd.html
📄

robots txt 是网站与搜索引擎爬虫之间的第一份“沟通协议”。写得好，可以引导蜘蛛高效抓取核心内容；写得不好，可能误屏蔽重要页面。下面从语法、结构到实操，帮你快速掌握 robots txt 怎么写。

一、robots txt 的基本语法

robots txt 文件必须放在网站根目录，文件名全小写。核心指令包括：

• User-agent：指定规则作用的爬虫，如 * 代表所有爬虫；
• Disallow：禁止抓取的路径；
• Allow：允许抓取的路径，通常与 Disallow 配合使用；
• Sitemap：声明网站地图地址，便于爬虫发现页面。

每条规则由“字段: 值”组成，字段名不区分大小写，路径区分大小写。多个 User-agent 可以共用一组规则。

二、常见写法示例

最简单的全站允许写法：

• User-agent: *
• Disallow:

禁止所有爬虫抓取后台和临时目录：

• User-agent: *
• Disallow: /admin/
• Disallow: /tmp/
• Sitemap: https://www.example.com/sitemap.xml

注意：Disallow 后面留空表示允许所有；如果要禁止所有抓取，应写 Disallow: /。

三、新手最容易踩的坑

1. 把 robots txt 放在子目录，爬虫无法读取；
2. 用 Disallow 屏蔽了 CSS、JS 等渲染资源，影响页面收录；
3. 忘记声明 Sitemap，错失提交入口；
4. 规则顺序混乱，Allow 与 Disallow 冲突时以最长匹配为准。

写完建议用搜索引擎官方的 robots 测试工具验证，确保没有误屏蔽重要栏目。robots txt 怎么写，核心就是先明确目标，再按语法逐条编写，最后测试确认。