robots文件怎么写?robots.txt基础语法与SEO配置指南

📍 WDQWDWQD987AAAAA:216.73.216.60
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /0439beecdc7d.html
📄

robots文件(通常写作robots.txt)是网站根目录下的一个纯文本文件,用来告诉搜索引擎爬虫哪些页面可以抓取、哪些目录应当避开。它虽然不直接参与排名,但配置不当可能导致重要页面无法收录,因此是SEO基础工作中不可忽视的一环。

robots.txt的基本语法

robots文件由若干条记录组成,每条记录以User-agent开头,后面跟上Allow或Disallow规则。常见写法如下:

常见配置示例

如果希望全站允许抓取,可以写User-agent: * 与 Disallow:(冒号后留空)。若要屏蔽后台和搜索参数页,可写Disallow: /admin/、Disallow: /*?s=。需要注意,robots文件只对遵守协议的爬虫有效,并不能阻止恶意抓取,敏感内容应通过权限控制保护。

配置时的注意事项

  1. 文件必须放在域名根目录,且文件名为小写robots.txt。
  2. 规则按路径前缀匹配,区分大小写,写错目录会失效。
  3. 不要用Disallow屏蔽CSS、JS等渲染资源,否则可能影响页面评估。
  4. 修改后可在搜索引擎站长平台测试抓取效果,确认无误再上线。

总之,robots文件是网站与爬虫沟通的第一道门槛。保持规则简洁、定期检查,既能保护隐私目录,也能让重要内容被顺利发现和收录。

图1 图2

nginx