robots文件怎么写?robots.txt基础语法与SEO配置指南
📍 WDQWDWQD987AAAAA:216.73.216.60
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /0439beecdc7d.html
📄
robots文件(通常写作robots.txt)是网站根目录下的一个纯文本文件,用来告诉搜索引擎爬虫哪些页面可以抓取、哪些目录应当避开。它虽然不直接参与排名,但配置不当可能导致重要页面无法收录,因此是SEO基础工作中不可忽视的一环。
robots.txt的基本语法
robots文件由若干条记录组成,每条记录以User-agent开头,后面跟上Allow或Disallow规则。常见写法如下:
- User-agent:指定规则适用的爬虫,例如Googlebot或*(代表所有爬虫)。
- Disallow:禁止抓取的路径,如Disallow: /admin/。
- Allow:允许抓取的路径,常用于在禁止目录中开放个别文件。
- Sitemap:声明网站地图地址,帮助爬虫发现页面。
常见配置示例
如果希望全站允许抓取,可以写User-agent: * 与 Disallow:(冒号后留空)。若要屏蔽后台和搜索参数页,可写Disallow: /admin/、Disallow: /*?s=。需要注意,robots文件只对遵守协议的爬虫有效,并不能阻止恶意抓取,敏感内容应通过权限控制保护。
配置时的注意事项
- 文件必须放在域名根目录,且文件名为小写robots.txt。
- 规则按路径前缀匹配,区分大小写,写错目录会失效。
- 不要用Disallow屏蔽CSS、JS等渲染资源,否则可能影响页面评估。
- 修改后可在搜索引擎站长平台测试抓取效果,确认无误再上线。
总之,robots文件是网站与爬虫沟通的第一道门槛。保持规则简洁、定期检查,既能保护隐私目录,也能让重要内容被顺利发现和收录。