robots.txt文件怎么用？SEO必读的抓取规则与写法

📍 WDQWDWQD987AAAAA:216.73.217.85
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /84c13784c414.html
📄

robots.txt文件是网站根目录下的纯文本协议文件，用于告诉搜索引擎蜘蛛哪些页面可以抓取、哪些需要避开。它不是强制指令，但对规范抓取、节省爬虫预算、保护敏感目录有实际意义。正确配置robots.txt文件，是SEO基础工作中不可忽视的一步。

robots.txt文件的基本语法

robots.txt文件由若干条记录组成，每条记录以User-agent开头，后接Allow或Disallow规则。常见写法包括：

需要注意，Disallow和Allow按最长匹配优先，路径区分大小写，且robots.txt文件必须放在域名根目录下，文件名全小写。

常见配置误区

很多站点误用Disallow: /屏蔽全站，导致页面无法被收录；也有站点把CSS、JS资源屏蔽，影响渲染评估。robots.txt文件不能替代noindex，若希望页面不被索引，应结合meta robots或HTTP头使用。另外，robots.txt文件本身可被公开访问，不要在其中写入敏感信息。

robots.txt文件的SEO建议

  1. 只屏蔽无价值或重复抓取的目录，如搜索参数页、后台、临时文件；
  2. 保留CSS和JS可抓取，确保搜索引擎能正确渲染页面；
  3. 在robots.txt文件中声明Sitemap地址，提升发现效率；
  4. 修改后使用搜索引擎站长工具测试，确认规则生效。

总之，robots.txt文件是抓取管理的辅助工具，合理使用能优化蜘蛛行为，但不能替代规范的站点结构和索引策略。

图1 图2
nginx