robots.txt 对网站抓取的限制，是网站通过公开规则告知爬虫哪些 URL 可以抓取、哪些 URL 不应抓取。它主要用于管理搜索引擎爬虫的访问范围和抓取资源，但不是强制性的安全控制，也不能保证网页一定不会出现在搜索结果中。
robots.txt 对网站抓取的限制是什么
robots.txt 是一个纯文本文件，通常位于网站协议和主机名对应的根目录，例如 https://www.example.com/robots.txt。爬虫访问网站时，一般会先读取这个文件，再根据其中针对自身的规则决定是否请求特定 URL。
这种机制称为机器人排除协议。它依赖爬虫主动遵守：主流搜索引擎通常会执行规则，但恶意程序、数据采集脚本或配置错误的爬虫可能忽略它。因此，robots.txt 管理的是抓取行为，而不是访问权限。
抓取、索引与访问的区别
抓取是爬虫请求并读取 URL 内容；索引是搜索引擎分析内容后将其纳入可检索数据库；访问则是服务器是否允许客户端取得资源。robots.txt 主要影响第一步，并不等同于索引控制或服务器鉴权。
某个 URL 即使被禁止抓取，搜索引擎仍可能通过外部链接发现它，并根据链接文字等有限信息展示该 URL。若要阻止内容被未授权用户访问，应使用登录认证、权限校验或网络访问控制；若要明确阻止网页进入索引，通常应在允许爬虫读取页面的前提下使用 noindex。
robots.txt 为什么重要
减少无价值抓取
站内搜索结果、筛选组合、排序参数、重复日历页面等 URL 可能大量消耗抓取资源。合理限制这些页面，有助于爬虫把更多请求用于产品页、文章页和其他重要内容。
降低服务器压力
对于页面数量大、动态查询成本高或服务器容量有限的网站，不必要的爬虫请求可能增加数据库和应用服务负担。robots.txt 可以减少遵守规则的爬虫对特定路径的访问，但流量控制仍应结合缓存、限速和服务器层防护。
避免测试区域被常规抓取
开发文档、内部搜索路径或尚未准备公开抓取的目录，可以通过 robots.txt 向正常爬虫声明限制。不过，只要这些资源能够被公网直接访问，就不能把 robots.txt 当成保密措施。
robots.txt 的基本规则与匹配方式
User-agent：指定规则适用对象
User-agent 用于指定爬虫。星号通常表示所有爬虫：
User-agent: *
Disallow: /internal-search/也可以为特定爬虫设置独立规则。不同爬虫对扩展指令的支持程度可能不同，配置前应查阅对应搜索引擎的官方文档。
Disallow：声明不应抓取的路径
Disallow 用于限制匹配路径。例如以下规则表示不希望适用的爬虫抓取 /temp/ 目录下的 URL：
User-agent: *
Disallow: /temp/路径通常区分大小写，并从 URL 路径开头进行匹配。网站改版或目录命名变化后，应同步检查规则是否仍然准确。
Allow：为受限目录设置例外
Allow 可以在较大的禁止范围内开放特定路径。例如：
User-agent: *
Disallow: /files/
Allow: /files/public/这类规则适合目录结构清晰的场景。规则发生交叉时，爬虫通常依据更具体的路径匹配结果处理，但仍应使用目标搜索引擎提供的测试工具进行验证。
Sitemap：提供站点地图位置
robots.txt 中可以声明 XML 站点地图：
Sitemap: https://www.example.com/sitemap.xmlSitemap 用于帮助搜索引擎发现 URL，不属于抓取限制规则，也不能保证其中的页面一定被抓取或收录。
robots.txt 的典型使用场景
限制站内搜索与筛选页面
电商和内容网站常产生大量搜索、筛选、排序和分页组合。如果这些页面缺乏独立价值，可以根据 URL 结构限制抓取，同时保留用户正常使用相关功能。
限制重复或技术性路径
打印版页面、临时导出文件、重复参数路径和特定脚本入口可能没有搜索价值。限制这些路径可以减少重复抓取，但涉及重复内容时，还应评估规范链接、重定向和 URL 参数设计。
允许页面资源正常加载
搜索引擎可能需要读取 CSS、JavaScript 和图片才能正确理解网页。如果误封关键静态资源，可能影响页面渲染和内容判断。除非有明确原因，一般不应大范围禁止爬虫访问前端渲染所需文件。
配置 robots.txt 的实用方法
第一步：整理需要控制的 URL 类型
先从服务器日志、搜索引擎站长工具和网站路由中识别重复、低价值或高成本 URL。不要只根据目录名称猜测，因为同一路径下可能同时存在重要页面和无价值页面。
第二步：采用尽可能精确的规则
优先限制明确的路径或参数模式，避免直接封锁范围过大的上级目录。每条规则都应考虑是否会影响正文页面、结构化数据、图片以及页面渲染资源。
第三步：检查文件位置和响应状态
robots.txt 应位于对应主机的根目录，并能被爬虫正常请求。子域名、协议或端口不同，通常需要分别配置。重定向链、服务器错误和防火墙拦截也可能改变爬虫对文件的处理结果。
第四步：测试并持续监测
上线前应使用搜索引擎提供的 robots.txt 测试或 URL 检查功能验证重要地址。上线后继续观察抓取统计、服务器日志和索引情况，尤其是在网站迁移、路由调整或前端资源路径变化之后。
关于 robots.txt 的常见误解
误解一：写入 Disallow 就能保护隐私
robots.txt 是公开文件，任何人都可以读取，其中列出的路径甚至可能暴露敏感目录名称。涉及账号数据、管理后台、内部文件或付费内容时，应使用身份认证和服务器权限控制。
误解二：禁止抓取等于禁止收录
被禁止抓取的 URL 仍可能因外部链接或其他信号被搜索引擎发现。由于爬虫无法读取页面，它也可能看不到页面中的 noindex。因此，不应同时依赖 robots.txt 封锁和页面级 noindex 来完成同一个索引移除目标。
误解三：robots.txt 可以阻止所有爬虫
该协议依靠自愿遵守，不能约束恶意爬虫。需要阻止特定客户端时，应使用访问控制、Web 应用防火墙、速率限制、验证码或封禁策略。
误解四：配置 Crawl-delay 对所有搜索引擎都有效
Crawl-delay 并非所有主流搜索引擎都支持，其解释方式也可能不同。调整抓取频率时，应优先查看目标搜索引擎的官方设置，并从服务器性能角度解决容量问题。
误解五：robots.txt 能解决所有重复内容问题
禁止抓取会让搜索引擎无法看到页面正文及其中的规范链接。重复内容治理通常还需要合理的 URL 结构、rel="canonical"、重定向、内部链接统一和站点地图清理。
常见问题
robots.txt 会阻止网页被搜索引擎收录吗？
不一定。它主要限制爬虫抓取内容，搜索引擎仍可能通过外部链接发现 URL，并在无法读取页面内容的情况下展示有限信息。若要控制索引，应根据场景使用 noindex、适当的 HTTP 状态码或访问权限。
robots.txt 可以用来保护后台和敏感文件吗？
不可以把它作为安全措施。robots.txt 是公开可读的，而且恶意爬虫可以忽略规则。后台和敏感文件应通过登录认证、权限校验、防火墙或网络访问控制进行保护。
为什么不建议禁止抓取 CSS 和 JavaScript？
搜索引擎可能需要这些资源来渲染页面并理解内容。封锁关键 CSS 或 JavaScript 可能导致页面呈现不完整，进而影响搜索引擎对内容、布局和移动端体验的判断。
robots.txt 应放在哪个位置？
它应放在对应协议和主机名的根目录，例如 https://www.example.com/robots.txt。不同子域名通常需要分别提供自己的 robots.txt 文件。
修改 robots.txt 后应该检查什么？
应检查文件是否可访问、HTTP 响应是否正常、重要 URL 是否被误封、页面渲染资源是否可抓取，并结合搜索引擎测试工具、抓取统计和服务器日志验证实际效果。
总结
robots.txt 通过公开文本规则告诉遵守协议的爬虫哪些 URL 可以或不应抓取，主要用于管理抓取范围、减少重复请求和控制服务器负担。它不能保护敏感信息，也不等同于禁止索引。配置时应精确匹配路径、保留必要的页面资源，并结合 noindex、规范链接、身份认证和服务器访问控制处理不同目标。