Skip to main content
FreeToolkit .ai

Robots.txt生成器 生成一个格式正确的robots.txt文件，以控制搜索引擎爬虫访问。

Robots.txt生成器 illustration
🔍

Robots.txt生成器

生成一个格式正确的robots.txt文件，以控制搜索引擎爬虫访问。

1

选择用户代理

为哪些搜索引擎爬虫创建规则（所有机器人，Googlebot，Bingbot等）

2

设置允许/禁止规则

指定爬虫可以和不能访问的URL路径

3

添加站点地图并复制

添加您的站点地图URL，并复制生成的robots.txt内容

Loading tool...

What Is Robots.txt生成器?

Robots.txt生成器帮助您创建一个格式正确的robots.txt文件，告诉搜索引擎爬虫哪些部分 của您的网站可以访问，哪些不能。该文件位于您的域根目录（example.com/robots.txt），是爬虫在索引您的站点之前检查的第一个文件。不正确配置的robots.txt可能会意外地阻止重要页面被搜索引擎收录，或浪费爬取预算在不重要的资源上。该工具生成标准合规的指令，包括User-agent、Disallow、Allow、Sitemap和Crawl-delay，确保您的文件遵循Robots Exclusion Protocol规范。

Why Use Robots.txt生成器?

  • 无需记忆协议规范即可生成有效的robots.txt语法
  • 为常见配置预置模板（WordPress，电子商务等）
  • 支持多个用户代理块具有不同的规则
  • 站点地图声明帮助爬虫发现您的XML站点地图
  • 在部署到服务器之前预览和验证

Common Use Cases

新网站上线

从头开始创建一个robots.txt文件，以正确控制爬虫访问

爬虫预算管理

阻止爬虫浪费资源在管理员页面，搜索结果和参数URL上

暂存网站保护

防止搜索引擎索引暂存或开发环境

WordPress SEO

为WordPress站点创建优化的robots.txt，阻止wp-admin，feeds和标签页面

Technical Guide

robots.txt文件遵循Robots Exclusion Protocol（REP）协议。它必须放在域根目录的/robots.txt位置。每个块以User-agent指令开始，指定哪些爬虫适用这些规则（*表示所有）。Disallow阻止一个路径，Allow显式地允许访问（在更广泛的Disallow中作为异常很有用）。规则是基于路径前缀的--Disallow: /admin会阻止/admin、/admin/users、/admin/settings等。Sitemap指令可以出现在文件中的任何位置，并告诉所有爬虫您的XML站点地图的位置。重要注意事项：robots.txt是一个请求，而不是强制执行 -- 恶意bot可能会忽略它。此外，如果一个URL在robots.txt中被阻止，但从外部网站链接，Google仍然可能索引该URL（但不包括其内容）。要完全防止索引，请使用noindex meta标签或X-Robots-Tag HTTP头代替。

Tips & Best Practices

  • 1
    永远不要屏蔽CSS，JavaScript或图像文件--搜索引擎需要它们来正确渲染您的网页
  • 2
    使用robots.txt进行爬虫效率优化，而不是安全性--它是公开可读的
  • 3
    始终在robots.txt中包含您的站点地图URL，以便于爬虫发现
  • 4
    使用Google Search Console的robots.txt测试工具测试您的robots.txt
  • 5
    记住：Disallow不防止索引，如果外部链接指向被阻止的URL

Related Tools

元标签生成器 - free online tool

元标签生成器

生成完整的HTML元标签，包括Open Graph和Twitter Card标签。

🔍 SEO Tools
XML 站点地图生成器 - free online tool

XML 站点地图生成器

生成一个有效的 XML 站点地图，包含 URL、最后修改日期和更改频率。

🔍 SEO Tools
标准网址检查器 - free online tool

标准网址检查器

检查和生成标准网址标签，以防止重复内容问题。

🔍 SEO Tools
XML 站点地图验证器 - free online tool

XML 站点地图验证器

验证 XML 站点地图的语法、结构和遵循 Sitemaps 协议的情况。

🔍 SEO Tools

Frequently Asked Questions

Q 我应该把robots.txt文件放在哪里？
它必须位于您的域根目录中：https://example.com/robots.txt。子域需要它们自己的robots.txt文件
Q robots.txt是否阻止索引？
并不完全如此。它可以防止爬取，但如果外部网站链接到被屏蔽的URL，Google仍可能会索引该URL（显示"此页面没有可用信息"片段）。使用noindex元标签以完全阻止索引
Q 我可以为不同的爬虫设置不同的规则吗？
是的。创建单独的用户代理块用于每个爬虫（Googlebot，Bingbot等），并为每个指定特定的规则
Q Crawl-delay有什么作用？
Crawl-delay告诉爬虫在请求之间等待N秒。Google忽略此指令--使用Search Console设置Googlebot的爬取速率。Bing和其他人尊重它
Q 我应该屏蔽WordPress中的/wp-admin吗？
是的，阻止$wp-admin/但允许$wp-admin/admin-ajax.php（许多WordPress功能所需）。还应考虑阻止$wp-includes/和feed URL

About This Tool

Robots.txt生成器 is a free online tool by FreeToolkit.ai. All processing happens directly in your browser — your data never leaves your device. No registration or installation required.