Gerador de Robots.txt Gere um arquivo robots.txt formatado corretamente para controlar o acesso dos crawlers de mecanismos de busca.

🔍

Gerador de Robots.txt

Gere um arquivo robots.txt formatado corretamente para controlar o acesso dos crawlers de mecanismos de busca.

Selecione os agentes de usuário

Escolha quais crawlers de mecanismos de busca criar regras para (todos os bots, Googlebot, Bingbot, etc.).

Defina regras de permitir/negar

Especifique quais caminhos de URL os crawlers podem e não podem acessar.

Adicione o mapa do site e copie

Adicione a URL do seu mapa do site e copie o conteúdo gerado do robots.txt.

Loading tool...

What Is Gerador de Robots.txt?

O Gerador de Robots.txt ajuda a criar um arquivo robots.txt formatado corretamente que informa aos crawlers de mecanismos de busca quais partes do seu site eles podem e não podem acessar. O arquivo robots.txt fica na raiz do domínio (example.com/robots.txt) e é o primeiro arquivo que os crawlers verificam antes de indexar o seu site. Um arquivo robots.txt mal configurado pode bloquear acidentalmente páginas importantes dos mecanismos de busca ou desperdiçar orçamento de crawl em recursos não importantes. Essa ferramenta gera diretivas padrão, incluindo User-agent, Disallow, Allow, Sitemap e Crawl-delay, garantindo que o seu arquivo siga a especificação do Protocolo de Exclusão de Robôs.

Why Use Gerador de Robots.txt?

Gere sintaxe de robots.txt válida sem memorizar a especificação do protocolo
Modelos pré-construídos para configurações comuns (WordPress, e-commerce, etc.)
Suporte a vários blocos de agente de usuário com regras diferentes
Declaração de mapa do site para ajudar os crawlers a descobrir seu mapa do site XML
Visualização e validação antes de implantar no seu servidor

Common Use Cases

Lançamento de Novo Site

Crie um robots.txt do zero que controle corretamente o acesso dos crawlers.

Gerenciamento de Orçamento de Crawl

Blokqueie os crawlers para não desperdiçar recursos em páginas de administração, resultados de busca e URLs de parâmetro.

Proteção do Site de Estágio

Impedir que os mecanismos de busca indexem ambientes de estágio ou desenvolvimento.

SEO do WordPress

Crie um robots.txt otimizado para sites do WordPress, bloqueando wp-admin, feeds e páginas de tag.

Technical Guide

O arquivo robots.txt segue o Protocolo de Exclusão de Robôs (REP). Ele deve ser colocado na raiz do domínio em /robots.txt. Cada bloco começa com uma diretiva User-agent que especifica qual crawler as regras se aplicam (* significa todos). Disallow bloqueia um caminho, Allow permite explicitamente o acesso (útil como exceção dentro de um Disallow mais amplo). As regras são baseadas em prefixos de caminho - Disallow: /admin bloqueia /admin, /admin/usuarios, /admin/configurações, etc. A diretiva Sitemap pode aparecer em qualquer lugar do arquivo e informa a todos os crawlers onde encontrar o mapa do site XML. Observações importantes: robots.txt é um pedido, não uma aplicação - bots mal-intencionados podem ignorá-lo. Além disso, se uma URL for bloqueada no robots.txt mas estiver vinculada a partir de sites externos, o Google ainda pode indexar a URL (sem seu conteúdo). Para evitar totally o índice, use a tag meta noindex ou o cabeçalho HTTP X-Robots-Tag em vez disso.

Tips & Best Practices

1
Nunca bloco arquivos CSS, JavaScript ou imagens - os mecanismos de busca precisam deles para renderizar suas páginas corretamente
2
Use robots.txt para eficiência de crawl, não para segurança - ele é publicamente legível
3
Sempre inclua a URL do seu Mapa do Site no robots.txt para descoberta dos crawlers
4
Teste o seu robots.txt usando o Testador de robots.txt do Google Search Console
5
Lembre-se: Disallow não impede o índice se links externos apontam para a URL bloqueada

Related Tools

Gerador de Tags Meta

Gere tags meta HTML completas, incluindo tags Open Graph e Twitter Card.

🔍 SEO Tools

Gerador de Mapa do Site XML

Gere um mapa do site XML válido com URLs, datas de última modificação e frequência de alteração.

🔍 SEO Tools

Verificador de URL Canônica

Verifique e gere tags de URL canônicas para prevenir problemas de conteúdo duplicado.

🔍 SEO Tools

Validador de Mapa do Site XML

Valide a sintaxe, estrutura e conformidade do mapa do site XML com o Protocolo de Mapas do Site.

🔍 SEO Tools

Frequently Asked Questions

Q Onde coloco o arquivo robots.txt?

Ele deve estar na raiz do seu domínio: https://example.com/robots.txt. Subdomínios precisam ter o seu próprio robots.txt.

Q O robots.txt impede o índice?

Não completamente. Ele impede o crawl, mas se sites externos linkarem para uma URL bloqueada, o Google pode ainda indexar a URL (mostrando um trecho "Nenhuma informação está disponível para esta página"). Use a tag meta noindex para prevenção total.

Q Posso ter regras diferentes para crawlers diferentes?

Sim. Crie blocos de Agente de Usuário separados para cada crawler (Googlebot, Bingbot, etc.) com regras específicas para cada um.

Q O que o Crawl-delay faz?

Crawl-delay instrui os crawlers a esperar N segundos entre solicitações. O Google ignora essa diretiva - use o Search Console para definir a taxa de crawl do Googlebot em vez disso. O Bing e outros respeitam isso.

Q Devo bloquear /wp-admin no WordPress?

Sim, bloco /wp-admin/, mas permita /wp-admin/admin-ajax.php (necessário para muitos recursos do WordPress). Também considere bloquear /wp-includes/ e URLs de feed.

About This Tool

Gerador de Robots.txt is a free online tool by FreeToolkit.ai. All processing happens directly in your browser — your data never leaves your device. No registration or installation required.