Testador / Gerador de Robots.txt
Suporta agente de usuário, permitir, proibir, mapa do site e comentários.
O que é um testador robots.txt?
Um testador de robots.txt ajuda você a inspecionar e entender como os rastreadores podem interpretar suas regras de robots.txt.
Esta ferramenta é útil para revisar blocos de agente de usuário, diretivas de permissão/proibição e a estrutura geral do seu arquivo robots.txt.
Como usar o testador/gerador Robots.txt
- Cole o conteúdo do seu robots.txt no campo de entrada.
- Clique em Analisar para analisar as diretivas.
- Revise a saída gerada.
- Use o botão de exemplo se quiser começar com um arquivo de amostra.
Dicas
- Use regras específicas de agente de usuário quando bots diferentes precisarem de acesso de rastreamento diferente.
- Mantenha o robots.txt simples e evite regras contraditórias de permissão/proibição.
- Lembre-se de que o robots.txt não garante proteção de conteúdo privado.
- Adicione o URL do seu sitemap quando apropriado.
Erros comuns de robots.txt
Bloquear recursos necessários para render
Não bloqueie CSS, JavaScript nem imagens que buscadores precisam para entender páginas importantes.
Usar robots.txt para conteúdo privado
robots.txt é público e orientativo. Use autenticação ou autorização para conteúdo que não deve ser acessível.
Confundir noindex com disallow
Uma página disallowed ainda pode ser conhecida por links. Use noindex em páginas rastreáveis quando precisar removê-las dos resultados.
Esquecer a diretiva sitemap
Uma linha Sitemap ajuda crawlers a descobrir URLs canônicas, especialmente em sites grandes ou recém-alterados.
Guias relacionados
Entenda o workflow por trás desta ferramenta e o que revisar depois.
Checks de SEO técnico antes de enviar um site
Um checklist para garantir que buscadores possam descobrir, rastrear, entender e indexar páginas importantes.
Verificação de redirecionamentos para uma migração SEO segura
Um processo prático de migração que protege usuários e sinais de busca durante mudanças de domínio, protocolo, caminhos ou plataforma.
Robots.txt antes de bloquear crawlers
Robots.txt orienta crawlers, mas pode bloquear páginas importantes por engano. Teste URLs concretas.
URLs importantes
Teste home, categorias, tools, sitemap, assets e rotas locais contra as regras.
User-agent
Confirme se a regra vale para todos os crawlers ou para um grupo específico.
Sitemap
Inclua a URL correta do sitemap para discovery de páginas canônicas.
Privacidade
Não use robots.txt para esconder dados privados; URLs bloqueadas ainda podem ser conhecidas.
Ferramentas relacionadas
Você também pode achar essas ferramentas úteis.