Robots.txt Probador / Generador
Admite agente de usuario, permitir, no permitir, mapa del sitio y comentarios.
¿Qué es un probador de robots.txt?
Un probador de robots.txt le ayuda a inspeccionar y comprender cómo los rastreadores pueden interpretar sus reglas de robots.txt.
Esta herramienta es útil para revisar bloques de agente de usuario, directivas de permitir/no permitir y la estructura general de su archivo robots.txt.
Cómo utilizar el probador/generador de Robots.txt
- Pegue el contenido de su robots.txt en el campo de entrada.
- Haga clic en Analizar para analizar las directivas.
- Revise el resultado generado.
- Utilice el botón de ejemplo si desea comenzar con un archivo de muestra.
Consejos
- Utilice reglas de agente de usuario específicas cuando diferentes bots necesiten un acceso de rastreo diferente.
- Mantenga el archivo robots.txt simple y evite reglas contradictorias de permitir/no permitir.
- Recuerde que robots.txt no garantiza la protección de contenido privado.
- Agregue la URL de su mapa del sitio cuando corresponda.
Errores comunes de robots.txt
Bloquear recursos necesarios para render
No bloquee CSS, JavaScript ni imágenes que los buscadores necesitan para entender páginas importantes.
Usar robots.txt para contenido privado
robots.txt es público y orientativo. Use autenticación o autorización para contenido que no debe ser accesible.
Confundir noindex con disallow
Una página disallowed aún puede conocerse por enlaces. Use noindex en páginas rastreables cuando necesite quitarlas de resultados.
Olvidar la directiva sitemap
Una línea Sitemap ayuda a crawlers a descubrir URLs canónicas, especialmente en sitios grandes o recién cambiados.
Guías relacionadas
Aprenda el workflow detrás de esta herramienta y qué revisar después.
Checks de SEO técnico antes de enviar un sitio
Un checklist para asegurar que los buscadores puedan descubrir, rastrear, entender e indexar las páginas importantes.
Comprobación de redirecciones para una migración SEO segura
Un proceso práctico de migración que protege a los usuarios y las señales de búsqueda mientras cambian el dominio, el protocolo, las rutas o la plataforma.
Robots.txt antes de bloquear crawlers
Robots.txt guía crawlers, pero puede bloquear páginas importantes por error. Pruebe URLs concretas.
URLs importantes
Pruebe home, categorías, tools, sitemap, assets y rutas locales contra las reglas.
User-agent
Confirme si la regla aplica a todos los crawlers o a un grupo concreto.
Sitemap
Incluya la URL correcta del sitemap para discovery de páginas canónicas.
Privacidad
No use robots.txt para ocultar datos privados; URLs bloqueadas pueden seguir siendo conocidas.
Herramientas relacionadas
Estas herramientas también pueden resultarle útiles.