Robots.txt Probador / Generador
Admite agente de usuario, permitir, no permitir, mapa del sitio y comentarios.
¿Qué es un probador de robots.txt?
Un probador de robots.txt le ayuda a inspeccionar y comprender cómo los rastreadores pueden interpretar sus reglas de robots.txt.
Esta herramienta es útil para revisar bloques de agente de usuario, directivas de permitir/no permitir y la estructura general de su archivo robots.txt.
Cómo utilizar el probador/generador de Robots.txt
- Pegue el contenido de su robots.txt en el campo de entrada.
- Haga clic en Analizar para analizar las directivas.
- Revise el resultado generado.
- Utilice el botón de ejemplo si desea comenzar con un archivo de muestra.
Consejos
- Utilice reglas de agente de usuario específicas cuando diferentes bots necesiten un acceso de rastreo diferente.
- Mantenga el archivo robots.txt simple y evite reglas contradictorias de permitir/no permitir.
- Recuerde que robots.txt no garantiza la protección de contenido privado.
- Agregue la URL de su mapa del sitio cuando corresponda.
Herramientas relacionadas
Estas herramientas también pueden resultarle útiles.
Sitemap.xml Validador/Visor
Valide e inspeccione la estructura sitemap.xml, las URL y los archivos de índice del mapa del sitio.
SEO y webmaster
›
Metaetiquetas/Vista previa de gráfico abierto
Obtenga una vista previa de fragmentos de Google y Open Graph y genere metaetiquetas.
SEO y webmaster
›
Comprobador de densidad de palabras clave
Analice la frecuencia de palabras y la densidad de frases en su texto para una mejor optimización SEO.
SEO y webmaster
›
Constructor UTM
Genera URLs de seguimiento con parámetros UTM para tus campañas de marketing.
SEO y webmaster
›
Comprobador de redireccionamiento
Rastree la ruta completa de los redireccionamientos HTTP e identifique las cadenas de redireccionamiento 301/302.
SEO y webmaster
›
Preguntas frecuentes sobre el probador de robots.txt
¿Esta herramienta valida la sintaxis de robots.txt?
Ayuda a analizar las directivas y la estructura comunes de robots.txt, pero aún así debes revisar cuidadosamente las reglas de producción finales.
¿Puedo probar las reglas Permitir y No permitir?
Sí. La herramienta analiza directivas estándar de agente de usuario, permitir y no permitir.
¿Está almacenado mi robots.txt?
No. La herramienta está destinada únicamente a procesar el contenido enviado y devolver el resultado.