Robots.txt Probador / Generador
Admite agente de usuario, permitir, no permitir, mapa del sitio y comentarios.
¿Qué es un probador de robots.txt?
Un probador de robots.txt le ayuda a inspeccionar y comprender cómo los rastreadores pueden interpretar sus reglas de robots.txt.
Esta herramienta es útil para revisar bloques de agente de usuario, directivas de permitir/no permitir y la estructura general de su archivo robots.txt.
Cómo utilizar el probador/generador de Robots.txt
- Pegue el contenido de su robots.txt en el campo de entrada.
- Haga clic en Analizar para analizar las directivas.
- Revise el resultado generado.
- Utilice el botón de ejemplo si desea comenzar con un archivo de muestra.
Consejos
- Utilice reglas de agente de usuario específicas cuando diferentes bots necesiten un acceso de rastreo diferente.
- Mantenga el archivo robots.txt simple y evite reglas contradictorias de permitir/no permitir.
- Recuerde que robots.txt no garantiza la protección de contenido privado.
- Agregue la URL de su mapa del sitio cuando corresponda.
Errores comunes de robots.txt
Bloquear recursos necesarios para render
No bloquee CSS, JavaScript ni imágenes que los buscadores necesitan para entender páginas importantes.
Usar robots.txt para contenido privado
robots.txt es público y orientativo. Use autenticación o autorización para contenido que no debe ser accesible.
Confundir noindex con disallow
Una página disallowed aún puede conocerse por enlaces. Use noindex en páginas rastreables cuando necesite quitarlas de resultados.
Olvidar la directiva sitemap
Una línea Sitemap ayuda a crawlers a descubrir URLs canónicas, especialmente en sitios grandes o recién cambiados.
Guías relacionadas
Aprenda el workflow detrás de esta herramienta y qué revisar después.
Checks de SEO técnico antes de enviar un sitio
Un checklist para asegurar que los buscadores puedan descubrir, rastrear, entender e indexar las páginas importantes.
Cómo revisar redirects antes de una migración SEO
Checklist de migración para confirmar que URLs antiguas redirigen bien, las páginas finales son indexables y sitemap/robots.txt no se contradicen.
Cómo preparar enlaces UTM para campañas
Workflow de campaña para crear UTM links legibles, revisar query parameters, probar redirects y preparar URLs compartibles.
Robots.txt antes de bloquear crawlers
Robots.txt guía crawlers, pero puede bloquear páginas importantes por error. Pruebe URLs concretas.
URLs importantes
Pruebe home, categorías, tools, sitemap, assets y rutas locales contra las reglas.
User-agent
Confirme si la regla aplica a todos los crawlers o a un grupo concreto.
Sitemap
Incluya la URL correcta del sitemap para discovery de páginas canónicas.
Privacidad
No use robots.txt para ocultar datos privados; URLs bloqueadas pueden seguir siendo conocidas.
Privacidad y uso
Comprobaciones rápidas sin cuenta
Toolinix está pensado para tareas cortas de desarrollo: pegue una muestra segura, revise el resultado, copie lo necesario y continúe.
Sin inicio de sesión
Puede usar las herramientas sin crear una cuenta, suscribirse a un boletín ni guardar un espacio de trabajo.
Local cuando es posible
Los formateadores, generadores, codificadores y utilidades de texto suelen ejecutarse en el navegador. Los diagnósticos de red pueden necesitar una consulta asistida por servidor para comprobar URLs, dominios o IPs públicos.
No pegue secretos
No pegue contraseñas de producción, claves privadas, tokens de acceso, datos de clientes ni datos regulados en herramientas online salvo que su propia política de seguridad lo permita.
Herramientas relacionadas
Estas herramientas también pueden resultarle útiles.