Generador de Robots.txt
Crea un robots.txt correcto para controlar los rastreadores.
El Generador de Robots.txt crea gratis un archivo robots.txt correcto, permitiéndote controlar qué rastreadores pueden acceder a qué partes de tu sitio y dónde se encuentra tu sitemap.
Por qué importa robots.txt
robots.txt indica a los rastreadores de los buscadores qué pueden y qué no pueden obtener. Un archivo correcto mantiene las áreas privadas o duplicadas fuera del rastreo y dirige a los bots a tu sitemap; uno erróneo puede bloquear accidentalmente todo tu sitio.
Cómo usar el Generador de Robots.txt
- Elige qué rutas permitir o bloquear.
- Añade la URL de tu sitemap.
- Copia el archivo en la raíz de tu sitio como robots.txt.
Características principales
- robots.txt gratis y correcto
- Reglas de permitir/bloquear por bot
- Incluye la directiva de sitemap
- Sin registro
Herramientas relacionadas
Generador de Redirecciones Htaccess · Generador de Metaetiquetas · Verificador de Indexación de Google
Preguntas frecuentes
¿El Generador de Robots.txt es gratis?
Sí, es completamente gratis.
¿Dónde va robots.txt?
En la raíz de tu dominio, en /robots.txt.
¿Puede bloquear todo mi sitio?
Un Disallow erróneo puede hacerlo; revísalo siempre antes de publicar.
¿Debo incluir mi sitemap?
Sí, añadir la URL del sitemap ayuda a los rastreadores a encontrar tus páginas.