Generador de Robots.txt

Generador de Robots.txt

Crea un robots.txt correcto para controlar los rastreadores.

Leave blank if you don't have.

Google
Google Image
Google Mobile
MSN Search
Yahoo
Yahoo MM
Yahoo Blogs
Ask/Teoma
GigaBlast
DMOZ Checker
Nutch
Alexa/Wayback
Baidu
Naver
MSN PicSearch

The path is relative to the root and must contain a trailing slash "/".

El Generador de Robots.txt crea gratis un archivo robots.txt correcto, permitiéndote controlar qué rastreadores pueden acceder a qué partes de tu sitio y dónde se encuentra tu sitemap.

Por qué importa robots.txt

robots.txt indica a los rastreadores de los buscadores qué pueden y qué no pueden obtener. Un archivo correcto mantiene las áreas privadas o duplicadas fuera del rastreo y dirige a los bots a tu sitemap; uno erróneo puede bloquear accidentalmente todo tu sitio.

Cómo usar el Generador de Robots.txt

  1. Elige qué rutas permitir o bloquear.
  2. Añade la URL de tu sitemap.
  3. Copia el archivo en la raíz de tu sitio como robots.txt.

Características principales

  • robots.txt gratis y correcto
  • Reglas de permitir/bloquear por bot
  • Incluye la directiva de sitemap
  • Sin registro

Herramientas relacionadas

Generador de Redirecciones Htaccess · Generador de Metaetiquetas · Verificador de Indexación de Google

Preguntas frecuentes

¿El Generador de Robots.txt es gratis?

Sí, es completamente gratis.

¿Dónde va robots.txt?

En la raíz de tu dominio, en /robots.txt.

¿Puede bloquear todo mi sitio?

Un Disallow erróneo puede hacerlo; revísalo siempre antes de publicar.

¿Debo incluir mi sitemap?

Sí, añadir la URL del sitemap ayuda a los rastreadores a encontrar tus páginas.