Robots.txt en WordPress: qué es, cómo revisarlo y qué errores evitar

El archivo robots.txt en WordPress sirve para dar instrucciones básicas a los bots de los buscadores sobre qué zonas de la web pueden rastrear y qué zonas conviene evitar. No posiciona una página por sí solo, pero puede afectar a la forma en la que Google localiza, rastrea e interpreta una web.

En muchas webs WordPress el robots.txt se deja tal y como viene por defecto, se modifica sin revisar sus consecuencias o se copia de otra web sin criterio. El problema es que una línea mal planteada puede bloquear recursos importantes, impedir el rastreo de secciones útiles o generar señales confusas para Google.

Qué es el archivo robots.txt en WordPress

El robots.txt es un archivo de texto que suele estar disponible en la raíz del dominio, por ejemplo: tudominio.com/robots.txt. En una web en WordPress puede existir como archivo físico en el servidor o generarse de forma virtual por el propio CMS o por plugins SEO.

Su contenido suele incluir reglas como User-agent, Disallow, Allow y, en muchos casos, la ubicación del sitemap XML. Estas reglas indican a los rastreadores qué partes de la web pueden visitar y cuáles no deberían rastrear.

En una web sencilla puede bastar con una configuración básica. En proyectos más grandes, con muchas URLs, filtros, parámetros, zonas privadas o contenidos duplicados, conviene revisarlo dentro de una auditoría SEO técnica.

Para qué sirve el robots.txt en una web WordPress

El robots.txt no es una herramienta mágica de SEO, pero sí puede ser útil si se usa bien. Su objetivo es mejorar la eficiencia del rastreo y evitar que los bots dediquen tiempo a zonas que no aportan valor orgánico.

• Indicar a los bots qué zonas no necesitan rastrear.
• Evitar el rastreo de áreas internas o archivos poco útiles.
• Facilitar la localización del sitemap XML.
• Reducir el rastreo de parámetros o URLs sin valor SEO.
• Proteger zonas técnicas que no deben formar parte de la navegación orgánica.

Esto no significa que haya que bloquear por bloquear. En WordPress, muchos problemas aparecen precisamente por aplicar reglas demasiado agresivas sin comprobar qué recursos necesita Google para renderizar correctamente la página.

Ejemplo básico de robots.txt para WordPress

Un robots.txt sencillo para WordPress puede tener una estructura parecida a esta:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tudominio.com/sitemap_index.xml

Esta configuración bloquea el rastreo de la zona de administración, permite el acceso a admin-ajax.php cuando es necesario para ciertos recursos y declara la ubicación del sitemap. Aun así, no debe copiarse sin revisar cómo está configurada cada web.

Qué no deberías bloquear en el robots.txt

Uno de los errores más habituales en WordPress es bloquear recursos importantes. Esto puede afectar a la forma en la que Google renderiza la web y puede complicar el diagnóstico de problemas de rastreo o indexación.

Robots.txt no es lo mismo que noindex

Este punto es clave. Bloquear una URL en robots.txt no equivale a ponerla en noindex. Si una URL está bloqueada, Google puede no rastrearla y, por tanto, puede no ver la etiqueta noindex aunque exista dentro de la página.

Si quieres que una página no aparezca en Google, normalmente tiene más sentido usar una etiqueta noindex, siempre que Google pueda rastrear la URL para leer esa instrucción. El robots.txt debe reservarse para gestionar rastreo, no para resolver todos los problemas de indexación.

Cuando hay dudas entre bloquear, noindexar, redirigir o eliminar una URL, conviene revisar el caso dentro de una estrategia SEO más amplia. Cada decisión tiene consecuencias distintas.

Errores frecuentes con robots.txt en WordPress

El robots.txt suele parecer un archivo menor, pero algunos errores pueden tener impacto real en visibilidad, rastreo y diagnóstico SEO.

• Bloquear toda la web por error con una regla demasiado amplia.
• Copiar el robots.txt de otra web sin entender su estructura.
• Bloquear recursos CSS o JavaScript necesarios para renderizar la página.
• Usarlo para ocultar páginas que deberían gestionarse con noindex, redirección o eliminación.
• No incluir el sitemap o declarar una URL incorrecta.
• No revisarlo después de una migración, rediseño o cambio de plugin SEO.

Cómo revisar el robots.txt de tu WordPress

La revisión debe empezar por algo sencillo: abrir el archivo en el navegador y comprobar qué reglas contiene. Después conviene cruzarlo con el estado real de la web, las páginas importantes y los avisos de Google Search Console.

• Accede a tudominio.com/robots.txt.
• Comprueba si hay reglas Disallow demasiado amplias.
• Revisa que el sitemap esté declarado y sea correcto.
• Comprueba en Search Console si hay URLs bloqueadas por robots.txt.
• Analiza si se están bloqueando recursos importantes.
• Revisa el archivo después de cambios técnicos o migraciones.

Si tu web ha pasado por rediseños, cambios de plantilla, plugins SEO distintos o migraciones, merece la pena revisarlo junto con otros elementos técnicos. Muchas pérdidas de visibilidad no vienen de un único problema, sino de varias decisiones pequeñas acumuladas.

Cuándo conviene modificar el robots.txt

No todas las webs WordPress necesitan tocar el robots.txt. En muchos casos, una configuración básica es suficiente. Tiene más sentido revisarlo cuando la web tiene cierta complejidad o cuando aparecen señales de rastreo incorrecto.

• Hay muchas URLs con parámetros, filtros o búsquedas internas.
• Search Console muestra páginas bloqueadas de forma inesperada.
• Se ha hecho una migración o un rediseño web.
• Se han cambiado plugins SEO, caché o seguridad.
• Hay problemas de indexación o rastreo difíciles de explicar.
• La web ha crecido y necesita una estructura más ordenada.

En proyectos donde la web es una herramienta comercial importante, el robots.txt debería revisarse junto con la arquitectura, el enlazado interno, los sitemaps, los estados HTTP y las etiquetas de indexación. Es una pieza más, no el diagnóstico completo.

Preguntas frecuentes sobre robots.txt en WordPress