Página bloqueada por robots.txt en Merchant Center

Qué significa este problema

Antes de mostrar un producto, Google rastrea su página de destino para comprobar el precio, la disponibilidad y el cumplimiento de las políticas. Robots.txt es un archivo de texto plano ubicado en yourdomain.com/robots.txt que indica a los rastreadores qué rutas pueden visitar. Si una regla bloquea la URL del producto, Google no puede hacer sus comprobaciones y el producto sigue rechazado para los anuncios de Shopping y las fichas gratuitas hasta que se permita el rastreo.

Google también muestra este problema cuando la página de destino devuelve un error HTTP al rastreador, así que revisa ambas cosas.

Por qué ocurre

• Un bloqueo general que quedó del entorno de pruebas. User-agent: * con Disallow: / copiado de un sitio de desarrollo es la causa clásica después de lanzamientos y migraciones.
• Bloqueo de parámetros. El consejo de SEO de bloquear las cadenas de consulta (Disallow: /*?) también bloquea URL del feed como /products/shirt?variant=123, que Shopify y otras plataformas usan para las variantes.
• Rutas de colecciones o categorías bloqueadas. Algunos feeds enlazan a productos dentro de una ruta de colección (/collections/sale/products/...) que está bloqueada.
• Reglas para bots específicos. Una regla dirigida a Googlebot o Googlebot-Image que pretendía bloquear otra cosa.
• Reglas del subdominio móvil. Un subdominio m. aparte tiene su propio robots.txt que bloquea a los rastreadores.
• Plugins de seguridad o CDN que reescriben robots.txt o sirven un archivo distinto a los bots.

Cómo solucionarlo

1. Lee tu robots.txt publicado. Abre https://yourdomain.com/robots.txt (y el de cualquier subdominio que use tu feed). Busca líneas Disallow bajo User-agent: *, User-agent: Googlebot y User-agent: Googlebot-Image.
2. Encuentra la regla que coincide con la URL de tu feed. Toma la URL de un producto afectado en Productos > Necesitan atención (Needs attention) y compara su ruta y sus parámetros con cada regla de bloqueo. Recuerda que * es un comodín.
3. Permite que Google rastree los productos. La recomendación de Google es dejar que Googlebot y Googlebot-Image rastreen todo tu sitio. La versión más sencilla son dos grupos: User-agent: Googlebot seguido de una línea Disallow: vacía, y luego User-agent: Googlebot-Image seguido de una línea Disallow: vacía. Un Disallow vacío significa que no se bloquea nada para ese rastreador. Si necesitas mantener bloqueadas zonas privadas (carrito, cuenta, checkout), conserva solo esas rutas y elimina las reglas que coincidan con las páginas de producto y sus parámetros. También puedes agregar reglas Allow para patrones como /products/.
4. Edítalo en tu plataforma.
   • Shopify: El robots.txt predeterminado de Shopify no bloquea las páginas de producto. Si lo personalizaste, edita la plantilla robots.txt.liquid en el código de tu tema. Busca reglas agregadas que bloqueen ?variant= o rutas de colecciones. Si eliminas la plantilla personalizada, se restaura la predeterminada de Shopify.
   • WooCommerce/WordPress: Revisa si existe un archivo robots.txt físico en la raíz de tu sitio (reemplaza al virtual de WordPress). Luego revisa los plugins de SEO (Yoast, Rank Math, All in One SEO), que tienen editores de robots.txt. Confirma también que la opción Ajustes > Lectura > Disuade a los motores de búsqueda esté desmarcada.
   • Sitios personalizados y CDN: Asegúrate de que la CDN sirva el mismo robots.txt a todos y no tenga en caché una versión antigua.
5. Prueba. Usa la herramienta de inspección de URLs de Search Console con una URL afectada (para computadoras y smartphones) y confirma que el rastreo está permitido y que la página devuelve un estado 200.
6. Solicita una comprobación del sitio web en Merchant Center, o vuelve a subir los datos de tus productos con una nueva obtención para forzar el reprocesamiento. Google también sugiere que puedes aumentar su frecuencia de rastreo si es necesario.

Cuánto tarda en solucionarse

Google indica que los cambios pueden tardar de 24 a 72 horas en verse en la página Necesitan atención, y que los errores deberían borrarse en un par de días después de reprocesar los productos. Google guarda en caché el robots.txt, así que es posible que el archivo nuevo no se detecte al instante. Si solicitaste una comprobación del sitio web, espera hasta 12 horas para esa revisión.

Cómo evitarlo

• Nunca publiques en producción el robots.txt del entorno de pruebas; agrega esta comprobación a tu checklist de lanzamiento.
• Evita las reglas generales Disallow: /*? en tiendas online que usan parámetros para las variantes.
• Revisa robots.txt después de instalar plugins de SEO, cambiar de tema o migrar de plataforma.
• Vigila en Search Console los avisos "Bloqueada por robots.txt" en las URL de producto.
• Usa nuestro verificador de feeds de Merchant Center para detectar problemas de URL a tiempo.

Un error en robots.txt puede borrar todo un catálogo de la noche a la mañana. En Mercantads podemos auditar a la vez tu configuración de rastreo y tu feed de Merchant Center y recuperar tus productos rápido. Habla con nuestro equipo o conoce nuestros servicios de Merchant Center.