Page bloquée par robots.txt dans Merchant Center

Ce que signifie ce problème

Avant d'afficher un produit, Google explore sa page de destination pour vérifier le prix, la disponibilité et le respect des règles. Robots.txt est un fichier texte situé à l'adresse yourdomain.com/robots.txt qui indique aux robots les chemins qu'ils peuvent récupérer. Si une règle interdit l'URL du produit, Google ne peut pas effectuer ses vérifications, et le produit reste refusé pour les annonces Shopping et les fiches gratuites tant que l'exploration n'est pas autorisée.

Google signale aussi ce problème lorsque la page de destination renvoie une erreur HTTP au robot : vérifiez donc les deux.

Pourquoi cela se produit

• Un blocage global hérité de l'environnement de préproduction. User-agent: * suivi de Disallow: /, copié depuis un site de développement, est la cause classique après les lancements et migrations.
• Blocage des paramètres. Les conseils SEO qui recommandent de bloquer les chaînes de requête (Disallow: /*?) bloquent aussi les URL de flux comme /products/shirt?variant=123 que Shopify et d'autres plateformes utilisent pour les variantes.
• Chemins de collections ou de catégories bloqués. Certains flux pointent vers des produits situés sous un chemin de collection (/collections/sale/products/...) qui est interdit.
• Règles visant des robots précis. Une règle ciblant Googlebot ou Googlebot-Image qui devait bloquer autre chose.
• Règles de sous-domaine mobile. Un sous-domaine m. distinct possède son propre robots.txt qui bloque les robots.
• Plugins de sécurité ou CDN qui réécrivent robots.txt ou servent un fichier différent aux robots.

Comment le corriger

1. Lisez votre robots.txt en ligne. Ouvrez https://yourdomain.com/robots.txt (et celui de tout sous-domaine utilisé dans votre flux). Recherchez les lignes Disallow sous User-agent: *, User-agent: Googlebot et User-agent: Googlebot-Image.
2. Trouvez la règle qui correspond à l'URL de votre flux. Prenez l'URL d'un produit concerné dans Produits > À corriger (Needs attention) et comparez son chemin et ses paramètres à chaque règle d'interdiction. N'oubliez pas que * est un caractère générique.
3. Autorisez Google à explorer les produits. Google recommande de laisser Googlebot et Googlebot-Image explorer l'ensemble de votre site. La version la plus simple comporte deux groupes : User-agent: Googlebot suivi d'une ligne Disallow: vide, puis User-agent: Googlebot-Image suivi d'une ligne Disallow: vide. Un Disallow vide signifie que rien n'est bloqué pour ce robot. Si vous devez garder des zones privées bloquées (panier, compte, paiement), conservez ces chemins précis et supprimez les règles qui correspondent aux pages produit et à leurs paramètres. Vous pouvez aussi ajouter des règles Allow pour des modèles comme /products/.
4. Modifiez-le sur votre plateforme.
   • Shopify : le robots.txt par défaut de Shopify ne bloque pas les pages produit. Si vous l'avez personnalisé, modifiez le modèle robots.txt.liquid dans le code de votre thème. Recherchez les règles ajoutées qui bloquent ?variant= ou des chemins de collections. Supprimer le modèle personnalisé rétablit celui par défaut de Shopify.
   • WooCommerce/WordPress : vérifiez si un fichier robots.txt physique existe à la racine de votre site (il remplace le fichier virtuel de WordPress). Vérifiez ensuite les plugins SEO (Yoast, Rank Math, All in One SEO), qui disposent d'éditeurs de robots.txt. Confirmez aussi que Réglages > Lecture > Demander aux moteurs de recherche de ne pas indexer ce site est décoché.
   • Sites sur mesure et CDN : assurez-vous que le CDN sert le même robots.txt à tout le monde et ne met pas en cache une ancienne version.
5. Testez. Utilisez l'outil d'inspection d'URL de Search Console sur une URL concernée (ordinateur et smartphone) et confirmez que l'exploration est autorisée et que la page renvoie un statut 200.
6. Demandez une vérification du site dans Merchant Center, ou réimportez vos données produit via une nouvelle récupération pour déclencher le retraitement. Google indique aussi que vous pouvez augmenter la vitesse d'exploration de Google si nécessaire.

Délai de résolution

Google indique que les modifications peuvent mettre 24 à 72 heures à apparaître sur la page À corriger, et que les erreurs devraient disparaître en quelques jours après le retraitement des produits. Google met robots.txt en cache : le nouveau fichier peut donc ne pas être pris en compte immédiatement. Si vous avez demandé une vérification du site, comptez jusqu'à 12 heures pour cet examen.

Comment l'éviter

• Ne déployez jamais le robots.txt de préproduction en production ; ajoutez ce contrôle à votre checklist de lancement.
• Évitez les règles globales Disallow: /*? sur les sites e-commerce qui utilisent des paramètres pour les variantes.
• Revoyez robots.txt après l'installation de plugins SEO, un changement de thème ou une migration de plateforme.
• Surveillez dans Search Console les avertissements « Bloquée par le fichier robots.txt » sur les URL produit.
• Utilisez notre vérificateur de flux Merchant Center pour repérer tôt les problèmes d'URL.

Une erreur dans robots.txt peut faire disparaître tout un catalogue du jour au lendemain. Mercantads peut auditer ensemble votre configuration d'exploration et votre flux Merchant Center, et rétablir rapidement vos produits. Parlez à notre équipe ou découvrez nos services Merchant Center.

Questions fréquentes

Cela nuira-t-il aussi à mon référencement naturel ?

Si les mêmes règles empêchent Googlebot d'accéder aux pages produit, oui : ces pages ne peuvent pas non plus être explorées pour la recherche. Corriger robots.txt aide sur les deux plans.

Dois-je débloquer Googlebot-Image ?

Oui. Google recommande d'autoriser à la fois Googlebot et Googlebot-Image, car des images bloquées provoquent des problèmes distincts d'images produit.

Une balise noindex équivaut-elle à un blocage par robots.txt ?

Non. Robots.txt empêche l'exploration ; noindex contrôle l'indexation dans la recherche. Une balise noindex ne provoque pas ce problème Merchant Center, contrairement à une interdiction dans robots.txt.