Seite wegen robots.txt nicht crawlbar im Merchant Center

Was dieses Problem bedeutet

Bevor Google ein Produkt anzeigt, crawlt es dessen Landingpage, um Preis, Verfügbarkeit und die Einhaltung der Richtlinien zu prüfen. Die robots.txt ist eine einfache Textdatei unter yourdomain.com/robots.txt, die Crawlern mitteilt, welche Pfade sie abrufen dürfen. Verbietet eine Regel die Produkt-URL, kann Google seine Prüfungen nicht durchführen, und das Produkt bleibt für Shopping-Anzeigen und kostenlose Produkteinträge abgelehnt, bis das Crawling erlaubt ist.

Google meldet dieses Problem auch, wenn die Landingpage dem Crawler einen HTTP-Fehler zurückgibt. Prüfen Sie also beides.

Warum es passiert

• Ein pauschales Disallow aus der Staging-Umgebung. User-agent: * mit Disallow: /, kopiert von einer Entwicklungsseite, ist die klassische Ursache nach Launches und Migrationen.
• Blockierte Parameter. SEO-Tipps, Query-Strings zu blockieren (Disallow: /*?), blockieren auch Feed-URLs wie /products/shirt?variant=123, die Shopify und andere Plattformen für Varianten verwenden.
• Blockierte Kollektions- oder Kategoriepfade. Manche Feeds verlinken auf Produkte unter einem Kollektionspfad (/collections/sale/products/...), der gesperrt ist.
• Regeln für bestimmte Bots. Eine Regel für Googlebot oder Googlebot-Image, die eigentlich etwas anderes blockieren sollte.
• Regeln für mobile Subdomains. Eine separate m.-Subdomain hat eine eigene robots.txt, die Crawler blockiert.
• Sicherheits-Plugins oder CDNs, die die robots.txt umschreiben oder Bots eine andere Datei ausliefern.

So beheben Sie das Problem

1. Ihre Live-robots.txt lesen. Öffnen Sie https://yourdomain.com/robots.txt (und jede Subdomain, die in Ihrem Feed vorkommt). Suchen Sie nach Disallow-Zeilen unter User-agent: *, User-agent: Googlebot und User-agent: Googlebot-Image.
2. Die Regel finden, die zu Ihrer Feed-URL passt. Nehmen Sie eine betroffene Produkt-URL aus Produkte > Überprüfung erforderlich (Needs attention) und vergleichen Sie Pfad und Parameter mit jeder Disallow-Regel. Denken Sie daran, dass * ein Platzhalter ist.
3. Google das Crawlen von Produkten erlauben. Google empfiehlt, sowohl Googlebot als auch Googlebot-Image die gesamte Website crawlen zu lassen. Die einfachste Version besteht aus zwei Gruppen: User-agent: Googlebot gefolgt von einer leeren Zeile Disallow:, dann User-agent: Googlebot-Image gefolgt von einer leeren Zeile Disallow:. Ein leeres Disallow bedeutet, dass für diesen Crawler nichts blockiert ist. Wenn private Bereiche (Warenkorb, Kundenkonto, Checkout) gesperrt bleiben sollen, behalten Sie diese konkreten Pfade bei und entfernen Sie Regeln, die auf Produktseiten und deren Parameter zutreffen. Sie können auch Allow-Regeln für Muster wie /products/ hinzufügen.
4. Auf Ihrer Plattform bearbeiten.
   • Shopify: Die Standard-robots.txt von Shopify blockiert keine Produktseiten. Wenn Sie sie angepasst haben, bearbeiten Sie die Vorlage robots.txt.liquid im Code Ihres Themes. Suchen Sie nach hinzugefügten Regeln, die ?variant= oder Kollektionspfade blockieren. Wenn Sie die eigene Vorlage löschen, gilt wieder die Standarddatei von Shopify.
   • WooCommerce/WordPress: Prüfen Sie, ob im Stammverzeichnis Ihrer Website eine physische Datei robots.txt liegt (sie überschreibt die virtuelle Datei von WordPress). Prüfen Sie dann SEO-Plugins (Yoast, Rank Math, All in One SEO), die eigene robots.txt-Editoren haben. Stellen Sie außerdem sicher, dass unter Einstellungen > Lesen die Option Suchmaschinen davon abhalten, diese Website zu indexieren nicht aktiviert ist.
   • Eigene Websites und CDNs: Sorgen Sie dafür, dass das CDN allen dieselbe robots.txt ausliefert und keine alte Version im Cache hält.
5. Testen. Nutzen Sie das URL-Prüftool in der Search Console für eine betroffene URL (Desktop und Smartphone) und bestätigen Sie, dass das Crawling erlaubt ist und die Seite den Status 200 zurückgibt.
6. Eine Websiteprüfung im Merchant Center beantragen oder Ihre Produktdaten über einen neuen Abruf erneut hochladen, um die Neuverarbeitung anzustoßen. Laut Google können Sie bei Bedarf auch die Crawling-Frequenz von Google erhöhen.

Wie lange es bis zur Behebung dauert

Laut Google kann es 24 bis 72 Stunden dauern, bis Änderungen auf der Seite Überprüfung erforderlich erscheinen, und die Fehler sollten innerhalb von ein, zwei Tagen nach der erneuten Verarbeitung der Produkte verschwinden. Google speichert die robots.txt im Cache, daher wird die neue Datei möglicherweise nicht sofort übernommen. Wenn Sie eine Websiteprüfung beantragt haben, rechnen Sie mit bis zu 12 Stunden für diese Prüfung.

So beugen Sie dem Problem vor

• Übernehmen Sie niemals eine Staging-robots.txt in die Live-Umgebung; nehmen Sie eine entsprechende Prüfung in Ihre Launch-Checkliste auf.
• Vermeiden Sie pauschale Regeln wie Disallow: /*? bei Onlineshops, die Parameter für Varianten verwenden.
• Prüfen Sie die robots.txt nach der Installation von SEO-Plugins, einem Theme-Wechsel oder einer Plattformmigration.
• Beobachten Sie in der Search Console Warnungen wie „Durch robots.txt blockiert“ bei Produkt-URLs.
• Nutzen Sie unseren Merchant Center Feed-Checker, um URL-Probleme frühzeitig zu erkennen.

Fehler in der robots.txt können über Nacht einen ganzen Katalog lahmlegen. Mercantads kann Ihr Crawling-Setup und Ihren Merchant Center-Feed gemeinsam prüfen und Produkte schnell wiederherstellen. Sprechen Sie mit unserem Team oder sehen Sie sich unsere Merchant Center Leistungen an.

Häufig gestellte Fragen

Schadet das auch meiner organischen Suchmaschinenoptimierung?

Wenn dieselben Regeln Googlebot von Produktseiten fernhalten, ja: Diese Seiten können dann auch für die Google Suche nicht gecrawlt werden. Eine korrigierte robots.txt hilft beidem.

Muss ich Googlebot-Image freigeben?

Ja. Google empfiehlt, sowohl Googlebot als auch Googlebot-Image zuzulassen, da blockierte Bilder eigene Probleme mit Produktbildern verursachen.

Ist ein noindex-Tag dasselbe wie eine Sperre in der robots.txt?

Nein. Die robots.txt verhindert das Crawling; noindex steuert die Indexierung in der Suche. Ein noindex-Tag verursacht dieses Merchant Center-Problem nicht, ein Disallow in der robots.txt dagegen schon.