Pagina non sottoponibile a scansione per robots.txt

Cosa significa questo problema

Prima di mostrare un prodotto, Google esegue la scansione della pagina di destinazione per controllare prezzo, disponibilità e conformità alle norme. Il robots.txt è un file di testo semplice che si trova in yourdomain.com/robots.txt e indica ai crawler quali percorsi possono recuperare. Se una regola blocca l'URL del prodotto, Google non può fare i suoi controlli e il prodotto resta non approvato per gli annunci Shopping e le schede senza costi finché la scansione non viene consentita.

Google segnala questo problema anche quando la pagina di destinazione restituisce al crawler un errore HTTP, quindi controlla entrambe le cose.

Perché succede

• Un blocco totale rimasto dall'ambiente di staging. User-agent: * con Disallow: / copiato da un sito di sviluppo è la causa classica dopo lanci e migrazioni.
• Blocco dei parametri. I consigli SEO di bloccare le query string (Disallow: /*?) bloccano anche URL del feed come /products/shirt?variant=123, che Shopify e altre piattaforme usano per le varianti.
• Percorsi di collezioni o categorie bloccati. Alcuni feed rimandano ai prodotti tramite il percorso di una collezione (/collections/sale/products/...) che è bloccato.
• Regole per bot specifici. Una regola rivolta a Googlebot o Googlebot-Image pensata per bloccare qualcos'altro.
• Regole del sottodominio mobile. Un sottodominio m. separato ha un proprio robots.txt che blocca i crawler.
• Plugin di sicurezza o CDN che riscrivono robots.txt o servono ai bot un file diverso.

Come risolverlo

1. Leggi il robots.txt pubblicato. Apri https://yourdomain.com/robots.txt (e quello di ogni sottodominio usato nel feed). Cerca le righe Disallow sotto User-agent: *, User-agent: Googlebot e User-agent: Googlebot-Image.
2. Trova la regola che corrisponde all'URL del feed. Prendi un URL prodotto interessato da Prodotti > Richiede attenzione e confronta percorso e parametri con ogni regola di blocco. Ricorda che * è un carattere jolly.
3. Consenti a Google la scansione dei prodotti. L'indicazione di Google è lasciare che sia Googlebot sia Googlebot-Image eseguano la scansione dell'intero sito. La versione più semplice prevede due gruppi: User-agent: Googlebot seguito da una riga Disallow: vuota, poi User-agent: Googlebot-Image seguito da una riga Disallow: vuota. Un Disallow vuoto significa che per quel crawler non è bloccato nulla. Se devi tenere bloccate aree private (carrello, account, checkout), mantieni quei percorsi specifici ed elimina le regole che corrispondono alle pagine prodotto e ai loro parametri. Puoi anche aggiungere regole Allow per schemi come /products/.
4. Modificalo sulla tua piattaforma.
   • Shopify: il robots.txt predefinito di Shopify non blocca le pagine prodotto. Se l'hai personalizzato, modifica il template robots.txt.liquid nel codice del tema. Cerca regole aggiunte che bloccano ?variant= o i percorsi delle collezioni. Eliminando il template personalizzato si ripristina quello predefinito di Shopify.
   • WooCommerce/WordPress: controlla se nella root del sito esiste un file robots.txt fisico (prevale su quello virtuale di WordPress). Poi controlla i plugin SEO (Yoast, Rank Math, All in One SEO), che hanno editor per robots.txt. Verifica anche che Impostazioni > Lettura > Scoraggia i motori di ricerca non sia selezionato.
   • Siti personalizzati e CDN: assicurati che la CDN serva lo stesso robots.txt a tutti e non metta in cache una versione vecchia.
5. Fai un test. Usa lo strumento Controllo URL di Search Console su un URL interessato (desktop e smartphone) e verifica che la scansione sia consentita e che la pagina restituisca lo stato 200.
6. Richiedi un controllo del sito web in Merchant Center, oppure ricarica i dati di prodotto con un nuovo recupero per avviare la rielaborazione. Google suggerisce anche che, se necessario, puoi aumentare la frequenza di scansione di Google.

Quanto tempo serve per risolverlo

Google indica che le modifiche possono richiedere da 24 a 72 ore per comparire nella pagina Richiede attenzione, e gli errori dovrebbero sparire entro un paio di giorni dalla rielaborazione dei prodotti. Google memorizza robots.txt nella cache, quindi il nuovo file potrebbe non essere rilevato subito. Se hai richiesto un controllo del sito web, calcola fino a 12 ore per quella revisione.

Come prevenirlo

• Non pubblicare mai in produzione un robots.txt di staging; aggiungi un controllo alla checklist di lancio.
• Evita regole generiche Disallow: /*? nei siti e-commerce che usano parametri per le varianti.
• Rivedi robots.txt dopo aver installato plugin SEO, cambiato tema o migrato piattaforma.
• Monitora in Search Console gli avvisi "Bloccata da robots.txt" sugli URL prodotto.
• Usa il nostro strumento di controllo del feed Merchant Center per individuare in anticipo i problemi degli URL.

Un errore nel robots.txt può far sparire un intero catalogo da un giorno all'altro. Mercantads può verificare insieme la configurazione della scansione e il feed di Merchant Center e ripristinare rapidamente i prodotti. Parla con il nostro team o scopri i nostri servizi Merchant Center.

Domande frequenti

Questo danneggia anche la SEO organica?

Se le stesse regole bloccano Googlebot sulle pagine prodotto, sì: quelle pagine non possono essere sottoposte a scansione nemmeno per la Ricerca. Correggere robots.txt aiuta entrambe.

Devo sbloccare anche Googlebot-Image?

Sì. Google consiglia di consentire sia Googlebot sia Googlebot-Image, perché le immagini bloccate causano problemi separati sulle immagini dei prodotti.

Un tag noindex equivale a un blocco in robots.txt?

No. Robots.txt impedisce la scansione; noindex controlla l'indicizzazione nella Ricerca. Un tag noindex non causa questo problema di Merchant Center, mentre un disallow in robots.txt sì.