Página bloqueada pelo robots.txt no Merchant Center

O que esse problema significa

Antes de exibir um produto, o Google rastreia a página de destino para conferir preço, disponibilidade e conformidade com as políticas. O robots.txt é um arquivo de texto simples em yourdomain.com/robots.txt que diz aos rastreadores quais caminhos eles podem acessar. Se uma regra bloquear (disallow) o URL do produto, o Google não consegue fazer as verificações, e o produto continua reprovado para anúncios do Shopping e listagens gratuitas até o rastreamento ser liberado.

O Google também mostra esse problema quando a página de destino retorna um erro HTTP para o rastreador, então confira as duas coisas.

Por que isso acontece

• Um bloqueio geral que sobrou do ambiente de testes. User-agent: * com Disallow: / copiado de um site de desenvolvimento é a causa clássica depois de lançamentos e migrações.
• Bloqueio de parâmetros. Dicas de SEO para bloquear query strings (Disallow: /*?) também bloqueiam URLs do feed como /products/shirt?variant=123, que a Shopify e outras plataformas usam para variantes.
• Caminhos de coleção ou categoria bloqueados. Alguns feeds apontam para produtos dentro de um caminho de coleção (/collections/sale/products/...) que está bloqueado.
• Regras para robôs específicos. Uma regra direcionada ao Googlebot ou ao Googlebot-Image que deveria bloquear outra coisa.
• Regras de subdomínio móvel. Um subdomínio m. separado tem seu próprio robots.txt, que bloqueia rastreadores.
• Plugins de segurança ou CDNs reescrevendo o robots.txt ou entregando um arquivo diferente para robôs.

Como corrigir

1. Leia o robots.txt publicado. Abra https://yourdomain.com/robots.txt (e qualquer subdomínio usado no feed). Procure linhas Disallow abaixo de User-agent: *, User-agent: Googlebot e User-agent: Googlebot-Image.
2. Encontre a regra que corresponde ao URL do feed. Pegue o URL de um produto afetado em Produtos > Precisa de atenção e compare o caminho e os parâmetros com cada regra de bloqueio. Lembre que * é um curinga.
3. Permita que o Google rastreie os produtos. A orientação do próprio Google é deixar o Googlebot e o Googlebot-Image rastrearem o site inteiro. A versão mais simples tem dois grupos: User-agent: Googlebot seguido de uma linha Disallow: vazia e depois User-agent: Googlebot-Image seguido de uma linha Disallow: vazia. Um Disallow vazio significa que nada está bloqueado para aquele rastreador. Se precisar manter áreas privadas bloqueadas (carrinho, conta, checkout), mantenha só esses caminhos e remova as regras que atingem as páginas de produto e seus parâmetros. Você também pode adicionar regras Allow para padrões como /products/.
4. Edite na sua plataforma.
   • Shopify: o robots.txt padrão da Shopify não bloqueia páginas de produto. Se você o personalizou, edite o template robots.txt.liquid no código do tema. Procure regras adicionadas que bloqueiem ?variant= ou caminhos de coleção. Excluir o template personalizado restaura o padrão da Shopify.
   • WooCommerce/WordPress: veja se existe um arquivo robots.txt físico na raiz do site (ele substitui o virtual do WordPress). Depois confira os plugins de SEO (Yoast, Rank Math, All in One SEO), que têm editores de robots.txt. Confirme também que Configurações > Leitura > Evitar que mecanismos de busca indexem este site está desmarcado.
   • Sites próprios e CDNs: garanta que a CDN entregue o mesmo robots.txt para todos e não mantenha em cache uma versão antiga.
5. Teste. Use a ferramenta de Inspeção de URL do Search Console em um URL afetado (computador e smartphone) e confirme que o rastreamento é permitido e que a página retorna status 200.
6. Solicite uma verificação do site no Merchant Center ou reenvie os dados de produto por uma nova busca para forçar o reprocessamento. O Google também sugere aumentar a taxa de rastreamento do Google, se necessário.

Quanto tempo leva para resolver

O Google diz que as alterações podem levar de 24 a 72 horas para aparecer na página Precisa de atenção, e os erros devem sumir alguns dias depois que os produtos forem reprocessados. O Google mantém o robots.txt em cache, então o novo arquivo pode não ser lido na hora. Se você solicitou uma verificação do site, conte com até 12 horas para essa análise.

Como evitar

• Nunca publique em produção o robots.txt do ambiente de testes; inclua essa verificação no checklist de lançamento.
• Evite regras gerais Disallow: /*? em lojas virtuais que usam parâmetros para variantes.
• Revise o robots.txt depois de instalar plugins de SEO, trocar de tema ou migrar de plataforma.
• Monitore no Search Console os avisos "Bloqueada pelo robots.txt" em URLs de produto.
• Use nosso verificador de feed do Merchant Center para pegar problemas de URL logo cedo.

Erros no robots.txt podem derrubar um catálogo inteiro da noite para o dia. A Mercantads audita sua configuração de rastreamento e seu feed do Merchant Center juntos e recupera os produtos rapidamente. Fale com nossa equipe ou conheça nossos serviços de Merchant Center.