robots.txt é um arquivo de texto simples na raiz de um domínio (/robots.txt) que informa aos crawlers quais caminhos eles podem ou não acessar, seguindo o Protocolo de Exclusão de Robôs.
Formato: as regras são agrupadas por User-agent, seguidas por padrões Allow e Disallow:
User-agent: Googlebot
Disallow: /cart
Disallow: /checkout
Allow: /
User-agent: GPTBot
Allow: /
User-agent: *
Disallow: /admin
Disallow: /apiPara o comércio eletrônico em 2026, o robots.txt expandiu seu escopo: agora precisa de políticas explícitas para crawlers de IA (GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, OAI-SearchBot, ChatGPT-User, CCBot). A maioria das lojas de comércio eletrônico permite esses crawlers em rotas de marketing para maximizar a citação em buscas de IA, enquanto os proíbe de acessar os caminhos de carrinho, checkout, conta e admin.
robots.txt é consultivo, não aplicável — crawlers bem-comportados o respeitam, enquanto os maliciosos o ignoram. Para conteúdo sensível, combine com autenticação e tags meta noindex.