robots.txt est un fichier texte brut à la racine d'un domaine (/robots.txt) qui indique aux robots d'exploration quels chemins ils peuvent ou ne peuvent pas accéder, conformément au Protocole d'Exclusion des Robots.
Format : les règles sont regroupées par User-agent suivies des modèles Allow et Disallow :
User-agent: Googlebot
Disallow: /cart
Disallow: /checkout
Allow: /
User-agent: GPTBot
Allow: /
User-agent: *
Disallow: /admin
Disallow: /apiPour le commerce électronique en 2026, robots.txt a un champ d'application élargi : il doit désormais inclure des politiques explicites pour les robots d'exploration IA (GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, OAI-SearchBot, ChatGPT-User, CCBot). La plupart des boutiques en ligne autorisent ces robots sur les routes marketing pour maximiser la citation de recherche IA tout en les interdisant sur les chemins de panier, de paiement, de compte et d'administration.
robots.txt est consultatif, non exécutoire — les robots bienveillants le respectent, les malveillants l'ignorent. Pour un contenu sensible, combinez avec une authentification et des balises meta noindex.