robots.txt es un archivo de texto plano en la raíz de un dominio (/robots.txt) que indica a los rastreadores qué rutas pueden o no pueden acceder, siguiendo el Protocolo de Exclusión de Robots.
Formato: las reglas se agrupan por User-agent seguido de patrones Allow y Disallow:
User-agent: Googlebot
Disallow: /cart
Disallow: /checkout
Allow: /
User-agent: GPTBot
Allow: /
User-agent: *
Disallow: /admin
Disallow: /apiPara el comercio electrónico en 2026, robots.txt ha ampliado su alcance: ahora necesita políticas explícitas para rastreadores de IA (GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, OAI-SearchBot, ChatGPT-User, CCBot). La mayoría de las tiendas de comercio electrónico permiten estos en rutas de marketing para maximizar la citación de búsqueda de IA mientras los desautorizan de las rutas de carrito, pago, cuenta y administración.
robots.txt es consultivo, no ejecutable: los rastreadores bien comportados lo respetan, los maliciosos lo ignoran. Para contenido sensible, combínalo con autenticación y etiquetas meta noindex.