robots.txt — це текстовий файл у кореневій директорії домену (/robots.txt), який вказує краулерам, які шляхи вони можуть або не можуть відвідувати, відповідно до Протоколу виключення роботів.
Формат: правила групуються за User-agent, за якими слідують шаблони Allow та Disallow:
User-agent: Googlebot
Disallow: /cart
Disallow: /checkout
Allow: /
User-agent: GPTBot
Allow: /
User-agent: *
Disallow: /admin
Disallow: /apiДля електронної комерції у 2026 році robots.txt розширив свої можливості: тепер він потребує явних політик для AI краулерів (GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, OAI-SearchBot, ChatGPT-User, CCBot). Більшість магазинів електронної комерції дозволяють їм доступ до маркетингових маршрутів, щоб максимізувати цитування AI в пошуку, забороняючи їм доступ до кошика, оформлення замовлення, облікового запису та адміністративних шляхів.
robots.txt є рекомендаційним, а не обов'язковим — добре поводяться краулери поважають його, зловмисники ігнорують. Для чутливого контенту поєднуйте з автентифікацією та мета-тегами noindex.