robots.txt — это текстовый файл в корне домена (/robots.txt), который сообщает краулерам, какие пути они могут или не могут использовать, следуя Протоколу Исключения Роботов.
Формат: правила сгруппированы по User-agent, за которым следуют шаблоны Allow и Disallow:
User-agent: Googlebot
Disallow: /cart
Disallow: /checkout
Allow: /
User-agent: GPTBot
Allow: /
User-agent: *
Disallow: /admin
Disallow: /apiДля электронной коммерции в 2026 году область применения robots.txt расширилась: теперь он требует явных политик для AI-краулеров (GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, OAI-SearchBot, ChatGPT-User, CCBot). Большинство интернет-магазинов разрешают им доступ к маркетинговым маршрутам, чтобы максимизировать цитирование AI-поиска, одновременно запрещая доступ к корзине, оформлению заказа, аккаунту и административным путям.
robots.txt является рекомендательным, а не обязательным — хорошо себя ведущие краулеры уважают его, злонамеренные игнорируют. Для чувствительного контента комбинируйте с аутентификацией и мета-тегами noindex.