User-agent: *
Allow: /
Allow: /blog/
Disallow: /admin/
Disallow: /__debug__/
Disallow: /tmp/
Disallow: /media/
Disallow: /swagger/
Disallow: /redoc/
Disallow: /project/
Disallow: /invite/
Disallow: /account/
Disallow: /webpush/
Disallow: /ckeditor/
Disallow: /api/
Disallow: /check_payment/
Disallow: /get_payment_status/
Disallow: /shareBot/
Disallow: /make_appointment/
Disallow: /promo/shop-price/submit/
Disallow: /promo/agency/submit/
Disallow: /promo/support/submit/
Disallow: /promo/own-site/submit/
Disallow: /promo/seo-check/submit/
Disallow: /promo/seo-check/consult/
Disallow: /promo/roadmap/submit/
Disallow: /promo/roadmap/consult/
Disallow: /createProject/
Disallow: /shop_check_payment/
Disallow: /payment/
Disallow: /new/check-payment/
Disallow: /new/create-payment/
Disallow: /new/account/
Disallow: /new/project/
Disallow: /new/auth/password-reset/
# Шаг C.1: публичные префиксы медиа открыты точечно поверх Disallow: /media/.
# Перечень обязан совпадать с классом public в apps/core/media_prefixes.py —
# robots.txt следует за разграничением доступа, а не задаёт его.
# Порядок строк роли не играет: Google и Яндекс выбирают правило по самому
# длинному совпадающему префиксу. Запреты стоят перед разрешениями ради
# нестрогих парсеров «первое совпадение» — они получают режим отказа.
# /media/media/ — двойной префикс: загрузки CKEditor публичны, а
# /media/media/courier/ (фото курьеров) — персональные данные.
Disallow: /media/media/courier/
Allow: /media/posts/
Allow: /media/post/
Allow: /media/articles/
Allow: /media/sections/
Allow: /media/docs/
Allow: /media/category/
Allow: /media/miniapps/
Allow: /media/images/
Allow: /media/experts_profile/
Allow: /media/media/

# Краулеры ИИ-поисковиков и ассистентов.
# По RFC 9309 несколько строк User-agent подряд образуют одну группу правил.
# Именованная группа ПОЛНОСТЬЮ заменяет для этих ботов группу «*» — они её
# больше не читают, поэтому список запретов продублирован целиком.
# Точечные Allow для публичных префиксов медиа продублированы по той же
# причине: иначе ИИ-боты увидят только Disallow: /media/ без исключений.
# При изменении запретов и разрешений выше синхронизировать и здесь.
# Запреты намеренно идут перед Allow: строгие парсеры (Google, Яндекс)
# выбирают правило по длине совпадающего префикса и на порядок не смотрят,
# а нестрогие «первое совпадение» получают безопасный режим отказа.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Disallow: /admin/
Disallow: /__debug__/
Disallow: /tmp/
Disallow: /media/
Disallow: /swagger/
Disallow: /redoc/
Disallow: /project/
Disallow: /invite/
Disallow: /account/
Disallow: /webpush/
Disallow: /ckeditor/
Disallow: /api/
Disallow: /check_payment/
Disallow: /get_payment_status/
Disallow: /shareBot/
Disallow: /make_appointment/
Disallow: /promo/shop-price/submit/
Disallow: /promo/agency/submit/
Disallow: /promo/support/submit/
Disallow: /promo/own-site/submit/
Disallow: /promo/seo-check/submit/
Disallow: /promo/seo-check/consult/
Disallow: /promo/roadmap/submit/
Disallow: /promo/roadmap/consult/
Disallow: /createProject/
Disallow: /shop_check_payment/
Disallow: /payment/
Disallow: /new/check-payment/
Disallow: /new/create-payment/
Disallow: /new/account/
Disallow: /new/project/
Disallow: /new/auth/password-reset/
Disallow: /media/media/courier/
Allow: /media/posts/
Allow: /media/post/
Allow: /media/articles/
Allow: /media/sections/
Allow: /media/docs/
Allow: /media/category/
Allow: /media/miniapps/
Allow: /media/images/
Allow: /media/experts_profile/
Allow: /media/media/
Allow: /

# Группа для Яндекса. Существует только ради Clean-param: эту директиву
# понимает лишь Яндекс, а в общей группе её видят и остальные краулеры,
# для которых строка — мусор.
#
# Правила продублированы целиком намеренно: по RFC 9309 именованная
# группа полностью заменяет для бота группу «*». Оставь здесь один
# Clean-param — и Яндекс перестанет видеть все запреты выше.
# При изменении запретов и разрешений в группе «*» синхронизировать здесь.
User-agent: Yandex
Allow: /
Allow: /blog/
Disallow: /admin/
Disallow: /__debug__/
Disallow: /tmp/
Disallow: /media/
Disallow: /swagger/
Disallow: /redoc/
Disallow: /project/
Disallow: /invite/
Disallow: /account/
Disallow: /webpush/
Disallow: /ckeditor/
Disallow: /api/
Disallow: /check_payment/
Disallow: /get_payment_status/
Disallow: /shareBot/
Disallow: /make_appointment/
Disallow: /promo/shop-price/submit/
Disallow: /promo/agency/submit/
Disallow: /promo/support/submit/
Disallow: /promo/own-site/submit/
Disallow: /promo/seo-check/submit/
Disallow: /promo/seo-check/consult/
Disallow: /promo/roadmap/submit/
Disallow: /promo/roadmap/consult/
Disallow: /createProject/
Disallow: /shop_check_payment/
Disallow: /payment/
Disallow: /new/check-payment/
Disallow: /new/create-payment/
Disallow: /new/account/
Disallow: /new/project/
Disallow: /new/auth/password-reset/
Disallow: /media/media/courier/
Allow: /media/posts/
Allow: /media/post/
Allow: /media/articles/
Allow: /media/sections/
Allow: /media/docs/
Allow: /media/category/
Allow: /media/miniapps/
Allow: /media/images/
Allow: /media/experts_profile/
Allow: /media/media/
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&utm_referrer&gclid&fbclid&yclid&_openstat&from&etext&ysclid&ybaip&ctime&_ym_debug /

Sitemap: https://botfarm.online/sitemap.xml