# ==============================================================================
# robots.txt — iron-apple.ru
# Интернет-магазин Apple техники
# Обновлён: 2026-03-29
# Документация: https://developers.google.com/search/docs/crawling-indexing/robots/intro
# ==============================================================================

# ------------------------------------------------------------------------------
# Универсальное правило для всех роботов
# ------------------------------------------------------------------------------
User-agent: *

# --- Административная панель ---
Disallow: /admin/
Disallow: /admin

# --- API-эндпоинты (машинные интерфейсы, не для индексации) ---
Disallow: /api/
Allow: /api/feed.php

# --- Системные и служебные директории ---
Disallow: /backups/
Disallow: /logs/
Disallow: /core/
Disallow: /controllers/
Disallow: /templates/
Disallow: /template_for_admin/
Disallow: /__pycache__/
Disallow: /.cursor/
Disallow: /.vscode/

# --- Скрипты и файлы разработки в корне ---
Disallow: /test_vk_products.php
Disallow: /vk_auth.php
Disallow: /minify_css.py
Disallow: /favicon.php

# --- Технические страницы верификации ---
Disallow: /yandex_e117e6350904da32.html

# --- Транзакционные страницы ---
# /checkout НЕ закрыт: страница отдаёт <meta name="robots" content="noindex,follow">.
# Если закрыть её здесь, Google не сможет прочитать noindex и всё равно покажет URL
# в выдаче («Проиндексировано, несмотря на блокировку в файле robots.txt»).

# --- Дублирующие маршруты (301-редиректы, не нужны в индексе) ---

# --- Параметры URL, генерирующие дубли ---
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /*?*page=
Disallow: /*?*utm_
Disallow: /*?*ref=
Disallow: /*?*fbclid=
Disallow: /*?*gclid=
Disallow: /*?*yclid=

# --- Разрешаем статические ресурсы ---
Allow: /assets/css/
Allow: /assets/js/
Allow: /assets/images/
Allow: /assets/fonts/
Allow: /uploads/

# --- Sitemap ---
# Маршруты /tradein, /rassrochka и /credit/* здесь НЕ закрыты намеренно: они сами
# отдают 301/302, а запрет обхода мешает роботу увидеть редирект и склеить адреса.

Sitemap: https://iron-apple.ru/sitemap.xml


# ------------------------------------------------------------------------------
# Яндекс
# ------------------------------------------------------------------------------
User-agent: Yandex

Disallow: /admin/
Disallow: /admin
Disallow: /api/
Allow: /api/feed.php
Disallow: /backups/
Disallow: /logs/
Disallow: /core/
Disallow: /controllers/
Disallow: /templates/
Disallow: /template_for_admin/
Disallow: /__pycache__/
Disallow: /.cursor/
Disallow: /.vscode/
Disallow: /test_vk_products.php
Disallow: /vk_auth.php
Disallow: /minify_css.py
Disallow: /favicon.php
Disallow: /yandex_e117e6350904da32.html

# Яндекс поддерживает Clean-param для устранения дублей по параметрам
Clean-param: sort&filter&page&utm_source&utm_medium&utm_campaign&utm_content&utm_term&ref&fbclid&gclid&yclid

Allow: /assets/
Allow: /uploads/


# ------------------------------------------------------------------------------
# Google
# ------------------------------------------------------------------------------
User-agent: Googlebot

Disallow: /admin/
Disallow: /admin
Disallow: /api/
Allow: /api/feed.php
Disallow: /backups/
Disallow: /logs/
Disallow: /core/
Disallow: /controllers/
Disallow: /templates/
Disallow: /template_for_admin/
Disallow: /__pycache__/
Disallow: /.cursor/
Disallow: /.vscode/
Disallow: /test_vk_products.php
Disallow: /vk_auth.php
Disallow: /minify_css.py
Disallow: /favicon.php
Disallow: /yandex_e117e6350904da32.html

Allow: /assets/
Allow: /uploads/


# ------------------------------------------------------------------------------
# Краулеры изображений — разрешаем индексировать фото товаров
# ------------------------------------------------------------------------------
User-agent: Googlebot-Image
Allow: /assets/images/
Allow: /assets/shop/
Allow: /uploads/

User-agent: YandexImages
Allow: /assets/images/
Allow: /assets/shop/
Allow: /uploads/


# ------------------------------------------------------------------------------
# Блокировка вредоносных и агрессивных парсеров
# ------------------------------------------------------------------------------
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: SEOkicks
Disallow: /

User-agent: spbot
Disallow: /

User-agent: Sistrix
Disallow: /

User-agent: linkdexbot
Disallow: /

User-agent: XoviBot
Disallow: /

User-agent: MegaIndex
Disallow: /

User-agent: ltx71
Disallow: /

User-agent: PetalBot
Disallow: /