Содержание
- Что такое robots.txt
- Как работает файл и зачем он нужен
- Топ ошибок, мешающих индексации
- Примеры неправильных записей
- Как проверить robots.txt
- Заключение
1. Что такое robots.txt
Это текстовый файл, расположенный по адресу site.ru/robots.txt, который сообщает поисковым системам, какие страницы можно индексировать, а какие — нет. Основные директивы:
- User-agent: задает, для какого робота применяется правило
- Disallow: запрещает доступ к URL или разделу
- Allow: разрешает доступ, используется для уточнения
- Sitemap: указывает путь к карте сайта
2. Как работает файл и зачем он нужен
robots.txt нужен для:
- Защиты служебных страниц и админ-разделов от индексации
- Ограничения нагрузки на сервер
- Исключения дублирующего или технического контента из выдачи
- Управления приоритетами обхода
Но этот файл — только рекомендация, поисковики могут проигнорировать запреты, особенно если на страницу ведут внешние ссылки.
3. Топ ошибок, мешающих индексации
1. Запрет всего сайта
User-agent: *
Disallow: /
Полностью закрывает сайт от всех роботов.
2. Запрет важных страниц или разделов
Многие случайно блокируют папки /catalog/, /articles/, /blog/ — и теряют позиции.
3. Ошибки в синтаксисе
Лишние пробелы, неверные слэши, опечатки в директивах — всё это может сделать файл нерабочим.
4. Неверная маска запрета
Disallow: *?
Запрещает все URL с параметрами, включая фильтры и сортировки, которые могут быть полезны.
5. Отсутствие директив Allow
Если используется общий запрет с Disallow: /catalog/, но нужна индексация /catalog/iphone/, обязательно использовать Allow.
6. Закрыта карта сайта
Некоторые блокируют /sitemap.xml, не зная, что это мешает роботам быстрее находить новые страницы.
4. Примеры неправильных записей
| Ошибка | Последствие |
| Disallow: / | Полный запрет индексации |
| Disallow: /blog (без /) | Не работает, так как нет завершающего слэша |
| Disallow: */? | Запрет всех страниц с параметрами |
| Отсутствие Sitemap: строки | Затрудняет обход новых страниц |
| User-agent: Googlebot только | Не применяется к другим системам |
5. Как проверить robots.txt
- Инструмент Google Search Console → Инструменты проверки файлов robots.txt
- Визуальный парсер Яндекса в панели вебмастера
- Онлайн-сервисы: technicalseo.com, seoptimer.com
- Расширения браузера (например, SEO META in 1 CLICK)
Важно проверять файл после каждого обновления и тестировать все директивы.
6. Заключение
Ошибки в robots.txt могут незаметно лишить ваш сайт видимости и трафика. Регулярно проверяйте файл, согласовывайте изменения с SEO-специалистом и не применяйте директивы без понимания их последствий. Лучше ограничить доступ через noindex, canonical или заголовки сервера — эти методы более гибкие и безопасные.
