1. Главная
  2.  
  3. Статьи
  4.   Как сделать правильный файл robots.txt? Инструкция для программистов

Как сделать правильный файл robots.txt? Инструкция для программистов

Когда программист сдает новый сайт, то как правило robots.txt в лучшем случае представляет из себя вот что:

User-agent: *
Disallow: /admin/
Sitemap: sitemap.xml


И зачастую этого бывает недостаточно. Ведь сразу после запуска сайта в индекс поисковой системы попадет куча сортировок, фильтров, страницы корзины и пагинации (если конечно их не закрыли rel=canonical)

Поэтому, перед сдачей сайта, перед его выкладыванием на рабочий домен, необходимо проверить файл robots.txt по следующему чеклисту:

Нужно запретить:

  • Сортировки, фильтры, подбор товара (например  Disallow: *size*)
  • UTM-метки, идентификаторы сессий (Clean-param: utm_source&utm_medium – актуально в секции для Яндекса! Для Гугла параметры исключаются в Google Webmaster)
  • Действия (добавление в корзину, саму корзину, поиск, сравнение)
  • Данные пользователя (личный кабинет, данные по доставке а заказам)

Прописать директиву Host с адресом главного зеркала, только в секции для Яндекса!

Host: www.domain.ru

Прописать директиву Sitemap с адресом XML карты сайта

Sitemap: http://www.domain.ru/sitemap.xml

И все! Улыбаюсь

А для тестового сайта файлик должен закрывать все-все:

User-agent: *
Disallow: /

Потому что если тестовый домен попадет в индекс поисковика - это будет являться дублем основного домена и его позиции в поисковиках будут понижены.


Добавить комментарий

Пункты, отмеченные *, являются обязательными к заполнению