Новости

Директива Crawl-delay, поддержка GZIP

Главная Новости Яндекс сообщает..Директива Crawl-delay, поддержка GZIP

25.07.2008

1. Стало возможным управление таймаутом закачки страниц с сервера поисковой системой Яндекса (Crawl-delay).

При сильной нагрузке сервера, когда он не успевает отрабатывать запросы на закачку, имеет смысл пользоваться директивой "Crawl-delay", позволяющей задать поисковой программе минимум времени (в секундах) между закачками двух страниц. Чтобы добиться соместимости с программами, которые не полностью соответствуют стандарту при обработке robots.txt, директиву "Crawl-delay" добавляют в группе, начинающейся с записи "User-Agent", сразу после директив "Disallow" ("Allow").

Поисковая программа Яндекса поддерживает дробные значения Crawl-Delay. Это дает поисковому роботу больше свободы, хотя не дает гарантии, что он будет посещать ваш сайт каждые полсекунды. Обход сайта при этом ускоряется.

Примеры:

User-agent: Yandex
Crawl-delay: 2.5 # задает таймут в 2.5 секунды

User-agent: *
Disallow: /search
Crawl-delay: 4 # задает таймут в 4 секунды

2. Поддержка GZIP

К функциям робота добавлена поддержка скачивания сжатого контента. При каждом запросе документа программа теперь говорит: "Accept-Encoding: gzip,deflate".

При соответствующей настройке сервера вы можете снизить объем трафика, передаваемого от него к поисковому роботу. При этом следует учесть, что если контент передавать в сжатом (заархивированном) виде, это усилит нагрузку на CPU вашего сервера. Это может привести к проблемам, если сервер сильно загружен. В поддержке gzip и deflate программа придерживается стандарта rfc2616, раздел 3.5 (http://www.w3.org/Protocols/rfc2616/rfc2616-sec3.html#sec3.5).

www.webmaster.ya.ru

Распечатать страницу