Хей, теперь мы в Telegram

Хостинг HostPro.ua

узнавайте о скидках и важных новостях первыми
subscription-logo
Присоединиться

Яndex, индексирование и нагрузка

post thumbnail

Сегодня мы хотим поговорить об индексации сайтов. В последнее время к нам обращались пользователи нашего хостинга с проблемой, заключавшейся в том, что робот Яндекса перестал индексировать их сайт. В ходе выяснения причин оказалось, что IP-адрес робота был заблокирован системой защиты сервера.  Что же происходит на самом деле? Это мы и попробуем Вам объяснить.

Услуга виртуального хостинга подразумевает, что на одном сервере может быть расположено большое количество аккаунтов клиента. Каждый сайт должен быть проиндексирован и занять свои позиции в выдаче. Однако при этом упускается вопрос повышения нагрузки на сервер, на котором размещены сайты, и это большая проблема.

Далеко не всегда пользователи правильно настраивают файл robots.txt , а ведь с помощью него можно не только ограничить доступ поисковому роботу к определённым разделам Вашего сайта, которые индексировать не обязательно, но и ограничить период, с которым поисковик будет делать запросы. Например, можно ограничить его 2 секундами вместо того, чтобы позволить роботу проиндексировать практически всё сразу, что приводит к повышению нагрузки. Ведь не стоит забывать, что пользователь виртуального хостинга делит сервер с такими же пользователями, как и он. Другое дело, если у Вас выделенный виртуальный сервер или физический сервер. В таком случае, конечно, делить ресурсы Вам ни с кем не придётся, и тут Вы себе сами хозяин.

Подобное поведение робота Яндекса нас не устраивало, да и пользователей не устраивало такое положение вещей, при котором IP-адреса робота были заблокированы, а сайт мог вылететь из индекса. Мы обратились с официальным письмом к Яндексу и описали сложившуюся ситуацию. Ответа, к счастью, не пришлось долго ждать. В ответном письме шла речь о новом механизме индексации, использование которого снизит потребление ресурсов сервера (хотя не ясно, за счёт чего это произойдет, ведь скрипты и запросы наших пользователей остаются прежними). Было установлено, что робот Яндекса не умеет распознавать ситуацию, когда несколько IP-адресов расположены на одном сервере, хотя ситуация, когда на одном сервере есть около десятка IP-адресов, вполне нормальна. Именно такие сервера и подвержены самым большим «нападением» поисковика, поскольку на один сервер направляется количество роботов, соизмеримое количеству IP-адресов.

Но нам удалось найти компромисс. Ввиду того, что Яндекс отказался предоставлять нам сети своих роботов для внесения их в белый список серверов, мы предоставили Яндексу информацию о своих сетях, а именно список наших серверов, где есть более чем 1 IP . Представители Яндекса пообещали пересмотреть индексирование данных серверов.

А пока блокировка большого потока адресов всё ещё возможна. Для того, чтоб избежать её, пользователю необходимо сделать следующее:

  1. Настроить или пересмотреть файл robots.txt (Crawl delay. Позволяет указать индексирующему роботу минимальный промежуток времени (в секундах) между обращениями к страницам сайта.
    Этот параметр полезен для крупных проектов, содержащих десятки тысяч страниц и более. Поисковый робот Яндекса при индексировании может создать на такой сайт большую нагрузку, что может вызвать перебои и задержки в работе сайта, по-этому, возможно, вам следует ограничить количество обращений в секунду. Например, директива Crawl-delay: 2  укажет роботу, что он должен выжидать 2 секунды между обращениями к серверу.)
  2. Пересмотреть работу скриптов сайта. Это не только может снизить нагрузку от индексирования роботом, но и поможет избежать предупреждений от службы поддержки.
  3. Если первые два пункта тяжело реализовать , следует подумать о переходе на более высокий по ресурсам тарифный план.

P.S. Если Вы заметили, что Ваш сайт не индексируется, немедленно сообщите об этом в тех. поддержку. Наши техники смогут проверить, не блокировался ли робот Яндекса на сервере.

Возможно, вас заинтересует

🔑 Отключение TLSv1.0 на cPanel серверах
🔑 Отключение TLSv1.0 на cPanel серверах

Ежедневно в Интернете происходят события, которые так или иначе влияют/могут повлиять на вас, ваш...

Новая панель управления Webpanel для VPS хостинга
Новая панель управления Webpanel для VPS хостинга

Друзья! Мы решили попробовать на нашем VPS хостинге новую панель управления Control Web Panel. После...

Тарифный план "Гибкий" - Обзор
Тарифный план "Гибкий" - Обзор

Сегодня мы хотим представить наш новый тарифный план - Гибкий. В этом названии заложена...