Влияние кодов состояния HTTP на SEO в Google

Сервисы, которые я использую:
  • Zenlink - качественный крауд по форумам, каталогам и отзовикам
  • word-keeper - мгновенный парсинг семантики, частот и позиций
  • Keys.so - сервис анализа конкурентов в поисковых системах

Это мой перевод документа из официальной справки Google

На этой странице описывается, как различные коды состояния HTTP, сетевые ошибки и ошибки DNS влияют на поиск Google. Мы рассмотрим 20 основных кодов состояния, с которыми робот Googlebot столкнулся в Интернете, а также наиболее заметные ошибки сети и DNS. Более экзотические коды состояния, такие как 418 (I’m a teapot), не покрываются. Все проблемы, упомянутые на этой странице, вызывают соответствующую ошибку или предупреждение в отчете «Статистика сканирования» Google Search Console .

Коды состояния HTTP генерируются сервером, когда тот отвечает на запрос, сделанный клиентом, например браузером или поисковым роботом. Каждый код состояния HTTP имеет разное значение, но часто результат запроса одинаков. Например, существует несколько кодов состояния, которые сигнализируют о редиректе, но их результат один и тот же.

Google Search Console генерирует сообщения об ошибках для кодов состояния в диапазонах 4xx–5xx и для неудачных редиректов (3xx). Если сервер ответил кодом состояния 2xx, то полученное в ответе содержимое может рассматриваться для индексации.

2xx (success)Код состояния HTTP не гарантирует индексацию.

Коды состояния HTTP
2xx (success)
Google рассматривает контент для индексации. Если содержание предполагает ошибку, например пустую страницу или сообщение об ошибке, Search Console покажет мягкую ошибку 404.
200 (success)
Googlebot передает контент в индексацию. Системы индексации могут индексировать контент, но это не гарантируется.
201 (created)
202 (accepted)
Googlebot ожидает контент в течение ограниченного времени, а затем передает в индексацию все, что он получил. Тайм-аут зависит от пользовательского агента, например, тайм-аут у Googlebot Smartphone может отличаться от Googlebot Image.
204 (no content)
Googlebot сообщает конвейеру индексирования, что он не получил контент. Search Console может отображать некорректную 404 ошибку в отчете об индексировании сайта .
3xx (redirects)
Googlebot выполняет до 10 переходов переадресации. Если сканер не получает контент в течение 10 переходов, Search Console покажет ошибку перенаправления в отчете об индексировании сайта.

В случае файла robots.txt бот гугла выполняет не менее пяти переходов перенаправления, как определено в RFC 1945, а затем останавливает и рассматривает robots.txt как отсутствующий (определяет как 404).

301 (moved permanently)
Googlebot следует к конечной ссылке редиректа, а конвейер индексации использует переадресацию как сильный сигнал о том, что цель переадресации должна быть канонической.
302 (found)
Googlebot следует за перенаправлением, а конвейер индексации использует перенаправление как слабый сигнал о том, что цель перенаправления должна быть канонической.
303 (see other)
304 (not modified)
Googlebot сообщает конвейеру индексирования, что контент такой же, как и при последнем сканировании. Конвейер индексации может пересчитывать сигналы для URL, но в противном случае код состояния не влияет на индексацию.
307 (temporary redirect)
Эквивалентно 302.
308 (moved permanently)
Эквивалентно 301.

Хотя Google Search обрабатывает эти коды состояния одинаково, имейте в виду, что они семантически различаются. Используйте код состояния, подходящий для перенаправления, чтобы другие клиенты (например, электронные книги, другие поисковые системы) могли получить от него пользу.

4xx (client errors)
Конвейер индексации Google не учитываетдля индексации URL-адреса, которые возвращают код ответа сервера 4xx, а URL-адреса, которые уже проиндексированы и возвращают 4xx код состояния, удаляются из индекса.
400 (bad request) Все ошибки 4xx, за исключением 429, обрабатываются одинаково: робот Google сообщает конвейеру индексирования, что контент не существует.
Конвейер индексации удаляет URL-адрес из индекса, если он был ранее проиндексирован. Новые 404 страницы не обрабатываются. Частота сканирования постепенно снижается.

Не используйте коды состояния 401и 403 для ограничения скорости сканирования. Коды состояния 4xx, за исключением того 429, не оказывают никакого влияния на скорость сканирования. Узнайте, как ограничить скорость сканирования.

401 (unauthorized)
403 (forbidden)
404 (not found)
410 (gone)
411 (length required)
429 (too many requests)
Бот Google рассматривает 429 код состояния как сигнал о том, что сервер перегружен, и это считается ошибкой сервера.
5xx (server errors)
Коды ответы сервера 5xx и 429 временно замедляют сканирование. Уже проиндексированные URL-адреса сохраняются в индексе, но в конечном итоге удаляются.

Если файл robots.txt возвращает код состояния 5xx (server errors) более 30 дней, Google будет использовать последнюю кэшированную версию robots.txt. Недоступность robots.txt и его кэша интерпретируется Google как отсутствие ограничений на сканирование.

500 (internal server error)
Googlebot снижает скорость сканирования сайта. Уменьшение скорости сканирования пропорционально количеству отдельных URL-адресов, которые возвращают ошибку сервера. Конвейер индексации Google удаляет из индекса URL-адреса, которые постоянно возвращают ошибку сервера.
502 (bad gateway)
503 (service unavailable)

Ошибки сети и DNS быстро негативно влияют на присутствие URL в поиске Google. Робот Googlebot обрабатывает сетевые тайм-ауты, сброс подключения и ошибки DNS аналогично ошибкам сервера 5xx. В случае сетевых ошибок сканирование немедленно начинает замедляться, поскольку сетевая ошибка является признаком того, что сервер может не справиться с нагрузкой на обслуживание. Уже проиндексированные URL-адреса, которые недоступны, будут удалены из индекса Google в течение нескольких дней. Search Console может генерировать предупреждения для каждой соответствующей ошибки.

Если вы сами не администрируете свой сайт, обратитесь за помощью к своему хостинг-провайдеру или поставщику CDN.

Эти ошибки возникают до того, как Google начнет сканирование URL-адреса или пока Google сканирует URL-адрес. Бывает, код состояния, который может намекать на проблемы – отсутствует, поскольку ошибки могут возникнуть до того, как сервер сможет ответить. Поэтому диагностика этих ошибок может быть более сложной. Чтобы отладить ошибки тайм-аута:

  • Посмотрите настройки и журналы вашего брандмауэра. Может быть установлен слишком широкий набор правил блокировки.
  • Посмотрите на сетевой трафик. Используйте такие инструменты, как tcpdump и Wireshark, для захвата и анализа TCP-пакетов и поиска аномалий, указывающих на определенный сетевой компонент или серверный модуль.
  • Если вы не можете найти ничего подозрительного, обратитесь в поддержку своего хостинга.

Ошибка может быть в любом серверном компоненте, который обрабатывает сетевой трафик. Например, перегруженные сетевые интерфейсы могут отбрасывать пакеты, приводящие к тайм-аутам (невозможность установить соединение) и сбрасывать соединения (RSTпакет отправлен из-за ошибочного закрытия порта).

Ошибки DNS чаще всего вызваны неправильной конфигурацией. Чтобы отладить ошибки DNS, сделайте следующее:

Посмотрите свои записи DNS. Дважды проверьте , что ваша Aи CNAME запись, указывают на правильный IP — адрес и имя хоста соответственно. Например:

dig +nocmd example.com a +noall +answer
dig +nocmd www.example.com cname +noall +answer

Убедитесь, что все ваши серверы имен указывают на правильные IP-адреса вашего сайта . Например:

dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer
...

Если вы внесли изменения в конфигурацию DNS в течение последних 72 часов, возможно, вам придется подождать, пока изменения распространятся по глобальной сети DNS.

Чтобы ускорить изменения, вы можете очистить кеш общедоступного DNS Google

Если вы используете собственный DNS-сервер, убедитесь, что он исправен и не перегружен.

Поделитесь статьей

Частный SEO-специалист, занимаюсь продвижением клиентских сайтов с 2016 года. Специализируюсь на агрегаторах, корпоративных сайтах услуг и интернет-магазинах. Интересны крупные проекты. Резюме и отзывы здесь.

Контакты

Профиль в Facebook
Контакт в Telegram

Оцените автора
( 2 оценки, среднее 5 из 5 )
SEO-специалист
Поделиться своим мнением