Это мой перевод документа из официальной справки Google
Для того, чтобы понимать информацию в этом материале, нужно знать основные SEO термины
На этой странице описывается, как различные коды состояния HTTP, сетевые ошибки и ошибки DNS влияют на поиск Google. Мы рассмотрим 20 основных кодов состояния, с которыми робот Googlebot столкнулся в Интернете, а также наиболее заметные ошибки сети и DNS. Более экзотические коды состояния, такие как 418 (I’m a teapot), не покрываются. Все проблемы, упомянутые на этой странице, вызывают соответствующую ошибку или предупреждение в отчете «Статистика сканирования» Google Search Console .
Коды состояния HTTP
Коды состояния HTTP генерируются сервером, когда тот отвечает на запрос, сделанный клиентом, например браузером или поисковым роботом. Каждый код состояния HTTP имеет разное значение, но часто результат запроса одинаков. Например, существует несколько кодов состояния, которые сигнализируют о редиректе, но их результат один и тот же.
Google Search Console генерирует сообщения об ошибках для кодов состояния в диапазонах 4xx–5xx и для неудачных редиректов (3xx). Если сервер ответил кодом состояния 2xx, то полученное в ответе содержимое может рассматриваться для индексации.
2xx (success)Код состояния HTTP не гарантирует индексацию.
| Коды состояния HTTP | ||
| 2xx (success) | Google рассматривает контент для индексации. Если содержание предполагает ошибку, например пустую страницу или сообщение об ошибке, Search Console покажет мягкую ошибку 404. | |
| 200 (success) | Googlebot передает контент в индексацию. Системы индексации могут индексировать контент, но это не гарантируется. | |
| 201 (created) | ||
| 202 (accepted) | Googlebot ожидает контент в течение ограниченного времени, а затем передает в индексацию все, что он получил. Тайм-аут зависит от пользовательского агента, например, тайм-аут у Googlebot Smartphone может отличаться от Googlebot Image. | |
| 204 (no content) | Googlebot сообщает конвейеру индексирования, что он не получил контент. Search Console может отображать некорректную 404 ошибку в отчете об индексировании сайта . | |
| 3xx (redirects) | Googlebot выполняет до 10 переходов переадресации. Если сканер не получает контент в течение 10 переходов, Search Console покажет ошибку перенаправления в отчете об индексировании сайта. | |
| ||
| 301 (moved permanently) | Googlebot следует к конечной ссылке редиректа, а конвейер индексации использует переадресацию как сильный сигнал о том, что цель переадресации должна быть канонической. | |
| 302 (found) | Googlebot следует за перенаправлением, а конвейер индексации использует перенаправление как слабый сигнал о том, что цель перенаправления должна быть канонической. | |
| 303 (see other) | ||
| 304 (not modified) | Googlebot сообщает конвейеру индексирования, что контент такой же, как и при последнем сканировании. Конвейер индексации может пересчитывать сигналы для URL, но в противном случае код состояния не влияет на индексацию. | |
| 307 (temporary redirect) | Эквивалентно 302. | |
| 308 (moved permanently) | Эквивалентно 301. | |
| ||
| 4xx (client errors) | Конвейер индексации Google не учитываетдля индексации URL-адреса, которые возвращают код ответа сервера 4xx, а URL-адреса, которые уже проиндексированы и возвращают 4xx код состояния, удаляются из индекса. | |
| 400 (bad request) | Все ошибки 4xx, за исключением 429, обрабатываются одинаково: робот Google сообщает конвейеру индексирования, что контент не существует. Конвейер индексации удаляет URL-адрес из индекса, если он был ранее проиндексирован. Новые 404 страницы не обрабатываются. Частота сканирования постепенно снижается.
| |
| 401 (unauthorized) | ||
| 403 (forbidden) | ||
| 404 (not found) | ||
| 410 (gone) | ||
| 411 (length required) | ||
| 429 (too many requests) | Бот Google рассматривает 429 код состояния как сигнал о том, что сервер перегружен, и это считается ошибкой сервера. | |
| 5xx (server errors) | Коды ответы сервера 5xx и 429 временно замедляют сканирование. Уже проиндексированные URL-адреса сохраняются в индексе, но в конечном итоге удаляются. | |
| ||
| 500 (internal server error) | Googlebot снижает скорость сканирования сайта. Уменьшение скорости сканирования пропорционально количеству отдельных URL-адресов, которые возвращают ошибку сервера. Конвейер индексации Google удаляет из индекса URL-адреса, которые постоянно возвращают ошибку сервера. | |
| 502 (bad gateway) | ||
| 503 (service unavailable) | ||
Ошибки сети и DNS
Ошибки сети и DNS быстро негативно влияют на присутствие URL в поиске Google. Робот Googlebot обрабатывает сетевые тайм-ауты, сброс подключения и ошибки DNS аналогично ошибкам сервера 5xx. В случае сетевых ошибок сканирование немедленно начинает замедляться, поскольку сетевая ошибка является признаком того, что сервер может не справиться с нагрузкой на обслуживание. Уже проиндексированные URL-адреса, которые недоступны, будут удалены из индекса Google в течение нескольких дней. Search Console может генерировать предупреждения для каждой соответствующей ошибки.
Если вы сами не администрируете свой сайт, обратитесь за помощью к своему хостинг-провайдеру или поставщику CDN.
Отладка сетевых ошибок
Эти ошибки возникают до того, как Google начнет сканирование URL-адреса или пока Google сканирует URL-адрес. Бывает, код состояния, который может намекать на проблемы – отсутствует, поскольку ошибки могут возникнуть до того, как сервер сможет ответить. Поэтому диагностика этих ошибок может быть более сложной. Чтобы отладить ошибки тайм-аута:
- Посмотрите настройки и журналы вашего брандмауэра. Может быть установлен слишком широкий набор правил блокировки.
- Посмотрите на сетевой трафик. Используйте такие инструменты, как tcpdump и Wireshark, для захвата и анализа TCP-пакетов и поиска аномалий, указывающих на определенный сетевой компонент или серверный модуль.
- Если вы не можете найти ничего подозрительного, обратитесь в поддержку своего хостинга.
Ошибка может быть в любом серверном компоненте, который обрабатывает сетевой трафик. Например, перегруженные сетевые интерфейсы могут отбрасывать пакеты, приводящие к тайм-аутам (невозможность установить соединение) и сбрасывать соединения (RSTпакет отправлен из-за ошибочного закрытия порта).
Отладка ошибок DNS
Ошибки DNS чаще всего вызваны неправильной конфигурацией. Чтобы отладить ошибки DNS, сделайте следующее:
Посмотрите свои записи DNS. Дважды проверьте , что ваша Aи CNAME запись, указывают на правильный IP — адрес и имя хоста соответственно. Например:
dig +nocmd example.com a +noall +answer
dig +nocmd www.example.com cname +noall +answer
Убедитесь, что все ваши серверы имен указывают на правильные IP-адреса вашего сайта . Например:
dig +nocmd example.com ns +noall +answer example.com. 86400 IN NS a.iana-servers.net. example.com. 86400 IN NS b.iana-servers.net. dig +nocmd @a.iana-servers.net example.com +noall +answer example.com. 86400 IN A 93.184.216.34 dig +nocmd @b.iana-servers.net example.com +noall +answer ...
Если вы внесли изменения в конфигурацию DNS в течение последних 72 часов, возможно, вам придется подождать, пока изменения распространятся по глобальной сети DNS.
Чтобы ускорить изменения, вы можете очистить кеш общедоступного DNS Google
Если вы используете собственный DNS-сервер, убедитесь, что он исправен и не перегружен.
