Веб-сайты, содержащие десятки, а то и сотни тысяч страниц, руками не проверишь, для адекватного SEO-аудита используют программы-краулеры, благодаря которым ресурсы сканируются в автоматическом режиме. Обычно для этих целей используются две общепризнанные во всём мире программы:
- Netpeak Spider (промокод в конце статьи)
- Screaming Frog SEO Spider
В результате сканирования вебмастера могут увидеть полную картину технического состояния сайта с точки зрения поискового продвижения. Опытный SEO-специалист интерпретирует результаты и найдет корреляции с получаемым трафиком и позициями сайта в поисковой выдаче.
Краткий обзор Netpeak Spider
Интерфейс выглядит вот так:
Можно переключиться на Дашборд, который покажет общую картину по техническому состоянию сайта:
В этом видео CEO Netpeak Software Alex Wise рассказывает об обновлённом инструменте Netpeak Spider 3.7:
Netpeak Spider — это десктопная программа для анализа технической составляющей веб-сайтов, которая сканирует ресурсы на предмет ошибок с точки зрения поискового продвижения (SEO), её основные возможности:
- Проверка 70+ основных SEO-параметров;
- Определение 80+ ключевых ошибок внутренней оптимизации;
- Кастомный парсинг сайтов;
- Интеграции с Google Analytics, Search Console и Яндекс.Метрика;
- Сегментация данных;
- Анализ входящих и исходящих внутренних ссылок;
- Обнаружение битых ссылок и редиректов;
- Определение дублирования контента: страниц, Title, Meta Description, заголовков h1 и т.д.;
- Учёт инструкции по индексации (robots.txt, Meta Robots, X-Robots-Tag, Canonical);
- Аудит оптимизации сайта в PDF с функцией white label;
- Мультидоменное сканирование;
- Генерация и валидация XML Sitemap;
- Встроенный инструмент для анализа исходного кода и HTTP-заголовков;
- Расчёт внутреннего PageRank страниц для улучшения внутренней перелинковки сайта;
- Настройка собственных правил сканирования для обхода определённой части сайта;
- Сохранение и экспорт полученных данных в форматах Excel, PDF, Google Drive / Sheets для последующей работы.
Краткий обзор Screaming Frog SEO Spider
Интерфейс программы:
В видео вы найдете практические рекомендации по работе со Скримин Фрог, а также узнаете основные моменты, на которые стоит обратить внимание при проведении постраничной оптимизации: советы по написанию title, description, заголовков, формированию URL-адресов страниц и многое другое.
Screaming Frog SEO Spider — аналог Netpeak Spider’a со своими плюсами и минусами. Что умеет программа:
- Поиск битых страниц и страниц с редиректами, отображение анкоров;
- Поиск страниц с короткими, длинными, дублирующимися тегами title / description;
- Поиск страниц, на которых тег h1 дублируется или отсутствует;
- Поиск изображений с отсутствующими и длинными атрибутами alt и title тега img;
- Отображение информации по атрибутам rel=»canonical», rel=»next», rel=»prev» тега link;
- Выгрузка содержимого по регулярному выражению (например, парсинг всех <strong> тегов).
- Отображение структуры сайта и уровня вложенности страниц;
- Проверка времени загрузки страниц;
Мне нравятся обе программы, но Netpeak Spider выигрывает по удобству и скорости, а это важно, когда имеешь дело с большим e-commerce.
Сравнение Netpeak Spider vs Screaming Frog SEO Spider
- Паук сканирует быстрее чем лягушка
- Пауку можно задать параметры сканирования, отключив ненужное
- В лягушке есть визуализация структуры сайта, в пауке пока нет
- Пауку можно задать сколько угодно прокси серверов, лягушке только один :'(
Netpeak Spider: цены и скидки с официального сайта
Актуальная информация по ценам на скрине. При годовой оплате можно получить дополнительную скидку 20%.
Как купить ещё дешевле: промокод для подписчиков
Удалось договориться на дополнительную скидку в размере 25% на первую покупку для подписчиков телеграм канала SEO-специалист: https://t.me/seospecialist
Подпишитесь на канал, введите промокод HaismanNS и получите дополнительную скидку 25%
Статьи по теме:
- Обзор ТОП-6 парсеров сайтов от Siteclinic: https://siteclinic.ru/blog/seo-instrumenty/obzor-parserov/
- Обзор Netpeak Spider 3.7: https://netpeaksoftware.com/ru/blog/netpeak-spider-3-7-mikrorazmetka-i-integratsiya-s-google-drive
- Обзор Screaming Frog SEO Spider: https://semantica.in/blog/tekhnicheskij-audit-sajta-s-pomoshhyu-screaming-frog-seo-spider.html
Я не знаю какой, скажем так, чудак придумал систему подписки на программные продукты, но этот человек поднасрал миллионам. Ибо есть определенный тип людей (и я к таким отношусь), который ненавидит использовать продукты по подписке. Я готов забашлять разово, я готов даже переплатить, если продукт стоит того, но подписываться на вечную аренду — это настолько противоречит моим жизненным утсановкам, что я не буду делать это никогда.
Я пишу это не для того, чтобы кого-то обидеть или оскорбить. Я пишу это для разработчиков программного обеспечения — придумайте формат продукта для таких как я. Может быть какую-то условно урезанную версию или версию без апгрейдов (!) или еще что-то в таком духе. Но это должен быть продукт по схеме «купил и ползуешься».
Полностью поддерживаю Николая.
Добрый день, Николай!
Мы сознательно отказались от модели единоразового платежа, потому что мы стремимся постоянно развиваться и улучшать продукт.
Думаю, если вы задумаетесь, то вряд ли назовёте качественный инструмент, который постоянно радует крутыми обновлениями, и при этом заплатили вы за него всего 1 раз сто лет назад. Это просто нерентабельно с точки зрения бизнеса, в нашем случае уж точно.
А также мы сознательно пошли на то, чтобы наши обновления были доступны всем пользователям, и чтобы не нужно было сначала заплатить большую сумму в размере нескольких годовых подписок просто за доступ к продукту, а потом ещё и доплачивать за обновления.
Мы же предлагаем платить небольшую сумму за инструмент тогда, когда он вам действительно нужен.
Поэтому просто регистрируйтесь, пользуйтесь 2 недели неограниченным по функционалу продуктом (что опять-таки наше сознательное решение), оцените свою потребность в нём, и итоговое решение уже за вами 🙂
Возможно, что-то будет меняться в будущем, но пока дела обстоят именно так.
Добрый день, Александра.
Вы как будто пытаетесь меня переубедить, а этого делать не надо. У вас это не получится. Вы можете или услышать меня, мои доводы и подстроить свою коммерческую модель под меня (и тогда получите еще одного клиента в моем лице) или не делать этого и оставаться с текущей аудиторией.
Безусловно, я понимаю, что я далеко нерепрезентативен и большинство с радостью хавает подписной формат. Ну чтоже, вам выгодно стричь с них деньги, а с таких как я невыгодно. Ок. Если бы я делал свой продукт и протестировав обе модели платежей, увидел что подписка приносит больше, я бы тоже наверное выбрал этот формат.
Но! Не надо мне доказывать что этот формат лучше. Этот формат хуже. Точка. Он неудобнее, он ставит меня в зависимость, повышает вероятность отключения рабочего инструмента в связи с моей забывчивостью (забыл оплатить) или риск лишних трат — когда продукт уже не нужен, а я забыл отключить ежемесячный платеж. Не надо называть черное белым, пожалуйста. Ежемесячные платежи — это неудобно.
Вы аппелируете к регулярным обновлениям как к какому-то благу. В моем мире обновления, как правило, зло. Мне они в большинстве случаев не нужны. Я увидел функционал, оценил его, купил. Если меня не устраивает фаункционал, я не буду его покупать. Если вышел новый функционал, которй мне нужен, я готов за него разово заплатить (за апгрейд). Покупать же продукт с надеждой что когда-то выйдет какой-то новый апгрейд с полезными фичами это какой-то сверх-романтизм. Может быть это свойстенно 14-летним девочкам, не знаю, но не мне ))
Есть замечательные продукты, которые берут деньги или разово или только за предоставленные услуги. Топвизор, inspecto.me — это сервисы, где ты платишь за количество проведенных операций. С ними все понятно — надо пропарсить сайт в 1000 страниц, умножил на ставку, заплатил, пропарсил. Ну и знаменитый кейколлектор, который берет разово за лицензию и выпускает бесплатные апгрейды чуть ли не раз в три дня.
ПС: кстати, цены в долларах в российском сегменте выглядят странно )
Ни в коем случае не пытаюсь переубедить, я прекрасно понимаю, что у вас есть своя неизменная позиция.) Я просто хотела пояснить и аргументировать нашу позицию на этот счёт, так как мы рассматривали разные модели оплат.
А цены указаны в долларах, так как у нас единый прайсинг для русскоязычной и англоязычной аудиторий. Это, как минимум, удобнее 🙂
здравствуйте!
у нас сайт на платформе prom.ua и ни одним из инструментов не получилось нормально просканировать, после сканирования нескольких страниц выдает ошибку((
может есть готовые рецепты как это сделать, помогите разобраться
будет это спайдер или фрог без разницы, главное чтоб работало
Ваш случай встречается нам не в первый раз, к сожалению, данная проблема вызвана политикой безопасности сайтов на платформе prom.ua.
Вариант обхода 1 (медленный, но бесплатный) — ставим 1 поток и задержку в 10 секунд (10000мс). Будет сканировать, но очень медленно.
Вариант обхода 2 (быстрый, платный) — покупаем прокси, прописываем их в спайдере и устанавливаем количество потоков, равное количеству купленных прокси.
Спасибо вам большое за информацию.