Сканирование

Сканирование (краулинг) в контексте поисковых систем и SEO относится к процессу, в ходе которого поисковые системы, такие как Google, Bing и Yandex, используют автоматические программы-роботы (краулеры или пауки) для обхода и анализа веб-страниц в Интернете. Краулеры находят веб-страницы и обновления