Поисковой робот – это специальная программа поисковой системы, которая используется для индексирования сайтов и их страниц.
Робот сканирует веб-пространство, посещая проиндексированные сайты, переходя по ссылкам и посещая новые ресурсы. Так неизвестные ранее сайты добавляются в индекс поисковой системы. Также боты индексируют обновления.
У каждой поисковой системы несколько ботов, у всех из них свой график обхода сайтов для повторных индексаций и проверки содержимого сайта на актуальность, обновления и т.д.