Поисковый робот (web crawler, веб-краулер) - специальная программа, входящая в состав каждой
поисковой системы. Основная задача робота: сканирование
веб-страниц, известных поисковой системе, с целью обновления данных об их содержимом, а также поиск новых страниц, еще не включенных в индекс.