Autonomiczny Crawler

Ręczne przeszukiwanie całej strony kończy się pomijaniem podstron, obciążaniem serwera albo gubieniem się w tym, co już zostało pobrane. Ten crawler ogarnia całe skanowanie.

Od początkowego URL-a odkrywa linki, trzyma się wewnątrz domeny i tak dawkuje żądania, żeby strona nie odczuła obciążenia. Nieudane żądania są ponawiane z narastającym opóźnieniem, odwiedzone URL-e są śledzone, by uniknąć pętli, a każda strona jest zapisywana wraz z metadanymi. Gdy kolejka się opróżni, dostajesz raport pokrycia.