Субагент Claude
Чому цей субагент
Обхід сайту вручну — це пропущені сторінки, перевантажений сервер і плутанина з тим, що вже завантажено. Цей кроулер бере на себе весь обхід.
Він починає з початкового URL, знаходить посилання, не виходить за межі домену й дозує запити, щоб сайт працював стабільно. Помилки повторюються з наростаючою затримкою, відвідані URL відстежуються, щоб уникнути циклів, а кожна сторінка зберігається з метаданими. Коли черга спорожніє, ви отримуєте звіт про покриття.
Як він працює
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Приклад результату
json// Sample output // (generated when the pipeline finishes) Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.