Υποπράκτορας Claude
Γιατί αυτός ο subagent
Το crawling ενός ολόκληρου site με το χέρι σημαίνει χαμένες σελίδες, υπερφόρτωση του server ή απώλεια ελέγχου για το τι έχετε ήδη κατεβάσει. Αυτός ο crawler διαχειρίζεται ολόκληρη τη σάρωση.
Ξεκινώντας από ένα seed URL, ανακαλύπτει συνδέσμους, μένει μέσα στο domain και ρυθμίζει τα requests ώστε το site να μην επιβαρύνεται. Οι αποτυχίες ξαναδοκιμάζονται με backoff, τα URL που έχουν επισκεφθεί καταγράφονται για να αποφεύγονται οι βρόχοι και κάθε σελίδα αποθηκεύεται μαζί με τα μεταδεδομένα της. Όταν η ουρά αδειάσει, παίρνετε μια αναφορά κάλυψης.
Πώς λειτουργεί
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Used at step 01 to kick off the pipeline.
Δείγμα εξόδου
json// Sample output // (generated when the pipeline finishes) Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.