community-automations/autonomous-crawler

Tutkimus & markkinatiedot

PublicClaude-subagentti

Autonominen indeksoija

Koko sivuston käsin indeksointi tarkoittaa hukattuja sivuja, palvelimen kuormittamista tai kadonnutta käsitystä siitä, mitä on jo haettu. Tämä indeksoija hoitaa koko haravoinnin.

sonnet4 päivääPlaywrightPythonRedisPostgres
ClaudeClaude
ROI for
README.md

Miksi tämä subagentti

Koko sivuston käsin indeksointi tarkoittaa hukattuja sivuja, palvelimen kuormittamista tai kadonnutta käsitystä siitä, mitä on jo haettu. Tämä indeksoija hoitaa koko haravoinnin.

Siemen-URL:stä se löytää linkit, pysyy domainin sisällä ja rytmittää pyynnöt niin, että sivusto pysyy tyytyväisenä. Epäonnistumiset yritetään uudelleen backoffilla, vieraillut URL:t pidetään kirjassa silmukoiden välttämiseksi, ja jokainen sivu tallennetaan metatietoineen. Kun jono tyhjenee, saat kattavuusraportin.

Kuinka se toimii

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Näyteulostulo

json
// Sample output
// (generated when the pipeline finishes)

Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.