community-automations/autonomous-crawler

リサーチ＆インテリジェンス

PublicClaude サブエージェント

自律型クローラー

サイト全体を手作業でクロールすると、ページの取りこぼし、サーバーへの過剰な負荷、取得済みURLの管理漏れが起きがちです。このクローラーは、一連の巡回をすべて管理します。

sonnet4日PlaywrightPythonRedisPostgres
ClaudeClaude
ROI for
README.md

このサブエージェントを選ぶ理由

サイト全体を手作業でクロールすると、ページの取りこぼし、サーバーへの過剰な負荷、取得済みURLの管理漏れが起きがちです。このクローラーは、一連の巡回をすべて管理します。

シードURLからリンクを発見してドメイン内にとどまり、サイト側に負担をかけないようリクエストの間隔を調整します。失敗時はバックオフ付きで再試行し、訪問済みURLを記録してループを防止。すべてのページをメタデータとともに保存します。キューが空になると、カバレッジレポートが届きます。

動作の流れ

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

出力サンプル

json
// Sample output
// (generated when the pipeline finishes)

Crawl a single domain from a seed URL with rate limiting, retries, and dedup, storing each page and reporting coverage.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.