community-automations/web-scraper

リサーチ＆インテリジェンス

PublicClaude サブエージェント

Webスクレイパーエージェント

最近のサイトはJavaScriptでレンダリングされるため、単純なHTTPリクエストでは空の箱しか返ってきません。このスクレイパーは実際のブラウザを操作して、本当に読み込まれたデータを取得します。

sonnet1週間Browser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

このサブエージェントを選ぶ理由

最近のサイトはJavaScriptでレンダリングされるため、単純なHTTPリクエストでは空の箱しか返ってきません。このスクレイパーは実際のブラウザを操作して、本当に読み込まれたデータを取得します。

シングルページアプリのレンダリングを待ち、フィールドを型付きのJSONに抽出して、保存前にすべてのレコードを検証します。クリーンな行はクエリ用にPostgresへ、生のJSONはバックアップとしてS3に保存されるため、レイアウトの変更も検知でき、データセットが知らないうちに壊れることはありません。

動作の流れ

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

出力サンプル

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.