community-automations/web-scraper

Riset & Intelijen

PublicSubagen Claude

Agen Web Scraper

Situs modern dirender dengan JavaScript, sehingga permintaan HTTP biasa hanya mengembalikan cangkang kosong. Scraper ini mengendalikan browser sungguhan untuk mengambil data yang benar-benar termuat.

sonnet1 mingguBrowser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

Mengapa subagent ini

Situs modern dirender dengan JavaScript, sehingga permintaan HTTP biasa hanya mengembalikan cangkang kosong. Scraper ini mengendalikan browser sungguhan untuk mengambil data yang benar-benar termuat.

Scraper ini menunggu single-page app selesai dirender, mengekstrak field menjadi JSON berjenis, lalu memvalidasi setiap record sebelum disimpan. Baris yang bersih masuk ke Postgres untuk di-query, sedangkan JSON mentahnya disimpan di S3 sebagai cadangan. Dengan begitu, perubahan layout bisa langsung terdeteksi, bukan diam-diam merusak dataset Anda.

Cara kerjanya

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Contoh output

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.