community-automations/web-scraper

Research og innsikt

PublicClaude-subagent

Web scraper-agent

Moderne nettsteder rendrer med JavaScript, så en ren HTTP-forespørsel returnerer et tomt skall. Denne scraperen kjører en ekte nettleser for å få tak i dataene som faktisk lastes inn.

sonnet1 ukeBrowser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

Hvorfor denne subagenten

Moderne nettsteder rendrer med JavaScript, så en ren HTTP-forespørsel returnerer et tomt skall. Denne scraperen kjører en ekte nettleser for å få tak i dataene som faktisk lastes inn.

Den venter på at single-page-appen rendrer, trekker felter ut til typet JSON, og validerer hver post før den lagres. Rene rader går til Postgres for spørringer og rå-JSON-en lander i S3 som backup, så en layout-endring blir fanget i stedet for å stille korrumpere datasettet ditt.

Slik kjører den

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Eksempel på output

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.