community-automations/web-scraper

Research og indsigt

PublicClaude-subagent

Webscraper-agent

Moderne sites renderes med JavaScript, så en almindelig HTTP-forespørgsel returnerer bare en tom skal. Denne scraper styrer en rigtig browser for at få fat i de data, der faktisk indlæses.

sonnet1 ugeBrowser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

Hvorfor denne subagent

Moderne sites renderes med JavaScript, så en almindelig HTTP-forespørgsel returnerer bare en tom skal. Denne scraper styrer en rigtig browser for at få fat i de data, der faktisk indlæses.

Den venter på, at single-page-appen renderes, trækker felterne ud i typet JSON og validerer hver post, før den gemmes. Rene rækker ryger i Postgres til forespørgsler, og den rå JSON lander i S3 som backup, så en layoutændring bliver fanget i stedet for stille og roligt at ødelægge dit datasæt.

Sådan kører den

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Eksempel på output

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.