Moderne sites renderes med JavaScript, så en almindelig HTTP-forespørgsel returnerer bare en tom skal. Denne scraper styrer en rigtig browser for at få fat i de data, der faktisk indlæses.
sonnet1 ugeBrowser-UsePlaywrightPostgresAmazon S3
Claude
66ROI
87Scale
$2.2k90Saved
ROI for
README.md
Hvorfor denne subagent
Moderne sites renderes med JavaScript, så en almindelig HTTP-forespørgsel returnerer bare en tom skal. Denne scraper styrer en rigtig browser for at få fat i de data, der faktisk indlæses.
Den venter på, at single-page-appen renderes, trækker felterne ud i typet JSON og validerer hver post, før den gemmes. Rene rækker ryger i Postgres til forespørgsler, og den rå JSON lander i S3 som backup, så en layoutændring bliver fanget i stedet for stille og roligt at ødelægge dit datasæt.
Sådan kører den
Used at step 01 to kick off the pipeline.
Write
Used at step 01 to kick off the pipeline.
WebFetch
Used at step 01 to kick off the pipeline.
WebSearch
Used at step 01 to kick off the pipeline.
Udtræk de angivne felter til et struktureret JSON-objekt baseret på sidens struktur, ikke skrøbelige tekstpositioner.
pending
Valider hver post mod det forventede format og kassér eller marker fejlbehæftede data.
pending
Gem JSON-filen i S3 og de parsede rækker i Postgres til forespørgsler.
pending
Eksempel på output
json
// Sample output
// (generated when the pipeline finishes)
Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.