community-automations/web-scraper

Ricerca & Intelligence

PublicSubagent Claude

Agente web scraper

I siti moderni si renderizzano con JavaScript, quindi una semplice richiesta HTTP restituisce un guscio vuoto. Questo scraper pilota un browser reale per ottenere i dati che si caricano davvero.

sonnet1 settimanaBrowser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

Perché questo subagent

I siti moderni si renderizzano con JavaScript, quindi una semplice richiesta HTTP restituisce un guscio vuoto. Questo scraper pilota un browser reale per ottenere i dati che si caricano davvero.

Attende che la single-page app si renderizzi, estrae i campi in JSON tipizzato e valida ogni record prima di salvarlo. Le righe pulite vanno su Postgres per l'interrogazione e il JSON grezzo finisce su S3 come backup, così una modifica al layout viene colta invece di corrompere in silenzio il tuo dataset.

Come gira

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Esempio di output

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.