community-automations/web-scraper

Investigação e Inteligência

PublicSubagente Claude

Agente Web Scraper

Os sites modernos renderizam com JavaScript, por isso um simples pedido HTTP devolve uma casca vazia. Este scraper conduz um browser real para obter os dados que realmente carregam.

sonnet1 semanaBrowser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

Porquê este subagente

Os sites modernos renderizam com JavaScript, por isso um simples pedido HTTP devolve uma casca vazia. Este scraper conduz um browser real para obter os dados que realmente carregam.

Espera que a single-page app renderize, extrai os campos para JSON tipado e valida cada registo antes de o guardar. As linhas limpas vão para o Postgres para consulta e o JSON em bruto fica no S3 como backup, para que uma mudança de layout seja detetada em vez de corromper silenciosamente o teu dataset.

Como funciona

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Saída de exemplo

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.