community-automations/web-scraper

Investigación e Inteligencia

PublicSubagente de Claude

Agente web scraper

Las webs modernas se renderizan con JavaScript, así que una petición HTTP simple devuelve una cáscara vacía. Este scraper maneja un navegador real para obtener los datos que de verdad se cargan.

sonnet1 semanaBrowser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

Por qué este subagente

Las webs modernas se renderizan con JavaScript, así que una petición HTTP simple devuelve una cáscara vacía. Este scraper maneja un navegador real para obtener los datos que de verdad se cargan.

Espera a que la single-page app renderice, extrae los campos en JSON tipado y valida cada registro antes de guardarlo. Las filas limpias van a Postgres para consultarlas y el JSON en bruto aterriza en S3 como copia de seguridad, así un cambio de maquetación se detecta en vez de corromper tu dataset en silencio.

Cómo se ejecuta

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Salida de ejemplo

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.