community-automations/web-scraper

Tutkimus & markkinatiedot

PublicClaude-subagentti

Web-kaavija-agentti

Nykyaikaiset sivustot renderöityvät JavaScriptillä, joten pelkkä HTTP-pyyntö palauttaa tyhjän kuoren. Tämä kaappuri ajaa oikeaa selainta ja saa sen datan, joka todella latautuu.

sonnet1 viikkoBrowser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

Miksi tämä subagentti

Nykyaikaiset sivustot renderöityvät JavaScriptillä, joten pelkkä HTTP-pyyntö palauttaa tyhjän kuoren. Tämä kaappuri ajaa oikeaa selainta ja saa sen datan, joka todella latautuu.

Se odottaa, että single-page-sovellus renderöityy, purkaa kentät tyypitetyksi JSONiksi ja validoi jokaisen tietueen ennen tallennusta. Puhtaat rivit menevät Postgresiin kyselyä varten ja raaka-JSON tallentuu S3:een varmuuskopioksi, joten layout-muutos huomataan sen sijaan, että se hiljaisesti sotkisi datasettisi.

Kuinka se toimii

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Näyteulostulo

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.