Nykyaikaiset sivustot renderöityvät JavaScriptillä, joten pelkkä HTTP-pyyntö palauttaa tyhjän kuoren. Tämä kaappuri ajaa oikeaa selainta ja saa sen datan, joka todella latautuu.
Nykyaikaiset sivustot renderöityvät JavaScriptillä, joten pelkkä HTTP-pyyntö palauttaa tyhjän kuoren. Tämä kaappuri ajaa oikeaa selainta ja saa sen datan, joka todella latautuu.
Se odottaa, että single-page-sovellus renderöityy, purkaa kentät tyypitetyksi JSONiksi ja validoi jokaisen tietueen ennen tallennusta. Puhtaat rivit menevät Postgresiin kyselyä varten ja raaka-JSON tallentuu S3:een varmuuskopioksi, joten layout-muutos huomataan sen sijaan, että se hiljaisesti sotkisi datasettisi.
Kuinka se toimii
Used at step 01 to kick off the pipeline.
Write
Used at step 01 to kick off the pipeline.
WebFetch
Used at step 01 to kick off the pipeline.
WebSearch
Used at step 01 to kick off the pipeline.
Pura listatut kentät tyyppitettyyn JSON-tietueeseen sivuston rakenteen avulla äläkä luota hauraisiin tekstikohtiin.
pending
Validoi jokainen tietue odotetun muodon mukaiseksi ja hylkää tai merkitse vialliset kohteet.
pending
Kirjoita JSON S3:aan ja puretut rivit Postgresiin kyselyitä varten.
pending
Näyteulostulo
json
// Sample output
// (generated when the pipeline finishes)
Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.