community-automations/data-forge-url

Research & intel

PublicClaude-subagent

URL-data-extractor

Gestructureerde data van een webpagina trekken betekent meestal een eenmalige scraper schrijven die breekt zodra de site verandert. Deze extractor neemt in plaats daarvan een URL en een schema.

sonnet4 dagenFirecrawlPlaywrightOpenAIPostgres
ClaudeClaude
ROI for
README.md

Waarom deze subagent

Gestructureerde data van een webpagina trekken betekent meestal een eenmalige scraper schrijven die breekt zodra de site verandert. Deze extractor neemt in plaats daarvan een URL en een schema.

Jij beschrijft de velden die je wilt, en het rendert de pagina, koppelt de elementen en geeft schone, gevalideerde records terug. Wissel van site door van schema te wisselen; geen nieuwe scraper te schrijven, en elk veld dat de pagina mist wordt gesignaleerd in plaats van verzonnen.

Hoe hij werkt

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

Voorbeelduitvoer

json
// Sample output
// (generated when the pipeline finishes)

Given a URL and a target schema, extract matching records as JSON conforming to the schema; set missing fields null and never invent values.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.