community-automations/data-forge-url

리서치 & 인텔

PublicClaude 서브에이전트

URL 데이터 추출기

웹페이지에서 구조화된 데이터를 뽑으려면 보통 일회용 스크래퍼를 작성하게 되는데, 사이트가 조금만 바뀌어도 바로 깨집니다. 이 추출기는 대신 URL과 스키마만 받습니다.

sonnet4일FirecrawlPlaywrightOpenAIPostgres
ClaudeClaude
ROI for
README.md

왜 이 서브에이전트인가

웹페이지에서 구조화된 데이터를 뽑으려면 보통 일회용 스크래퍼를 작성하게 되는데, 사이트가 조금만 바뀌어도 바로 깨집니다. 이 추출기는 대신 URL과 스키마만 받습니다.

원하는 필드를 지정하면 페이지를 렌더링하고, 요소를 매핑하고, 검증된 깔끔한 레코드를 반환합니다. 사이트를 바꾸려면 스키마만 바꾸면 됩니다. 새 스크래퍼를 쓸 필요가 없고, 페이지에 없는 필드는 덮어씌우지 않고 플래그로 알려줍니다.

작동 방식

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

샘플 출력

json
// Sample output
// (generated when the pipeline finishes)

Given a URL and a target schema, extract matching records as JSON conforming to the schema; set missing fields null and never invent values.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.