community-automations/web-scraper

리서치 & 인텔

PublicClaude 서브에이전트

웹 스크레이퍼 에이전트

요즘 사이트는 JavaScript로 렌더링되니까, 단순 HTTP 요청으로는 빈 껍데기만 돌아옵니다. 이 스크래퍼는 실제 브라우저를 구동해서 진짜 로드된 데이터를 가져옵니다.

sonnet1주Browser-UsePlaywrightPostgresAmazon S3
ClaudeClaude
ROI for
README.md

왜 이 서브에이전트인가

요즘 사이트는 JavaScript로 렌더링되니까, 단순 HTTP 요청으로는 빈 껍데기만 돌아옵니다. 이 스크래퍼는 실제 브라우저를 구동해서 진짜 로드된 데이터를 가져옵니다.

SPA가 렌더링될 때까지 기다렸다가 필드를 타입이 있는 JSON으로 추출하고, 저장 전에 모든 레코드를 검증합니다. 정상 데이터는 Postgres에 들어가 바로 쿼리할 수 있고, 원본 JSON은 S3에 백업으로 남기 때문에 레이아웃이 바뀌면 바로 감지됩니다. 데이터셋이 조용히 망가지는 일은 없습니다.

작동 방식

    • Read

      Used at step 01 to kick off the pipeline.

    • Write

      Used at step 01 to kick off the pipeline.

    • WebFetch

      Used at step 01 to kick off the pipeline.

    • WebSearch

      Used at step 01 to kick off the pipeline.

샘플 출력

json
// Sample output
// (generated when the pipeline finishes)

Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.

Unlock the rest

The full agent definition, install snippet, and starter task are gated for community members.

Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.