요즘 사이트는 JavaScript로 렌더링되니까, 단순 HTTP 요청으로는 빈 껍데기만 돌아옵니다. 이 스크래퍼는 실제 브라우저를 구동해서 진짜 로드된 데이터를 가져옵니다.
sonnet1주Browser-UsePlaywrightPostgresAmazon S3
Claude
66ROI
87Scale
$2.2k90Saved
ROI for
README.md
왜 이 서브에이전트인가
요즘 사이트는 JavaScript로 렌더링되니까, 단순 HTTP 요청으로는 빈 껍데기만 돌아옵니다. 이 스크래퍼는 실제 브라우저를 구동해서 진짜 로드된 데이터를 가져옵니다.
SPA가 렌더링될 때까지 기다렸다가 필드를 타입이 있는 JSON으로 추출하고, 저장 전에 모든 레코드를 검증합니다. 정상 데이터는 Postgres에 들어가 바로 쿼리할 수 있고, 원본 JSON은 S3에 백업으로 남기 때문에 레이아웃이 바뀌면 바로 감지됩니다. 데이터셋이 조용히 망가지는 일은 없습니다.
작동 방식
Used at step 01 to kick off the pipeline.
Write
Used at step 01 to kick off the pipeline.
WebFetch
Used at step 01 to kick off the pipeline.
WebSearch
Used at step 01 to kick off the pipeline.
페이지 구조를 기반으로 brittle한 텍스트 오프셋 대신, 지정된 필드를 타입이 명시된 JSON 레코드로 추출합니다.
pending
각 레코드가 예상 형식에 맞는지 검증하고, 형식이 잘못된 데이터는 삭제하거나 플래그를 표시합니다.
pending
JSON을 S3에 저장하고 파싱된 행을 Postgres에 입력해 쿼리 가능하게 만듭니다.
pending
샘플 출력
json
// Sample output
// (generated when the pipeline finishes)
Render a single-page app, extract fields into validated JSON, and write to S3 and Postgres, flagging malformed records.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.