단순 청킹은 문장을 중간에서 잘라버리고, 검색 결과는 앞뒤가 맞지 않습니다. 이 파이프라인은 Drive 문서를 의미 단위로 청킹하여 각 조각이 단독으로도 온전히 이해되도록 합니다.
임베딩 전 모든 청크에 섹션 맥락을 붙여 Pinecone에 저장하고, 주기적으로 재인덱싱합니다. 그 결과 진짜 답을 주는 검색이 가능해집니다. 문단 중간에서 잘라 붙인 조각이 아니라요.
작동 방식
Used at step 01 to kick off the pipeline.
Write
Used at step 01 to kick off the pipeline.
WebFetch
Used at step 01 to kick off the pipeline.
WebSearch
Used at step 01 to kick off the pipeline.
부모 섹션의 요약을 각 청크에 포함시켜, 고립된 텍스트도 맥락을 유지하도록 합니다.
pending
보강된 청크를 임베딩하여 파일 및 섹션 메타데이터와 함께 Pinecone에 업서트(Upsert)합니다.
pending
문서가 변경될 때마다 재인덱싱하여 문서가 진화해도 검색 정확도를 유지합니다.
pending
샘플 출력
json
// Sample output
// (generated when the pipeline finishes)
Chunk the document by semantic section, prepend a one-line section summary to each chunk, then return embed-ready records.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.