Naiv chunking delar en mening mitt itu och hämtningen returnerar nonsens. Den här pipelinen delar Drive-dokument efter innebörd, så att varje del förblir begriplig på egen hand.
Naiv chunking delar en mening mitt itu och hämtningen returnerar nonsens. Den här pipelinen delar Drive-dokument efter innebörd, så att varje del förblir begriplig på egen hand.
Den lägger avsnittskontext först i varje del innan embedding i Pinecone och indexerar sedan om enligt schema. Vinsten är hämtning som faktiskt svarar, inte fragment hopsydda mitt i ett stycke.
Så kör den
Used at step 01 to kick off the pipeline.
Write
Used at step 01 to kick off the pipeline.
WebFetch
Used at step 01 to kick off the pipeline.
WebSearch
Used at step 01 to kick off the pipeline.
Bär med en kort sammanfattning av det överordnade avsnittet in i varje del så att isolerad text behåller sin innebörd.
pending
Embedda de berikade delarna och upserta dem i Pinecone med fil- och avsnittsmetadata.
pending
Indexera om ändrade filer enligt schema så att hämtningen förblir korrekt när dokumenten utvecklas.
pending
Exempel på output
json
// Sample output
// (generated when the pipeline finishes)
Chunk the document by semantic section, prepend a one-line section summary to each chunk, then return embed-ready records.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.