Cách chia chunk thô sơ sẽ cắt đôi câu chữ, khiến kết quả truy xuất chỉ là mớ vô nghĩa. Pipeline này chia tài liệu Drive theo ngữ nghĩa, nên mỗi mảnh vẫn trọn vẹn ý nghĩa khi đứng riêng.
Cách chia chunk thô sơ sẽ cắt đôi câu chữ, khiến kết quả truy xuất chỉ là mớ vô nghĩa. Pipeline này chia tài liệu Drive theo ngữ nghĩa, nên mỗi mảnh vẫn trọn vẹn ý nghĩa khi đứng riêng.
Nó ghép ngữ cảnh của từng phần vào đầu mỗi chunk trước khi embedding vào Pinecone, rồi đánh chỉ mục lại theo lịch định kỳ. Thành quả là khả năng truy xuất thực sự đưa ra câu trả lời, chứ không phải những mảnh vụn chắp vá từ giữa đoạn.
Cách vận hành
Used at step 01 to kick off the pipeline.
Write
Used at step 01 to kick off the pipeline.
WebFetch
Used at step 01 to kick off the pipeline.
WebSearch
Used at step 01 to kick off the pipeline.
Mang theo tóm tắt ngắn gọn của phần nội dung cha vào mỗi đoạn văn bản để đảm bảo ý nghĩa không bị mất khi tách rời.
pending
Mã hóa các đoạn văn bản đã được làm giàu và upsert chúng vào Pinecone cùng siêu dữ liệu về tệp và phân đoạn.
pending
Tái chỉ mục các tệp thay đổi theo lịch trình cố định để duy trì độ chính xác khi tài liệu được cập nhật.
pending
Ví dụ đầu ra
json
// Sample output
// (generated when the pipeline finishes)
Chunk the document by semantic section, prepend a one-line section summary to each chunk, then return embed-ready records.
Unlock the rest
The full agent definition, install snippet, and starter task are gated for community members.
Members get the full `.md` agent file, the npm / pnpm install one-liners, a starter prompt that we've tuned against real runs, and the open-source repo when this automation ships there. One email, magic link, done.