工具概覽
Vellumiq 是一條生產級的檢索增強生成（RAG）管線，旨在解決簡單 LLM 封裝常見的失敗模式，如時間幻覺、重複查詢的高 token 成本以及詞彙不匹配。它基於 FastAPI、Qdrant、FastEmbed 和 Claude 3.5 構建。系統將檢索與生成邏輯隔離，使計算和資料庫資源可以獨立橫向擴充套件。它使用 Claude 3.5、Qdrant、FastAPI，並用 Langfuse/Sentry 做可觀測性。該管線包含多跳查詢分解、查詢規範化、語義快取、時間感知混合搜尋、交叉編碼器重排，以及帶剪枝的糾正式 RAG 等功能。它還提供 API 韌性和成本控制機制，如限流和客戶端斷開處理。前端渲染對映到確定性分塊 ID 的引用，倉庫還包含使用 GitHub Actions 的評估和 CI/CD 管線。
定價
價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用 Vellumiq 自動把複雜的多部分問題分解為子查詢並融合結果。
- 團隊用 Vellumiq 通過語義快取降低重複查詢的 token 成本，答案在 100ms 內返回，且無需 LLM 費用。
- 團隊用 Vellumiq 在混合搜尋中應用時間後設資料約束，以確保時間點上的準確性。
- 團隊用 Vellumiq 通過本地交叉編碼器模型對候選分塊重新打分，提升檢索相關性。
- 團隊用 Vellumiq 對攝取端點限流，防止上下文索引成本無限增長。
- 團隊用 Vellumiq 渲染對映到確定性分塊 ID 的引用，確保沒有幻覺來源。
- 團隊用 Vellumiq 通過評估多項指標的持續整合管線捕獲 RAG 質量的回退。
功能特色
提供檢索增強生成流程
支援橫向擴充套件
結合時間因素進行混合搜尋
通過語義快取複用結果
動態壓縮查詢內容
使用者評論
還沒有評論，來分享你的使用體驗吧