工具概覽
llm-app 是一個即用型 LLM 應用模板倉庫，基於 Pathway Live Data Framework 的 AI Pipelines 構建。據該專案介紹，這些 pipeline 讓開發者能夠將 AI 應用投入生產，利用其資料來源中可用的最新知識，大規模提供高精度 RAG 和 AI 企業搜尋。這些模板可在本地機器上測試，並可部署到雲端（GCP、AWS、Azure、Render）或本地部署。
這些應用可連線並同步檔案系統、Google Drive、Sharepoint、S3、Kafka、PostgreSQL 和即時資料 API 上的資料來源，涵蓋新增、刪除和更新資料。它們包含內建資料索引，支援向量搜尋、混合搜尋和全文搜尋，在記憶體中配合快取完成，並且沒有需要單獨設定的基礎設施依賴。
該倉庫列出的模板包括 Question-Answering RAG App、Live Document Indexing（vector store / retriever）、使用 GPT-4o 的 Multimodal RAG pipeline、帶 SQL 問答的 Unstructured-to-SQL pipeline、Adaptive RAG、使用 Mistral 和 Ollama 的 Private RAG App、Slides AI Search，以及使用 TwelveLabs 的 Video RAG。這些模板被描述為可擴充套件到數百萬頁文件，並且 pipeline 步驟可以更改，例如新增新資料來源或將向量索引切換為混合索引。
這些應用可作為 Docker 容器執行，並暴露 HTTP API 以連線前端，部分模板還包含可選的 Streamlit UI。它們依賴 Pathway Live Data Framework 進行資料來源同步和處理 API 請求。
定價
價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊使用 Question-Answering RAG App，在即時連線的資料來源上針對其 PDF 和 DOCX 文件查詢獲取答案。
- 團隊使用 Live Document Indexing 作為可搭配任意前端的 vector store 服務，或作為 Langchain 或 Llamaindex 應用的 retriever 後端。
- 團隊使用 GPT4o 的 Multimodal RAG pipeline 從其資料夾中的非結構化財務文件中提取資訊，包括圖表和表格。
- 團隊使用 Unstructured-to-SQL pipeline 將財務報告 PDF 結構化到 PostgreSQL 表中，並通過將自然語言查詢轉換為 SQL 來回答這些查詢。
- 團隊使用 Adaptive RAG App 在保持準確性的同時降低 RAG 中的 token 成本。
- 團隊使用 Private RAG App 搭配 Mistral 和 Ollama 執行完全私有、本地的問答 RAG pipeline。
- 團隊使用 Slides AI Search App 索引 PowerPoint 和 PDF 幻燈片，並維護其幻燈片的即時索引。
- 團隊使用 Video RAG 搭配 TwelveLabs 在即時連線的資料來源上針對其影片提問。
功能特色
提供開箱即用的雲端模板
提供檢索增強生成應用模板
支援搭建 AI 處理流程
基於即時資料構建企業搜尋
支援通過 Docker 執行
與 SharePoint 和 Google Drive 保持同步
與 S3、Kafka 和 PostgreSQL 保持同步
與即時資料 API 保持同步
使用者評論
還沒有評論，來分享你的使用體驗吧