工具概览
llm-app 是一个即用型 LLM 应用模板仓库，基于 Pathway Live Data Framework 的 AI Pipelines 构建。据该项目介绍，这些 pipeline 让开发者能够将 AI 应用投入生产，利用其数据源中可用的最新知识，大规模提供高精度 RAG 和 AI 企业搜索。这些模板可在本地机器上测试，并可部署到云端（GCP、AWS、Azure、Render）或本地部署。
这些应用可连接并同步文件系统、Google Drive、Sharepoint、S3、Kafka、PostgreSQL 和实时数据 API 上的数据源，涵盖新增、删除和更新数据。它们包含内置数据索引，支持向量搜索、混合搜索和全文搜索，在内存中配合缓存完成，并且没有需要单独设置的基础设施依赖。
该仓库列出的模板包括 Question-Answering RAG App、Live Document Indexing（vector store / retriever）、使用 GPT-4o 的 Multimodal RAG pipeline、带 SQL 问答的 Unstructured-to-SQL pipeline、Adaptive RAG、使用 Mistral 和 Ollama 的 Private RAG App、Slides AI Search，以及使用 TwelveLabs 的 Video RAG。这些模板被描述为可扩展到数百万页文档，并且 pipeline 步骤可以更改，例如添加新数据源或将向量索引切换为混合索引。
这些应用可作为 Docker 容器运行，并暴露 HTTP API 以连接前端，部分模板还包含可选的 Streamlit UI。它们依赖 Pathway Live Data Framework 进行数据源同步和处理 API 请求。
定价
价格与限制可能变化，请以官网为准，并确认币种、付款周期、最低席位数和用量上限。
应用场景
- 团队使用 Question-Answering RAG App，在实时连接的数据源上针对其 PDF 和 DOCX 文档查询获取答案。
- 团队使用 Live Document Indexing 作为可搭配任意前端的 vector store 服务，或作为 Langchain 或 Llamaindex 应用的 retriever 后端。
- 团队使用 GPT4o 的 Multimodal RAG pipeline 从其文件夹中的非结构化财务文档中提取信息，包括图表和表格。
- 团队使用 Unstructured-to-SQL pipeline 将财务报告 PDF 结构化到 PostgreSQL 表中，并通过将自然语言查询转换为 SQL 来回答这些查询。
- 团队使用 Adaptive RAG App 在保持准确性的同时降低 RAG 中的 token 成本。
- 团队使用 Private RAG App 搭配 Mistral 和 Ollama 运行完全私有、本地的问答 RAG pipeline。
- 团队使用 Slides AI Search App 索引 PowerPoint 和 PDF 幻灯片，并维护其幻灯片的实时索引。
- 团队使用 Video RAG 搭配 TwelveLabs 在实时连接的数据源上针对其视频提问。
功能特性
AI 助手
自然语言界面
工作流自动化
用户评论
还没有评论，来分享你的使用体验吧