rag-study-buddy

RAG Study Buddy 是一個本地的檢索增強生成（RAG）應用，用於針對 PDF 學習筆記提問。它使用 Sentence Transformers、ChromaDB 和 Ollama。該專案是作為動手學習專案構建的，用於理解 RAG 流水線的各個組成部分，包括文件處理、分塊、嵌入、向量檢索和有依據的 LLM 生成。它允許使用者新增 PDF 學習資料、提取文件文本並分塊、生成語義嵌入、把嵌入存入向量資料庫、為問題檢索相關的片段、使用本地託管的 LLM 生成答案，並檢視檢索時使用的文件片段。流水線用 PyPDF 載入 PDF，把提取的文本劃分為有重疊的片段，使用 Sentence Transformers 的 all-MiniLM-L6-v2 把每個片段轉換成稠密向量，並把嵌入、原始文本和來源後設資料存入 ChromaDB。對於一個問題，系統用同一個模型對問題做嵌入，進行向量相似度搜索，把檢索到的片段加入提示詞，並通過 Ollama 傳送給本地執行的 Llama 3.2 模型。模型被要求只使用所提供的上下文來回答。向量資料庫和 LLM 都在本地執行，該專案回答問題時不需要託管的 LLM API。