eval_rag

EvalRAG 是基於 SEC 10-K 檔案的檢索增強問答系統。它通過度量而非猜測來改進，回答關於某家公司申報檔案的問題，並返回用於生成每個回答的來源片段。專案對 8 家公司的最新 10-K 檔案執行 RAG，在 Chroma 中存有約 4,900 個片段。每次流水線改動都通過 eval.py 使用四個 RAGAS 指標進行評估，使檢索的改進可度量、可復現。評估紀律把檢索器指標與生成器指標分開：context_precision 和 context_recall 評價檢索器，faithfulness 和 answer_relevancy 評價生成器。這種區分有助於找出是哪個子系統出了問題，並實現有針對性的修復。其架構包括離線攝取環節——從 SEC EDGAR 經 HTML 轉換、章節切分、分塊、嵌入，到存入 Chroma——以及線上查詢環節：識別公司、進行向量搜尋、用 LLM 重排序，並用 gpt-4o-mini 生成回答。技術棧包括 Python、LangChain、OpenAI、ChromaDB、RAGAS、FastAPI 和 BeautifulSoup。