工具概覽
desafio-cosmeticbot 是一個化妝品聊天機器人的可復現評測套件和質量保證（QA）流水線的倉庫。它是在 Desafio do Mês 1 期間開發的，包含架構、測試套件和以使用者體驗與系統安全為重點的 QA 流水線。該生態在本地執行基礎模型，使用 DeepEval 和 Pytest 進行確定性驗證、回覆合規審計，並通過 LLM-as-a-Judge 策略緩解幻覺。
本地基礎設施基於 Ollama。機器人模型是通過本地 Ollama 執行的 Llama 3.1 8B，裁判模型同樣是通過本地 Ollama 執行的 Llama 3.1 8B。倉庫包含 chatbot.py、juiz.py、golden_dataset.py、test_suite.py 和 main.py 等模組。黃金資料集是由 16 個獨立測試用例組成的矩陣，分屬四個關鍵驗證類別。
質量驗證使用三項核心指標，並設有嚴格閾值：Answer Relevancy（≥ 0.7）、Faithfulness（≥ 0.8）和 G-Eval de Conformidade de Claims（≥ 0.8）。專案還報告了初始測試 100% 失敗的基線，以及圍繞系統提示詞原則的重構階段，包括清晰的人設界定、針對疾病情形的字面化指令，以及阻斷外部知識。
定價
價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用 desafio-cosmeticbot，通過 DeepEval 和 Pytest 對聊天機器人回覆進行確定性驗證和合規審計。
- 團隊用 desafio-cosmeticbot，通過 Answer Relevancy 衡量助手是否直接回應使用者需求而沒有偏離範圍。
- 團隊用 desafio-cosmeticbot 檢查對官方目錄的忠實度，並懲罰關於配方、價格或成分的幻覺。
- 團隊用 desafio-cosmeticbot 審計臨床護欄，確保模型避免做出治癒承諾，並建議使用者去看皮膚科醫生。
- 團隊用 desafio-cosmeticbot 評估由 16 個獨立測試用例組成的黃金資料集，涵蓋四個關鍵驗證類別。
- 團隊用 desafio-cosmeticbot 通過統一的 CLI 生成表格化的可視報告，並執行互動式聊天模式。
- 團隊用 desafio-cosmeticbot 通過 Pytest 在 CI/CD 流水線中執行自動化單元測試套件。
- 團隊用 desafio-cosmeticbot 藉助基於 Ollama 的基礎設施在本地零成本執行。
功能特色
在本地執行美妝聊天機器人
通過 Ollama 使用 Llama 3.1 8B
使用 DeepEval 檢查回答相關性
評估回答的忠實度
測試聊天機器人的關鍵護欄
使用 Pytest 執行自動化審查
依據既定黃金資料集進行評估
使用者評論
還沒有評論，來分享你的使用體驗吧