工具概覽
該專案是基於開源 Hugging Face 模型構建的輕量級、對 CPU 友好的 AI 聊天機器人，旨在作為企業應用場景的基礎，集成了知識庫查詢、Web 介面、護欄和持久化記憶。聊天機器人由 Qwen2.5-0.5B-Instruct 驅動，無需 GPU 即可在 CPU 上執行。它會保留對話歷史，讓機器人在會話內記住上下文，並包含模型升級助手，在有 GPU 時切換到更大的模型。系統提供簡單的知識庫搜尋，通過關鍵詞匹配公司事實，並將其注入提示詞，以獲得更相關的回答。Web 介面基於 Gradio 提供，並帶有可分享的公開連結。基礎護欄會在不當訊息到達模型之前將其攔截，持久化記憶則用 SQLite 按使用者儲存並重新載入對話，因此聊天在重啟後依然保留。技術棧包括 Python 3.12、Transformers、PyTorch、Gradio 和 SQLite。已知侷限包括：預設模型較小，有時會給出籠統或重複的回答；知識庫搜尋使用簡單的關鍵詞匹配而非語義搜尋；護欄使用基礎的子串匹配，並不是完整的內容安全方案。
定價
價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用該聊天機器人在僅有 CPU 的硬體上提供對話式 AI，無需 GPU。
- 開發者用模型升級助手在有 GPU 時切換到更大的模型。
- 企業用知識庫搜尋把公司事實注入提示詞，以獲得更相關的回答。
- 使用者通過可用公開連結分享的 Gradio Web 介面與聊天機器人互動。
- 管理員用基礎護欄在不當訊息到達模型之前將其攔截。
- 團隊依靠持久化記憶按使用者儲存並重新載入對話，使聊天在重啟後依然保留。
功能特色
支援在 CPU 上執行
基於 Python 構建
使用 Hugging Face Transformers
支援知識庫搜尋
提供 Gradio 網頁介面
內建聊天機器人安全約束
支援持久化記憶
使用者評論
還沒有評論，來分享你的使用體驗吧