工具概覽
LLMOps Observability Platform 是一個 Python/FastAPI 的 LLM 閘道器，演示如何執行、觀測和恢復一個 AI 服務。它把每次生成請求記錄在 SQLite 中，並通過 API 暴露可靠性和成本指標。兩個模型介面卡都是模擬器：不需要 API 金鑰、付費模型或外部服務。平臺提供生成、健康檢查、追蹤、指標和事故的端點。它包含故障模擬器，場景有成功、緩慢、超時、失敗、不穩定和不安全，並支援回退場景，可獨立地讓回退介面卡失敗或延遲。閘道器記錄每次嘗試的事件、帶抖動的指數退避、截止時間，以及主用/回退熔斷。它還實現了有界的 TTL/LRU 快取和按對端 IP 的滑動視窗配額。追蹤僅含後設資料，不儲存提示詞或補全內容，並記錄輸入/輸出的安全結果。該專案是面向生產的單程序參考實現，而不是水平擴充套件的服務；快取、配額和熔斷都在記憶體中，重啟後會重置。
定價
價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用該平臺演示請求 ID、提示詞版本、模型歸屬、延遲、估算 token 和虛構的美元成本。
- 團隊用該平臺演示每次嘗試的事件、帶抖動的指數退避、截止時間，以及主用/回退熔斷。
- 團隊用該平臺演示單次半開恢復探測，並確保過期的在途結果無法關閉新近開啟的熔斷。
- 團隊用該平臺演示有界的 TTL/LRU 快取和按對端 IP 的滑動視窗配額，包括被快取的請求。
- 團隊用該平臺演示主用 → 回退模型 → 明確的確定性降級響應。
- 團隊用該平臺演示輸入/輸出安全結果，以及不儲存提示詞或補全內容、僅含後設資料的追蹤。
- 團隊用該平臺演示持久化追蹤、分頁的事故事件、就緒檢查，以及指標 API 儀表盤。
- 團隊用該平臺演示可靠性迴歸門禁，以及 GitHub Actions 的測試/釋出工作流。
功能特色
通過 LLM 閘道器處理請求
將請求追蹤記錄到 SQLite
統計延遲和成本指標
快取 LLM 請求
限制請求速率
自動重試失敗請求
支援熔斷和模型回退
使用模擬提供商測試可靠性
使用者評論
還沒有評論，來分享你的使用體驗吧