工具概覽
llmtrack 是一個自託管的 LLM 閘道器，位於多個模型提供方之前，並提供相容 OpenAI 和 Anthropic 的 API。據該專案所述，它“speaks OpenAI's and Anthropic's APIs and sits in front of OpenAI, Azure, Anthropic, Gemini, Groq, Mistral, DeepSeek, OpenRouter, Together, Ollama, or any OpenAI-compatible server, translating where the dialects differ.”它以“one Rust binary with the dashboard inside, on SQLite by default, so the whole install is one container and nothing to provision.”的形式分發。
閘道器集中管理提供方憑據，並向團隊或個人簽發虛擬金鑰。網站稱：“Provider keys live in one place, encrypted. Applications only ever hold a virtual key that you can limit, block or revoke without touching the provider.”每個金鑰和團隊都可以設定預算、速率限制、模型白名單和到期日期，金鑰以“stored hashed and shown once.”的方式儲存。用量根據內建價目表按請求計價，快取讀取、快取寫入、推理 token 和長上下文件位分別計費，金額以整數表示。
在執行方面，llmtrack 將金鑰和路由快取在記憶體中，在請求路徑之外批次寫入用量，並原樣轉發流。專案報告了在相同容器限制下與 LiteLLM 對比的基準測試結果，包括增加的延遲、吞吐量和記憶體資料。它還記錄了與 LiteLLM 的相容性，指出“Clients written for LiteLLM's proxy work unchanged”，並且“The price list is LiteLLM's own, synced daily, so a request costs the same on both.”
定價
價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用 llmtrack 為每個團隊或個人分配虛擬金鑰，並跟蹤各自的花費。
- 團隊用 llmtrack 把提供方金鑰集中存放在一個加密的地方，而不是分散在各個 .env 檔案中。
- 團隊用 llmtrack 限制、封禁或撤銷應用的訪問許可權，而無需更改提供方憑據。
- 團隊用 llmtrack 通過權重和回退，把一個公開的模型名稱路由到多個部署。
- 團隊用 llmtrack 讓 CI 作業通過管理 API 為新服務建立金鑰。
- 團隊用 llmtrack 檢視每個請求的日誌，包括髮送方、部署、token、成本和延遲。
功能特色
自行託管大模型閘道器
通過統一的 OpenAI 相容介面接入
將請求路由至不同模型提供商
建立虛擬 API 金鑰
設定使用預算
按團隊追蹤支出
使用相容 LiteLLM 的路由器
使用者評論
還沒有評論，來分享你的使用體驗吧