工具概覽
LLM Gateway 是位於多個 LLM 提供方之前的 HTTP API。它處理路由、重試、跨提供方故障轉移、熔斷、響應快取、按租戶限流和成本跟蹤，並包含即時用量儀表盤和 Prometheus 指標。它面向在生產中執行 LLM 的團隊，這些團隊希望無需重新部署客戶端就能切換模型、在提供方故障時繼續執行、防止某個租戶佔用共享配額，並瞭解開支。
客戶端呼叫 smart、fast 或 balanced 之類的路由別名，而不是模型 ID。路由策略包括有序回退、成本最低優先、EWMA 延遲，以及加權金絲雀或 A-B 分流。閘道器用指數退避重試暫時性錯誤，將不可重試的錯誤移交給下一個目標，並使用帶半開探測的熔斷器。它用 SHA-256 鍵快取完全匹配的請求，設定 REDIS_URL 時使用記憶體 LRU 或 Redis，且從不快取拒絕響應。
按租戶的限流使用兩個令牌桶，分別針對每分鐘請求數和每分鐘 token 數，預先預留 max_tokens，並根據實際用量對賬。API 金鑰以 SHA-256 雜湊儲存，並以恆定時間比較。流式傳輸使用 Server-Sent Events，在第一個位元組之前故障轉移是透明的。可觀測性包括 Prometheus 計數器和直方圖、x-request-id 頭以及 /dashboard 頁面。專案提供使用模擬提供方的快速入門，涵蓋聊天、路由、管理用量、熔斷器、指標和健康檢查的 API 端點，以及用於 AWS App Runner 部署的 Terraform。
定價
價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用 LLM Gateway 通過呼叫路由別名而非模型 ID，無需重新部署客戶端即可切換模型。
- 團隊用 LLM Gateway 通過重試和跨提供方故障轉移，在提供方故障時繼續執行。
- 團隊用 LLM Gateway 通過按租戶的請求和 token 限額，防止某個租戶佔用共享配額。
- 團隊用 LLM Gateway 快取相同的請求，減少上游呼叫。
- 團隊用 LLM Gateway 通過 Prometheus 指標和儀表盤監控用量、成本和回退情況。
- 團隊用 LLM Gateway 通過 Server-Sent Events 流式傳輸響應，並在第一個位元組之前實現透明的故障轉移。
- 團隊用 LLM Gateway 通過實現 complete() 和 stream() 並註冊來新增新的提供方。
- 團隊用 LLM Gateway 通過 Terraform 配置的 App Runner、自動擴縮容和 Secrets Manager 部署到 AWS。
功能特色
在多個大模型服務商之間路由請求
服務商故障時自動切換
通過熔斷機制應對故障
快取大模型響應
按租戶設定請求速率限制
跟蹤大模型使用成本
使用者評論
還沒有評論，來分享你的使用體驗吧