工具概覽
Relay 是自託管的 AI 閘道器，位於應用與模型提供方之間。它連線 OpenAI、Anthropic、Bedrock、Vertex AI、Groq、Together AI、Fireworks、Ollama、LM Studio 等，並通過一個 API 路由請求。該專案稱自己是為智慧體及其背後的人打造的 AI 閘道器。
Relay 提供路由、排隊、節流與模型冷卻、回退、護欄、限額、用量跟蹤、成本跟蹤、日誌，以及每個請求的即時檢視。它可以對請求節流以避開提供方的 RPM 和 token 限制，通過排隊優先的路由吸收突發流量，並讓首選模型持續參與，而不是立刻降級到較弱的備用模型。
自己執行即可，無需管理單獨的資料庫或佇列。Relay 以單個 Go 應用釋出，內建儀表盤。應用通過一個相容 OpenAI 的 API 與 Relay 通訊，請求到達模型之前，由 Relay 處理路由、容量、回退、護欄和可見性。
社群版可以對請求分類，並結合其可用的路由能力使用這些上下文。託管版 Relay 增加了更強的請求分類，以及可根據意圖、領域、複雜度和已配置的模型分配自動路由的 Smart Groups。
定價
目錄尚未確認完整價格方案，請至官網查看目前額度、限制及計費方式。
訪問官網價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用 Relay 通過一個相容 OpenAI 的 API 連線雲提供方和本地部署的模型。
- 團隊用 Relay 針對提供方的 RPM 和 token 限制對請求節流，同時吸收突發流量。
- 團隊用 Relay 把多個模型放在同一個名稱之後，並控制 Relay 嘗試它們的順序。
- 團隊用 Relay 檢查任務意圖、領域和複雜度，以輔助路由決策。
- 團隊用 Relay 通過請求、token、成本和併發限額，控制共享容量和支出。
- 團隊用 Relay 通過分發前和響應後的檢查，攔截敏感提示詞並檢查輸出。
- 團隊用 Relay 按配置的模型價格跟蹤 token 和資金的去向。
- 團隊用 Relay 即時觀察請求在佇列和模型之間的流轉。
功能特色
AI 助手
自然語言互動介面
工作流自動化
使用者評論
還沒有評論，來分享你的使用體驗吧