工具概覽
burrito 是 OpenAI 和 Anthropic API 的即插即用替代品，背後由 gpt-oss 模型支撐。它在 /v1/chat/completions、/v1/responses 和 /v1/messages 上接受標準請求（JSON 和流式），並通過 /v1/completions 把下一個 token 的預測委託給現有的推理後端，即 llama.cpp 或 vLLM。它不附帶模型。
gpt-oss 經過原生 python 和瀏覽器工具的訓練，並被訓練為在不同的“通道”中工作，即在給出最終答案之前，交錯進行推理、工具呼叫以及回到推理中的回溯。現有的推理引擎處理這種模式時都有所妥協：llama.cpp 通過語法和硬編碼的 functions. 字首強制進行工具呼叫，而 vLLM 缺少面向相容 Anthropic 客戶端的 /v1/messages，並且無法從格式錯誤的輸出中恢復。burrito 補上了這種專門化的另一半：它是針對特定模型的執行框架，按模型訓練時讀取的方式渲染對話，在同一程序內執行原生 python 和瀏覽器工具，從幻覺出的工具呼叫中恢復，並提供生產級健康檢查和 Prometheus 指標。
推理流水線使用 harmony 編碼對請求進行分詞和渲染，從後端流式獲取，並防範重複迴圈和格式錯誤的工具呼叫。瀏覽器工具執行在捆綁的 Playwright 引擎和 SearXNG 例項上。Python 工具在程序內的 Jupyter 核心中執行，或在隔離的、預熱過的 burrito-kernel 容器中執行。部署使用單個 docker-compose.yml，其中包含應用、SearXNG、Valkey、Prometheus 和 Grafana。評估使用 burrito-evals 進行，在單張 RTX 3090 上執行 gpt-oss-20b，共 320,192 次執行，3.49B token，1,062 GPU 小時。
定價
目錄尚未確認完整價格方案，請至官網查看目前額度、限制及計費方式。
訪問官網價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用 burrito 以 gpt-oss 模型替換 OpenAI 或 Anthropic API，而無需修改客戶端程式碼。
- 團隊用 burrito 在同一程序內執行原生 python 和瀏覽器工具。
- 團隊用 burrito 自動從幻覺出的工具呼叫中恢復。
- 團隊用 burrito 提供生產級健康檢查和 Prometheus 指標。
- 團隊用 burrito 在預熱過的容器中執行隔離的 python 核心。
- 團隊用 burrito 通過單個 docker-compose.yml 部署，其中包含 SearXNG、Valkey、Prometheus 和 Grafana。
功能特色
相容 OpenAI 的聊天與響應介面
相容 Anthropic 的訊息介面
處理 JSON 請求和流式響應
執行原生 Python 工具
執行內建瀏覽器工具
自動處理格式錯誤的工具呼叫
檢測推理過程中的重複迴圈
提供健康檢查和執行指標
使用者評論
還沒有評論，來分享你的使用體驗吧