工具概覽
llm-go 是一個與提供商無關的 Go 庫，支援模型生成、流式輸出、工具使用、多模態訊息、推理和用量統計。它把提供商 SDK 的型別隱藏在一個小型通用 API 之後，使應用無需更改對話模型即可切換協議。該庫需要 Go 1.27 或更新版本，其公共 API 仍在積極開發中。
它將傳輸協議介面卡與模型和提供商後設資料分離。每個介面卡都支援生成、帶型別的流事件、分類的錯誤和 token 用量。內建協議包括 OpenAI Responses、Azure OpenAI Responses、相容 OpenAI 的 Chat Completions、ChatGPT 訂閱版 Codex Responses、相容 Anthropic 的 Messages、Gemini Developer API、Google Vertex AI、Amazon Bedrock ConverseStream 和 Mistral Conversations。模型級的功能仍須由所配置的模型宣告。
可移植的編排輔助功能是可選的，不會改變提供商的預設設定，包括有界重試、流收集、結構化收集、工具嚴格性、歷史轉換、token 預算、工具引數校驗、上下文溢位檢測和 JSON 修復輔助。工具輸入預設使用 JSON Schema 2020-12，並支援已宣告的草案版本和離線的本地引用。
通過不可變的工廠登錄檔，以及釋出靜態基線併疊加經過校驗的提供商覆蓋層的目錄管理器，支援自定義協議和動態目錄。內建的提供商配置為 OpenRouter、Groq、DeepSeek、xAI、Cerebras、Fireworks、Mistral、Google Vertex 和 Amazon Bedrock 等服務提供協議和端點預設值。暴露相容 OpenAI 的 /v1/chat/completions 端點的本地伺服器使用 openai 介面卡。
定價
價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用 llm-go 在模型提供商之間切換，而無需更改對話模型。
- 團隊用 llm-go 進行同步生成，以及帶型別事件、生命週期安全的流式輸出。
- 團隊用 llm-go 處理多輪推理回放、提示詞快取以及用量/成本統計。
- 團隊用 llm-go 通過 JSON Schema 對模型生成的工具引數進行轉換和校驗。
- 團隊用 llm-go 修復格式錯誤的 JSON，並讀取部分的流式 JSON。
- 團隊用 llm-go 連線 Ollama 和 llama.cpp 等本地相容 OpenAI 的伺服器。
- 團隊用 llm-go 從 models.dev 動態獲取模型。
功能特色
不繫結特定服務商的 Go 庫
支援大模型生成與流式輸出
支援模型呼叫工具
處理多模態輸入
支援推理過程回放
提供用量與價格資訊
使用者評論
還沒有評論，來分享你的使用體驗吧