thriftllm

argrouter 是一個面向大語言模型（LLM）請求的成本感知路由層。它為每個查詢同時選擇模型和推理強度，目標是最大化“答對的機率減去成本懲罰”，其中成本以模型在類似請求上實際計費的金額為準，包括隱藏的推理 token。專案寫道：“argrouter routes each request to the model and reasoning effort that maximise P(correct) − λ · expected cost , where the cost is what that model actually bills on similar requests (hidden reasoning tokens included), not its list price.” 它是處於 alpha 階段的 Python 包，可通過 pip 安裝，只有一個執行時依賴（httpx）。

該包包含一個可獨立使用的成本引擎。文件稱：“The cost engine underneath is usable on its own”，並支援離線、SHA 固定的價格快照。成本引擎根據輸入 token、預期輸出 token 和快取的輸入 token 計算預期成本，返回以美元計的總額和各組成部分明細。專案強調，輸出 token 通常在 LLM 賬單中佔大頭，而常見的成本估算失誤包括：把輸入和輸出費率相加、使用固定的預期輸出 token 數，以及把未定價的模型當作免費。

argrouter 把提示快取視為一等成本項。它在決策時對快取狀態定價，遵守最小可快取閾值，並利用會話親和性讓對話保持在原模型上，除非實測節省超過實測的快取損失。專案還提供 /v1/decision 旁路服務和麵向現有閘道器的外掛，而不是重新實現 OpenAI 的線上格式。它採用 Apache-2.0 許可，並承諾遵循供應鏈實踐，如帶 PEP 740 證明的 PyPI Trusted Publishing，以及安裝時不執行程式碼。