Reliopt – Pareto-frontier, contract-gated optimization for LLM programs

Reliopt 是一個 Python 庫，用於對 LLM 和智慧體程式進行可靠性約束的多目標最佳化。它認為好的 AI 程式應當滿足行為契約，同時在質量、魯棒性、成本和效率之間實現可站得住腳的權衡。該庫封裝任意 Python 可呼叫物件，被描述為一個元層，而非智慧體框架的替代品。

其方法使用稱為契約的硬性和軟性行為要求，這些要求與最佳化目標分開，用來篩選候選方案。違反契約的候選方案無論得分如何都會被完全排除。reliopt 不會把各項指標合併成加權和，而是返回由非支配候選方案組成的帕累託前沿，並允許選擇 quality_first、balanced、low_cost 或 high_reliability 等配置。對於以 Pipeline 構建的程式，受控的零消融會把指定步驟換成直通，以衡量得分變化並把效能歸因到各元件。候選方案還會在訓練集的擾動變體上打分，包括重排子句、注入干擾項和特定領域的擾動器。

該專案處於早期、積極開發的 v0.1 階段。從 Program 介面卡經 Contracts、Objectives、擾動引擎、帕累託編譯器到 Evidence Card 的核心迴圈已可端到端執行。有幾部分有意做成了很薄的佔位實現，接縫處有明確標註，倉庫中也記錄了哪些是真實的、哪些是存根。