工具概覽
Harness Training 是一個 PyTorch 風格的訓練器，用於改進凍結 LLM 外圍的 harness，而不是模型權重。harness 包括提示詞、上下文管理、工具和修復迴圈，並存儲為一個可編輯的檔案 src/policy/core.py。在每個 epoch 中，Estimator 會對該檔案提出一個 diff；該 diff 在一組任務上與當前基線對比測量，由一個判據決定是否晉升該改動。被晉升的改動會讓 HEAD 快進，被拒絕的改動則無任何影響，git log 記錄候選晉升的歷史。每個候選（無論晉升或被拒絕）都儲存在 refs/candidates/ 下，每次測量執行儲存在 refs/experiments/runs/ 下。專案描述的做法是：訓練一次 harness，凍結它，然後普遍提升模型能力。它還指出訓練好的 harness 是凍結的，只更換用於評測的任務求解 LLM。
定價
目錄尚未確認完整價格方案，請至官網查看目前額度、限制及計費方式。
訪問官網價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用 Harness Training 使搜尋偏向某一個面，例如提示詞層面的改動。
- 團隊用 Harness Training 通過定義補丁範圍，嚴格限制候選可以編輯的內容。
- 團隊用 Harness Training 通過只使用當前以該方式失敗的任務組成的面板，來針對某一種失敗模式。
- 團隊用 Harness Training 通過重新建立基線並重新訓練，讓 harness 適配新模型。
- 團隊用 Harness Training 通過修改平局時的次級指標，來提升更省成本的求解。
- 團隊用 Harness Training 由任何流程驅動提案，包括手寫的 diff 或自定義 API。
功能特色
AI助手
自然語言介面
工作流自動化
使用者評論
還沒有評論，來分享你的使用體驗吧