harness-lab

harness-lab 是针对 DeepSeek Harness 的评测框架。它在可复现的离线任务上对智能体循环、上下文压缩、技能和工具配置进行基准测试。该项目通过一个极简的 ReAct 基线以及（开发中的）DeepSeek Harness 运行确定性的离线任务，然后报告完成情况、token、成本、步数和失败类别。仓库包含带 token 成本模型的 DeepSeek V4 客户端、用于 list/read/write/shell 的沙箱化工作区工具、ReAct 基线和 DeepSeek Harness 适配器预览版、任务加载器和一次性工作区工厂、确定性的评分运行器，以及汇总和 Markdown 报告。它提供覆盖 file-ops、data-clean、mini-code 和 long-qa 的 6 个确定性离线任务。每个任务都有不可变的固定工作区、确定性评分器和各自的预算。每种配置运行 N 次尝试，并报告完成情况、pass@1、token 用量、美元成本、步数、工具调用和错误。路线图列出：M1 任务框架 + ReAct 基线 + 首套任务集，M2 DeepSeek Harness 适配器（固定预览版本），M3 24 个任务、配置矩阵、失败分类器，M4 Streamlit 仪表盘、基准报告、演示。该项目采用 MIT 许可。