SwarmBench: Clinical Trial Compliance Audit 是一个基准测试,旨在评估多智能体推理、本体落地、时间重建,以及跨异构数据源的确定性模式合成。该任务要求利用多种相互独立的数据模态,对一项进行中的纵向临床试验(FD-CLINITR-023DR)开展端到端的方案合规审计。自主系统必须根据权威的临床研究方案,判断已入组受试者在整个研究进行期间(自 2024-06-15 开始)是否始终符合资格并依从。该基准在非结构化文档、关系型数据库、大批量遥测数据和嘈杂的叙述日志上,对结构、时间和上下文施加压力。仓库包含 Docker 环境、参考解决方案和验证测试。预期输出是一个 JSON 文件,包含汇总指标和不合格受试者列表,每个受试者有 subject_id、protocol_condition、termination_date 和 days_in_trial。
团队用 SwarmBench 评估多智能体系统从非结构化临床方案 PDF 中提取入选规则的能力。
团队用 SwarmBench 测试提取的规则与关系型数据库中结构化受试者表的对应情况。
团队用 SwarmBench 评估基于大批量遥测数据并含时区调整的时间重建。
团队用 SwarmBench 评估通过 SSN 关联,把嘈杂的叙述性事件报告对应到已入组受试者的能力。
团队用 SwarmBench 将多智能体分解策略与单智能体基线进行基准对比。
团队用 SwarmBench 测试在严格输出约束下的确定性模式合成。