工具概览
Coasty 推出的 Coarena 是为计算机使用型智能体提供真实世界评测的平台。它具有实时任务和盲评的人工判断,并公布每个数字以及产生该数字的规则。该平台由 Y Combinator 支持。
用户可以观看两个计算机使用型智能体处理他们的研究任务。网站包含排行榜、基准测试和用于比较模型的 CUA KnowledgeBench。它还提供模型档案、数据集、方法论、安全基准和指标 API。
平台强调透明,称网站上的每一项论断都会引用保存该论断依据的文件。它还在使用条款和隐私政策中涉及已保存的凭据和智能体记忆。
定价
目录尚未确认完整价格档位,请到官网查看当前额度、限制及计费方式。
访问官网价格与限制可能变化,请以官网为准,并确认币种、付款周期、最低席位数和用量上限。
应用场景
- 团队用 Coarena 观看两个计算机使用型智能体处理他们的研究任务。
- 团队用 Coarena 对计算机使用型智能体进行真实世界评测。
- 团队用 Coarena 借助基准测试比较模型。
- 团队用 Coarena 通过 CUA KnowledgeBench 对计算机使用型智能体做基准测试。
- 团队用 Coarena 评估计算机使用型智能体的安全性。
功能特性
提交真实的浏览器任务
对比两名前沿 AI 智能体
实时观看智能体完成任务
在不知道身份的情况下评选胜者
投票结果推动电脑操作榜单更新
用户评论
还没有评论,来分享你的使用体验吧