工具概览
model-quality-gate 被描述为 AI 质量与模型风险平台,是面向亚太银行业的生产上线评估 / 红队关卡及模型风险证据系统。它接收由模型、提示词版本和黄金数据集组成的目标,并返回四类带支撑证据的产物:EvalReport、RedTeamReport、GateDecision,以及 ModelCard 加 PromptVersion。只有当 EvalReport 满足每项指标阈值、且 RedTeamReport 拦截了每一个探测时,目标才算通过。
该产品基于 Gemini Enterprise Agent Platform,采用端口与适配器架构,部署区域可配置,默认为 asia-southeast1。其领域核心负责编排,只与端口通信,由四个可互换的适配器族实现这些端口。把整套托管技术栈切换到离线本地栈或本地部署迁移目标,只需修改一行 profile,无需改动领域代码。
local profile 将每个端口绑定到真实、确定性、不依赖 SDK 的进程内实现,无需 Google Cloud、API 密钥和模拟器即可端到端运行整个上线关卡。onprem profile 将每个端口绑定到会抛出 NotImplementedError 的占位适配器,gcp profile 则使用 asia-southeast1 的真实托管技术栈。所有产物、指标和决策都是纯标准库的 dataclass,不依赖 Google Cloud、ADK 或任何框架。
定价
价格与限制可能变化,请以官网为准,并确认币种、付款周期、最低席位数和用量上限。
应用场景
- 团队用 model-quality-gate 评估目标模型、提示词版本和黄金数据集,并产出四类有证据支撑的产物。
- 团队用 model-quality-gate 根据指标阈值和红队探测来把关生产上线。
- 团队用 model-quality-gate 在五类攻击族上运行红队探测。
- 团队用 model-quality-gate 在运行时发布黄金数据集,或读取内置的 JSONL。
- 团队用 model-quality-gate 读取已记录的质量漂移并返回 DriftEscalation。
- 团队用 model-quality-gate 在离线状态下运行上线关卡,无需 Google Cloud、API 密钥或模拟器。
- 团队用 model-quality-gate 通过修改一行 profile,在托管、本地和本地部署适配器之间切换。
- 团队用 model-quality-gate 以 ModelCard 和 PromptVersion 的形式产出带版本的 MRM 证据。
功能特性
AI 助手
自然语言界面
工作流自动化
用户评论
还没有评论,来分享你的使用体验吧