LLMTest

LLMTest 是一款为 AI 功能自动优化提示词和模型的工具。它被描述为一个 AI 代理，每次调用都会自动选择达到质量标准的最便宜的模型。它可以改写较弱的提示词，在 API 宕机时处理回退，并每周对 340 多个模型运行基准测试。该产品支持上线前对模型进行基准测试的构建阶段，以及监控线上流量并调优流程的扩展阶段。Autopilot 每周基于真实流量改写提示词，并寻找更好或更便宜的模型，安全的改进会上线，并可一键回退。安全关卡包括 95% 置信度、两名独立评判者、至少 20% 的节省、黄金集通过，以及无长度偏差。Autopilot 只在账户创建满 14 天以上、且某个流程有 20 次以上真实调用时运行，并有 14 天冷却期。如果某道关卡未通过，该变更会保存为待处理的建议，并通过邮件发送供审核。每项自动应用的变更都有 24 小时的回退按钮，漂移检测则持续运行。定价为按量付费，仅在模型基础成本之上收取 10%，没有月费。额度永不过期，用户可以免费开始，无需信用卡。