Manifest

10318

Manifest 是一款开源的大语言模型智能路由层，专门用于在多种 LLM 之间自动分发和调度请求，帮助团队在保证体验的前提下大幅降低使用成本。通过根据延迟、价格、质量要求以及自定义规则动态选择模型，Manifest 能将常规请求交给更经济的模型处理，把高价值场景留给高性能模型，从而在不改动业务逻辑的情况下节省最高约 70% 的开销。 Manifest 提供简单清晰的 API 和灵活的配置方式，可轻松接入现有应用与服务。你可以在代码或配置文件中定义路由策略、降级与兜底逻辑、模型优先级等，并通过结构化日志和监控指标持续观察各模型的效果与成本。由于完全开源，你可以自由部署在自有服务器、Kubernetes 集群，或与基于 OpenClaw 的系统一起使用，数据与架构完全可控。 无论是 AI 原生产品、内部智能工具，还是多模型实验环境，Manifest 都能替代繁琐的“写死模型选择”逻辑，降低对单一厂商的依赖。你可以快速接入新的商用或开源模型，进行 A/B 测试或灰度试运行，而无需大规模改动代码。借助 Manifest，团队可以构建更稳定、可观测且具成本优势的 LLM 基础设施，把精力集中在真正创造价值的 AI 体验上。