工具概览
Cerveau 是一个本地优先的智能体式编程框架,设计用于在用户自己的硬件上运行。它专注于让小模型在消费级 GPU 上完成实际工作,不依赖云 API,也没有隐藏成本。该系统旨在充分利用现有机器,而不是要求租用云资源。
该框架支持两种推理核心:llama.cpp 和 vLLM。llama.cpp 是默认核心,会把混合专家(MoE)权重卸载到系统内存;vLLM 则让稠密模型权重常驻 GPU,以获得更高吞吐。用户可以在任务边界处切换核心,会话上下文保存在 Typesense 和嵌入器中。
Cerveau 包含把记忆当作状态来处理的记忆管理,具备类型化记录、自我纠正的记忆,以及降级而非摘要等特性。安全机制以 Go 代码的形式编译进系统,在分发点拦截破坏性命令,使其无法到达 shell。该工具绑定到 localhost,运行时无需云、账户或遥测。
定价
价格与限制可能变化,请以官网为准,并确认币种、付款周期、最低席位数和用量上限。
应用场景
- 团队用 Cerveau 通过把专家权重卸载到系统内存,在 24 GB 显卡上运行大型混合专家模型。
- 团队用 Cerveau 借助 vLLM 以真实的吞吐量运行稠密模型。
- 团队用 Cerveau 通过 tailnet 从 Android 手机远程访问智能体。
- 团队用 Cerveau 在离开前启动构建,稍后再查看工具调用。
- 团队用 Cerveau 远程回答智能体的提问,避免耽误进度。
- 小企业用 Cerveau 把代码和数据留在本地。
功能特性
在本地硬件上运行编程代理
在任务之间切换推理核心
切换推理核心时保留会话上下文
保存结构化且可自我修正的记忆
在执行前拦截破坏性命令
将服务限制在本机访问
用户评论
还没有评论,来分享你的使用体验吧