tinycmdr logo

tinycmdr

免费

tinycmdr:面向本地与自托管 LLM(llama.cpp、vLLM、Ollama、SGLang)的高效智能体框架:约 4.1K token 开销,稳定的前缀缓存,内置运维防护,零基础设施。

访问官网
根据共同标签和关键词推荐Mingbird-agentqwenCerveau
ai-agentagent-harnessclillamacpplocal-llmaiai assistantautomation

工具概览

tinycmdr 是面向自托管模型的自主运维智能体。它运行在自己所管理的机器上,接收任务,并使用 shell、execute_code、edit_file 和 fetch_url 等真实工具完成工作。智能体会讲述自己的操作,并把状态保存在身边的纯文件中。它专为小型和本地模型设计,具有稳定且对缓存友好的提示词前缀,以及旨在防止混乱的模型卡死推理槽位的运行时。可以从终端或 Mattermost、Telegram 等聊天平台访问它,使用同一个进程和相同的对话。可在 Windows、Linux 和 macOS 上安装,需要 Python 3.10–3.12。智能体支持用于设置、状态、doctor、健康检查、模型选择、日志、版本、进程状态、更新和重启的命令。可以通过放在 skills 文件夹中的文字技能和放在 tools 文件夹中的自定义工具来扩展。

定价

免费

目录尚未确认完整价格档位,请到官网查看当前额度、限制及计费方式。

访问官网

价格与限制可能变化,请以官网为准,并确认币种、付款周期、最低席位数和用量上限。

应用场景

  • 团队用 tinycmdr 在它所管理的机器上运行自主运维智能体。
  • 团队用 tinycmdr 借助 shell、execute_code、edit_file 和 fetch_url 等真实工具执行任务。
  • 团队用 tinycmdr 从终端或 Mattermost、Telegram 等聊天平台与智能体交互。
  • 团队用 tinycmdr 通过 doctor 命令检查安装并找出问题。
  • 团队用 tinycmdr 获得带退出码的一行健康检查,供脚本使用,且无需网络访问。
  • 团队用 tinycmdr 从列表中选择模型,端点失效时会提供向导。
  • 团队用 tinycmdr 通过把运行手册文件夹放入 skills/ 来用文字技能扩展智能体。
  • 团队用 tinycmdr 通过把 .py 文件放入 tools/ 来添加自定义工具。

功能特性

为本地大语言模型提供智能体运行框架

支持自行托管的大语言模型

可配合 llama.cpp 和 vLLM 使用

可配合 Ollama 和 SGLang 使用

约需 4.1K token 的额外开销

支持稳定的前缀缓存

内置运行操作防护措施

无需额外基础设施即可运行

用户评论

还没有评论,来分享你的使用体验吧