工具概览
概览
local-llm 是一个可复现、低配置的环境，用于完全在用户自己的机器上运行开放权重语言模型。它用一条命令部署完整的本地推理栈，以 llama.cpp 作为推理运行时，以 opencode 作为命令行智能体界面，后者提供工具使用、上下文管理和终端 UI。模型下载完成后，正常运行期间无需任何外部 API 或网络访问。 该项目旨在为实验本地托管模型提供便利的基线，也适合不想手动拼装工具链的用户。它在 6 GB 显存的硬件上测试过，因此默认模型是约 2B–4B 参数的小型量化版本。设置中的任何内容都不与该配置绑定，资源使用可通过 Makefile 变量和模型选择来调整。 安装和启动由 make 目标驱动，默认设置无需手动编辑配置文件。依赖项在 uv.lock 中固定，安装是单一的脚本化流程。llama.cpp 以路由模式运行，通过 http://127.0.0.1:8080 这一个端点按需提供所有已缓存的模型。opencode 与本地服务器之间的连接在 opencode.json 中定义。 该项目被描述为进行中的工作，是为了更好地了解大语言模型及在本地运行它们的工具而作的学习练习。它可能包含错误、遗漏或过时信息。欢迎通过 issue 跟踪器提交更正、错误报告和建议。
功能特点
- AI 助手
- 自然语言界面
- 工作流自动化
相关标签
应用场景
团队用 local-llm 完全在自己的机器上运行开放权重语言模型，无需外部 API 或网络访问。
用户用 local-llm 以一条命令部署完整的本地推理栈。
开发者把 local-llm 当作便利的基线，用来实验本地托管的模型。
用户用 local-llm 通过一个端点按需提供多个已缓存的模型。
用户用 local-llm 通过 make 目标安装并启动环境，无需手动编辑配置文件。
用户用 local-llm 检查已安装的二进制文件、服务器进程和可用模型的状态。
用户用 local-llm 停止 llama.cpp 服务器，或清理环境、opencode、llama.cpp 和已下载的模型。
用户用 local-llm 通过可选的 Model Context Protocol 服务器为智能体扩展终端操作或网页搜索与抓取能力。