Llama Server Control 是一款原生 Windows 桌面应用和网络网页主机,用于管理本地 AI 生态。桌面端使用原生 C#(.NET 10)、WPF 和 Microsoft Edge WebView2 构建,由端口 9095 上内嵌的 ASP.NET Core Kestrel 服务器提供支持。该应用是通过 llama.cpp 运行 LLM、通过 SwarmUI 运行扩散模型的中心枢纽。它提供对 llama-server 设置的完整配置控制,包括 Host、Port、上下文大小、CPU 线程、GPU 层数、批大小、Flash Attention 和 K/V 缓存类型。该工具包含集成 HuggingFace 的模型中心,可搜索、浏览和下载 .gguf 模型,还有本地模型目录扫描器。它还具备用于图像生成的集成 SwarmUI 工作室、可查看元数据的动态图像库以及批量操作管理。在测试和开发方面,它提供 API 试验场、实时日志终端和基准测试工具。应用包含两种聊天界面:Studio Chat 和内嵌的 Llama.cpp Web UI。它支持代理斜杠命令,可直接在聊天窗口中控制模型和图像生成。
团队用 Llama Server Control 管理本地 LLM 服务器,并完整控制 llama-server 设置。
用户用 Llama Server Control 直接在应用内从 HuggingFace Hub 下载并管理 GGUF 模型。
开发者用 Llama Server Control 的内置 API 试验场测试 API 端点。
用户用 Llama Server Control 通过 SwarmUI 生成图像,并在动态图像库中管理。
团队用 Llama Server Control 通过实时日志和基准测试工具监控服务器性能。
用户用 Llama Server Control 通过 Studio Chat 和内嵌 Llama.cpp Web UI 两种聊天界面与模型交互。
用户用 Llama Server Control 通过聊天窗口中的代理斜杠命令控制模型行为和图像生成。