工具概覽
Llama Server Control 是一款原生 Windows 桌面應用和網路網頁主機，用於管理本地 AI 生態。桌面端使用原生 C#（.NET 10）、WPF 和 Microsoft Edge WebView2 構建，由埠 9095 上內嵌的 ASP.NET Core Kestrel 伺服器提供支援。該應用是通過 llama.cpp 執行 LLM、通過 SwarmUI 執行擴散模型的中心樞紐。它提供對 llama-server 設定的完整配置控制，包括 Host、Port、上下文大小、CPU 執行緒、GPU 層數、批大小、Flash Attention 和 K/V 快取型別。該工具包含整合 HuggingFace 的模型中心，可搜尋、瀏覽和下載 .gguf 模型，還有本地模型目錄掃描器。它還具備用於影像生成的整合 SwarmUI 工作室、可檢視後設資料的動態影像庫以及批次操作管理。在測試和開發方面，它提供 API 試驗場、即時日誌終端和基準測試工具。應用包含兩種聊天介面：Studio Chat 和內嵌的 Llama.cpp Web UI。它支援代理斜槓命令，可直接在聊天視窗中控制模型和影像生成。
定價
價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用 Llama Server Control 管理本地 LLM 伺服器，並完整控制 llama-server 設定。
- 使用者用 Llama Server Control 直接在應用內從 HuggingFace Hub 下載並管理 GGUF 模型。
- 開發者用 Llama Server Control 的內建 API 試驗場測試 API 端點。
- 使用者用 Llama Server Control 通過 SwarmUI 生成影像，並在動態影像庫中管理。
- 團隊用 Llama Server Control 通過即時日誌和基準測試工具監控伺服器效能。
- 使用者用 Llama Server Control 通過 Studio Chat 和內嵌 Llama.cpp Web UI 兩種聊天介面與模型互動。
- 使用者用 Llama Server Control 通過聊天視窗中的代理斜槓命令控制模型行為和影像生成。
功能特色
在桌面介面管理本地大模型
通過 llama.cpp 執行模型
藉助 SwarmUI 生成影像
使用輕量級圖形介面
在 Windows 桌面端使用
使用者評論
還沒有評論，來分享你的使用體驗吧