工具概覽
NIBIA Fabric 是一個開源的分散式計算核心，可把日常電腦變成共享的 AI 計算叢集。它協調同一可信區域網中的電腦，並把 GGUF 模型的執行劃分到整個 fabric 上，使更大的模型可以使用多個節點的 CPU 和 RAM 總容量，而不是依賴單臺機器。該軟體以 CPU 優先，支援 Mac、Windows 和 Linux。在預設的簡單模式下，選一臺受支援的電腦作為主節點（Primary Node），執行 Controller、Coordinator、Agent、CLI 和本地計算。其他電腦執行常駐的 NIBIA Agent。工作節點不需要自己儲存一份 GGUF。NIBIA Fabric 不會建立物理共享記憶體地址空間；它通過分散式執行時放置和模型劃分，讓各個獨立節點的記憶體變得有用。釋出版以預構建為先，提供適用於 macOS arm64、Linux amd64 和 Windows amd64 的預構建二進位制檔案。它管理一個固定版本、經 SHA-256 驗證的 llama.cpp 執行時。NIBIA Fabric 提供兩種主要的推理生命週期：用於一次性提示詞的 nibia run，以及用於持久服務的 nibia serve。在此 alpha 版本中，內建的 Web UI 和相容 OpenAI 的 API 繫結到主節點的 localhost。預設安全設定包括用於 Agent 控制流量的 TLS 1.3 mTLS，以及配對之後經過認證的反向 RPC 中繼。這是實驗性 Alpha 版本；CLI 細節、API、狀態格式、排程行為和相容性都可能變化。
定價
目錄尚未確認完整價格方案，請至官網查看目前額度、限制及計費方式。
訪問官網價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用 NIBIA Fabric 通過使用多臺電腦的安全 RAM 容量，執行單臺機器放不下的更大模型。
- 團隊用 NIBIA Fabric 在同一個 fabric 上混用受支援的 Mac、Windows 和 Linux 節點。
- 團隊用 NIBIA Fabric 僅啟用工作負載所需的最小安全工作節點子集。
- 團隊用 NIBIA Fabric 預設將服務介面保持在本地，Web UI 和相容 OpenAI 的 API 繫結到主節點的 localhost。
- 團隊用 NIBIA Fabric 依靠管理固定、已驗證、預編譯 llama.cpp 執行時的預構建二進位制檔案，避免繁重的終端使用者工具鏈。
- 團隊用 NIBIA Fabric 的 nibia run 命令進行終端推理、指令碼和基準測試。
- 團隊用 NIBIA Fabric 的 nibia serve 命令進行互動式使用和重複請求。
功能特色
在多臺電腦間分散式執行 LLM 推理
協調可信區域網內的計算節點
分割 GGUF 模型的執行任務
彙集多節點的 CPU 和記憶體資源
讓較小模型留在單機執行
支援 Mac、Windows 和 Linux
使用者評論
還沒有評論，來分享你的使用體驗吧