AquariusDiffusion

AquariusDiffusion 是一個專注於原生低位元（NLT）擴散模型的專案，其權重從訓練開始就儲存在量化空間中，而不是在 fp16 預訓練之後再壓縮。倉庫包含 AquariusImage 子系列，其中三值文生圖模型 AquariusTerimage 已釋出。該模型使用取值為 {−s, 0, +s} 的三值量化器，每 128 個權重共用一個 fp16 縮放因子，並採用直通估計（STE）。它有 558,347,012 個引數，存放在一個 152.99 MB 的檔案中（每個權重 2.192 位元），並支援逐位精確的 int4 融合核心執行時。int4 執行時核心在載入時根據使用者裝置從 base-3 主檔案重建，因此不提供預構建的 CUDA 專用檔案。該專案還規劃了二值模型 Aquarius Binimage，但由於算力預算耗盡而未訓練。技術報告記錄了原生低位元訓練和低位元融合核心推理在真實硬體上端到端可行，但在這一資料規模下，模型質量低於可用的釋出門檻，並且如實記錄了飽和證據，而沒有粉飾。