工具概覽
NFRA（Nonlinear Factorized Recurrent Attention，非線性分解迴圈注意力）是一種高效的迴圈語言模型模組。它是一個深度共享的迴圈模組，由衰減式查詢-鍵保留混合器和逐 token 的接收門，加上 SwiGLU 前饋網路構成。該設計將 RetNet 風格的保留機制與 RWKV 風格的接收讀取門結合。在相同資料和引數量匹配的情況下，它在下一 token 損失上優於兩者，同時記憶體佔用遠低於完整的 Transformer。NFRA 面向在普通硬體上進行 LLM 研究與部署，包括在單塊小型 GPU 上進行下一 token 預測、序列建模和自迴歸生成。它可作為與 Transformer 和 SSM 基線對比的即插即用物件。精簡的預設配置使用保留機制、接收門和 SwiGLU；完整的 3.3b 模組通過開關保留以便復現，但不是推薦的架構。
定價
價格與限制可能變動，請以官網為準，並確認幣別、付款週期、最低席位數和用量上限。
應用場景
- 團隊用 NFRA 在單塊小型 GPU 上進行下一 token 預測。
- 團隊用 NFRA 進行序列建模。
- 團隊用 NFRA 進行自迴歸生成。
- 團隊把 NFRA 作為與 Transformer 和 SSM 基線對比的即插即用物件。
- 團隊用 NFRA 快速執行公平的一對一基準測試。
- 團隊用 NFRA 執行經過驗證的多階段基準測試。
- 團隊用 NFRA 在 WikiText-2 字元資料上與 RetNet、RWKV 和 GPT-2 對比。
- 團隊用 NFRA 在普通硬體上進行 LLM 研究與部署。
功能特色
提供迴圈式語言模型模組
在不同深度共享迴圈模組
採用衰減式查詢鍵保留機制
對每個詞元應用接納門控
面向高效語言模型架構
使用者評論
還沒有評論，來分享你的使用體驗吧