DaVinci MagiHuman

daVinci-MagiHuman 是來自 SII-GAIR 和 Sand.ai 的開源音影片生成基礎模型。它採用單流 Transformer，輸入文本 token、可選的參考影像 latent 以及帶噪影片和音訊 token，並在統一的 token 序列中聯合去噪影片和音訊。該架構被描述為一個統一的 15B 引數、40 層 Transformer，僅通過自注意力聯合處理文本、影片和音訊，沒有交叉注意力或多流複雜性。

關鍵設計選擇包括三明治架構，其中前 4 層和後 4 層使用模態特定投影，而中間 32 層跨模態共享引數；無時間步去噪、逐頭門控和統一條件。該模型支援中文（普通話和粵語）、英語、日語、韓語、德語和法語，據報道可在單塊 H100 GPU 上 2 秒生成 5 秒 256p 影片，38 秒生成 5 秒 1080p 影片。

高效推理技術包括潛空間超解析度、turbo VAE 解碼器、通過 MagiCompiler 進行全圖編譯，以及 DMD-2 蒸餾，僅需 8 個去噪步驟即可生成。該專案在 Apache License 2.0 下發布完整的模型棧：基礎模型、蒸餾模型、超解析度模型和推理程式碼。