MIDI-RAE-JEPA-SON

MIDI-RAE-JEPA-SON 是一個用於音樂理解與生成的層次化自監督世界模型，旨在幫助音樂共創智慧體“聽”得更好。它以 Swin-Transformer 掩碼自編碼器的形式，在 MIDI 的鋼琴捲簾影像上訓練，只使用 LeJEPA 吸引、SIGReg、因子分解和跨層級掩碼嵌入預測等內部一致性目標，不使用任何重建損失。該模型學到一個六層的層次結構來編碼音樂結構，證據包括對九種編碼器變體的探針測試套件、等變性測量、與人工標註對照的樂句邊界檢測，以及對輔助和聲監督的消融實驗。主要發現包括：輕量的輔助和絃損失能使和絃根音和調性從最粗粒度的全域性嵌入中線性解碼；樂句邊界資訊在越粗的層級上越強；在幾何目標起作用的層級上，對音高/時間平移的等變性近乎完美。