backline-ai-karaoke

Backline 是一個 AI 卡拉 OK 工作室，使用者演唱，伴奏跟隨。使用者選擇一首歌和一種風格，它就會在本地 GPU 上用旋律條件音樂生成渲染出該流派的新器樂。模型以原曲旋律為條件，生成跟隨該旋律的全新編曲，而不是使用分軌分離或現成的迴圈素材。演唱時，瀏覽器即時追蹤音高和速度，並對伴奏做時間拉伸和變調，使其緊跟人聲，同時顯示同步歌詞和響應式攝像頭疊加層。

MusicGen-melody 接收源曲目提取出的色度特徵加上風格提示詞，生成新的器樂。由於該模型每次呼叫上限為 30 秒，完整歌曲會渲染為連續的旋律條件視窗，以等功率交叉淡化拼接，並按每首歌和每種風格確定性地設定種子，因此重新渲染會復現同一版本。音高檢測（YIN）和時間尺度修改（WSOLA 加插值重取樣）在音訊渲染執行緒上的 AudioWorklet 中執行。一旦取回伴奏，現場演唱就不會再接觸任何一個伺服器，修正幅度限制在正負 2 個半音和 15% 的速度之內。

系統使用兩個服務：一個無頭 FastAPI 推理伺服器，掌管所有模型，並通過單個工作程序序列化 GPU 工作；以及一個 Next.js 應用伺服器，掌管快取索引、歌曲後設資料和會話狀態，僅在快取未命中時呼叫推理。它按 8 GB 視訊記憶體設計，在筆記本 4070 的 8187 MiB 中，fp16 的 MusicGen-melody 佔用 6803 MiB。在該顯示卡上渲染 20 秒音訊大約需要 36 秒。第一版刻意保持精簡：沒有賬號、沒有評分或排行榜、沒有公開託管、沒有移動應用、單使用者。