GenMediaBenchmark

GenMedia Benchmark 是一個工具，可把同一條提示詞交給 fal、Higgsfield、OpenRouter 和 Replicate 等提供方的多個影片生成模型執行，並並排比較結果。它在使用者本機上使用使用者自己的提供方金鑰執行，無需賬戶、託管服務或安裝資料庫。該工具列出所支援提供方上每個有效的文生影片或圖生影片模型，允許在價格和速度上比較同一模型在不同提供方的表現。它在花錢之前先用各提供方特定的價格來源為模型定價，並強制執行每日花費上限。它測量真實的耗時和成本：fal 和 Replicate 報告自己的排隊和生成時間，fal（需要管理員金鑰）和 OpenRouter 報告實際收費。它用 ffmpeg 對每次渲染進行客觀檢查，測量運動、硬切、凍結、黑幀、靜音和響度，並附帶六幀膠片條。該工具支援通過對渲染結果評分和標註、選出贏家、在 Arena 中盲投，或使用可選的 AI 評審對幀進行盲評打分來評判。它還包含套件和多次生成（takes），允許一次執行最多八條提示詞，或每個模型生成多次，並提供排行榜，指標包括可靠性、中位速度、每輸出秒成本、評分、Arena 評分、評審得分和問題率。排行榜可以匯出為 CSV，任何請求都可以複製為 cURL。