MaineCoon AI

概览

MaineCoon 是 Catnip.ai 推出的实时多模态智能系统，定位为实时视听社交世界模型。官网称它是一个 22B 参数的实时视听自回归模型，能够流式生成并实现亚秒级交互，在单块 GPU 上最高可达 47.5 FPS。它旨在把语音、图像、视频和文本置于同一个连续的实时上下文中。 该模型针对社交互动应用和社交视频生成进行了优化。其训练方法包括自重采样、跨模态表示对齐、领域感知的偏好优化，以及强化在线策略蒸馏（ROPD）。它还采用智能体式流式推理框架，支持千秒级甚至更长的生成，并通过智能体式缓存管理、分块提交、长上下文推演和提示词规划来缓解漂移。 官网推出了 SocialVideo Bench，用于评估面向社交视频的视听生成。官网称 MaineCoon 优于七个有代表性的开源视听生成模型，同时生成速度最快。MaineCoon 目前开放有限的早期访问，可申请访问或凭邀请登录。