IT之家 1 月 20 日消息，香港大学携手快手科技，组建科研团队，提出名为 GameFactory 的创新框架，目标是解决游戏视频生成中的场景泛化难题。该框架利用在开放域视频数据上预训练的视频扩散模型，能够创造全新且多样化的游戏场景。视频扩散模型已成为强大的视频生成和物理模拟工具，在游戏引擎开发方面展现出巨大潜力。这些生成式游戏引擎的功能类似于具有动作可控性的视频生成模型，可以响应用户的键盘和鼠标等输入。该领域的一个关键挑战是场景泛化，即创建超越现有场景的新游戏场景的能力。虽然收集大规模的动作标注视频数据集是实现这一目标最直接的方法，但这种标注成本高昂，对于开放域场景来说并不实际，这种局限性阻碍开发多功能游戏引擎，在生成多样化和新颖游戏环境方面面临诸多挑战。现有视频生成和游戏物理学领域也涌现了诸多突破方式，其中一个潜力方向就是视频扩散模型。这些模型已经从 U-Net 架构发展到基于 Transformer 的架构，从而能够生成更逼真、时长更长的视频。例如，Direct-a-Video 方法提供了基本的相机控制，MotionCtrl 和 CameraCtrl 则提供了更复杂的相机姿态操控。在游戏领域，DIAMOND、GameNGen 和 PlayGen 等各种项目都尝试了特定于游戏的实现，但都存在对特定游戏和数据集过度拟合的问题，场景泛化能力有限。GameFactory 利用预训练的视频扩散模型，这些模型在开放域视频数据上进行训练，使其能够生成多样化的游戏场景，突破了现有方法对特定游戏数据集的过度依赖。
此外，为了克服开放域先验知识与有限游戏数据集之间的域差距，GameFactory 采用了一种独特的三阶段训练策略：
研究还评估了不同控制机制的有效性，发现交叉注意力机制在处理离散控制信号（如键盘输入）方面表现优于拼接方法，而拼接方法在处理连续鼠标移动信号方面更有效，GameFactory 支持自回归动作控制，能够生成无限长度的交互式游戏视频。
研究人员还发布了高质量的动作标注视频数据集 GF-Minecraft，用于训练和评估 GameFactory 框架。IT之家附上参考地址
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，蓝鸢梦想所有文章均包含本声明。
