在游戏缔造畛域，场景的各样性和立异性一直是一个费事。近期，香港大学与快手科技联手研发了一个名为 GameFactory 的立异框架，旨在处治游戏视频生成中的场景泛化问题。这一框架愚弄了预磨练的视频扩散模子，省略在敞开域的视频数据上进行磨练，从而生周详新且各样化的游戏场景。

视频扩散模子看成一种先进的生成技巧，连年来在视频生成和物理模拟畛域展现出广泛后劲。这些模子省略像视频生成器用雷同，反馈用户的操作输入，如键盘和鼠标，进而生成相应的游戏画面。关系词，场景泛化，指的是卓绝现存游戏场景创造全新游戏场景的才智，仍然是这一畛域的要紧挑战。诚然多量鸠集动作标注的视频数据集是处治这一问题的平直顺序，但这种顺序耗时耗力，尤其是在敞开域场景中更显不切本色。

GameFactory 框架的推出恰是为了处治这一费事。通过预磨练的视频扩散模子，GameFactory 省略幸免对特定游戏数据集的过度依赖，况且撑捏生成各样化的游戏场景。此外，为了弥补敞开域先验学问与有限游戏数据集之间的差距，GameFactory 还接收了特有的三阶段磨练政策。

在第一阶段，愚弄 LoRA（低秩适配）微调预磨练模子，使其妥当特定的游戏畛域，并保留原始参数。第二阶段则冻结预磨练参数，专注于磨练动作猖狂模块，以幸免作风和猖狂的期侮。终末，在第三阶段中，移除 LoRA 权重，保留动作猖狂模块参数，使系统省略在不同的敞开域场景中生成受控的游戏视频。

商讨东说念主员还评估了不同猖狂机制的灵验性，发现交叉持重力机制在处理键盘输入等突破猖狂信号时证明更优，而拼接顺序在处理鼠标出动信号时恶果更佳。GameFactory 还撑捏自归来动作猖狂，省略生成无尽长度的交互式游戏视频。此外，商讨团队还发布了高质料的动作标小心频数据集 GF-Minecraft，以供框架的磨练和评估使用。

论文:https://arxiv.org/abs/2501.08325

划重心:🌟 GameFactory 框架由香港大学与快手科技趋附研发，旨在处治游戏视频生成中的场景泛化问题。 🎮 该框架愚弄预磨练的视频扩散模子，省略生成各样化的游戏场景，并接收三阶段磨练政策普及恶果。 📊 商讨东说念主员还发布了动作标小心频数据集 GF-Minecraft，以撑捏 GameFactory 的磨练和评估。