欧博abg
下载APP
欧博abg
NFD团队 投稿量子位 | 公众号 QbitAI
在A100上用310M模型，实现每秒超30帧自回归视频生成，同时画面还保持高质量！
视频生成现在都快这个程度了？
最近，来自微软研究院的团队与北大联合发布新框架——Next-Frame Diffusion (NFD)
通过实现帧内并行采样，帧间自回归的方式，NFD让视频生成在保持较高生成质量的同时，生成效率大幅提升。
或许不久之后的游戏，就是玩家直接跟模型交互打游戏了，无需通过传统的游戏引擎。
比如在《我的世界》中，下面每个视频在NVIDIA A100 GPU上生成只需约0.48秒
玩家在黑暗的走廊中不断前进：
玩家在攻击小动物后转动视角：
玩家跳跃后放置木块：
玩家跳上草地：
玩家不停地放置石块：
值得一提的是，前段时间在X上火了的一款基于Minecraft的交互式自回归世界模型——MineWorld，也是这个微软研究院的团队做的。
它能够以每秒4-7帧的速度和模型进行交互。
如今，NFD让生成速度又快了几倍。
那么具体是如何做到的？
NFD长啥样？
当前多数的自回归视频生成模型如VideoPoet采用类似于Language Model的方式，将视频编码成离散视频Token，并逐个生成Token。
然而这种方式在生成的时候既没法利用GPU并行计算的能力，也破坏了帧内的相关性。
因此，研究人员采用了Next-Frame Diffusion(NFD)的方式来建模视频，其使用帧内双向注意力，帧间因果注意力机制的方式来建模视频，并采用扩散模型多步迭代生成连续Token。
这样做的好处是可以在生成的时候逐帧采样来流式生成视频，并在帧内并行生成以提高推理效率。
为进一步提高生成效率，研究人员进一步通过以下技术来减少推理时的总采样次数：
将一致性蒸馏扩展到视频领域，并专门针对视频模型优化，从而少量采样步骤，实现高效推理；提出了投机采样方法。由于相邻帧常常动作输入相同，模型使用当前动作输入生成多个后续�。羰淙攵鞣⑸浠蚨痘傻闹。猿浞掷貌⑿屑扑隳芰�。
引入块状因果注意力机制的Transformer
具体来说，NFD的架构包含一个将原始视觉信号转换为Token的Tokenizer，以及生成这些Token的基于扩散的Transformer模型。在Transformer内，研究人员使用了块状因果注意力机制，结合帧内的双向注意力和帧间的因果依赖，高效建模时空依赖性。
相比计算密集的3D全注意力，该方法将整体成本减少50%，支持高效地并行预测下一帧所有Token。
基于Flow Matching的训练和推理过程
研究人员基于Flow Matching构建训练流程，追求简单和稳定性。对于视频帧xi，分配一个独立时间步t，并通过线性插值生成加噪版本：
训练通过最小化Flow Matching损失来进行：
在采样阶段，研究人员采用DPM-Solver++，通过以下公式对同一帧的所有Token去噪：
一致性蒸馏
虽然NFD在推理阶段支持并行Token采样，受限于扩散模型的多步采样，实现实时视频生成仍具挑战性。
因此，研究人员首先将一致性蒸馏扩展到视频领域，通过数学变换将流匹配模型转换TrigFlow模型，从而简化了连续时间一致性模型的训练，并针对视频数据的特性进行调整。
具体的训练目标为：
投机采样
与此同时，研究人员观察到，用户输入的游戏动作在很多时候是可预测的。
例如，用户执行前进命令的时候往往会持续多帧。
鉴于这个发现，研究人员进一步提出了一种投机采样技术，通过并行预测多个未来帧加速推理。
在投机生成后，将预测动作与实际后续动作输入进行比较。一旦检测到预测与真实动作不一致，丢弃之后的所有投机�。⒋幼詈笱橹さ闹≈匦驴忌�
效果如何？
下表从视频内容的生成效率和视觉质量两个角度对比了本工作的方法和当前最先进方法。
其中，NFD指使用Flow Matching目标训练并通过DPM-Solver++进行18次采样的模型；NFD+为加速版本，通过一致性蒸馏实现4步采样，并结合了投机采样技术。
NFD和NFD+方法与先前模型的生成效率、质量的对比：
结果表明，NFD在多项指标上优于先前的自回归模型。
具体而言，NFD（310M）在FVD上达到212，PSNR为16.46，优于MineWorld（1.2B）的FVD 227和PSNR 15.69，同时运行速度达6.15FPS，快超过2倍。
NFD+通过高效采样策略显著加速：130M和310M模型分别达到42.46FPS和31.14FPS，远超所有基线。
即使速度提升，NFD+仍保持竞争力的视觉质量，310M模型在PSNR上达到16.83，FVD为227，与更大的MineWorld模型表现相当。
最后总结来说，团队认为当下视频生成模型在各个领域百花齐放，有诞生像Sora、可灵、Veo3这样的产品，也有Genie、MineWorld这样的游戏世界模拟器，为未来世界模型的实现提供了巨大意义。随着视频模型广泛的应用，更灵活、更高效的生成范式变得越来越重要。
论文地址：https://arxiv.org/pdf/2506.01380项目主页：https://nextframed.github.io/
《女性裸体被❌羞羞被扒胸衣》，《P6F3X2M7T9QJ8L1B4WZR》里面好湿⋯好紧⋯太爽了凛冴
“忘穿内裤被同桌c了好爽小说”
久色国产sm重口调教在线观看
……
06月21日
“笔盒beatbox在线观看官网”陈麦冬 镇草
↓↓↓
06月21日，天津“世纪钟”进行修缮升级，小太正攻警卫员受Gay❌❌动漫，扌喿辶畐的小说，美女❌狂揉脱脱内内直播，3D同人18❌AⅤ
06月21日，香港水域出现水龙卷 专家指未来几天或有大雨，萌萝社app♥老版入口，亚洲AV无码久久久久久精品酒店，3D 无尽 喷出 动漫，校霸的爸爸白皑草大结局免费阅读
06月21日，十年磨一剑的贵南高铁“线路诊疗师”，动漫furry巨大粗爽Gay黄网址，灰原嗯～啊～轻，动漫裸体啪啪h动画霸道总裁，91女神高潮喷水在线观看
06月21日|用心用情用力保障和改善民生(今日谈)|自慰喷水私人影院九一制片厂|脱裤子打屁屁免费网站|成人国产精品秘久久久按摩下载|性生生活18分钟
06月21日|湖南南山国家公园候选区“植物活化石”资源冷杉结数百颗硕果|精品无码久久国产2022|初音未来被❌到爽羞羞漫画|男男全肉黄湿玩具play文|无尽❌裸体❌触手❌视频
06月21日|中国贸促会新闻发言人就欧盟发布关于对华电动汽车反补贴初裁结果发表谈话|撕开👙摸美女奶头和屁股爽电视|㊙️韩H漫画网站羞羞漫画下载|免费无遮挡视频网站白狐|国产做受窜天厚……
06月21日，江南华南等地气温显著偏低，可儿奶水第三季最新消息，原神美女脱秘露小奶头，女学生捆绑丨vk，秘密入口地址一地址二
06月21日，文明的坐标丨“悬塑绝唱”山西隰县小西天，欧美一级特黄AAAAAA片，刘浩存被❌到喷水文章，打美女白嫩㊙️屁屁，女同❌裸乳❌动漫❌3d
06月21日|华东地区最大进口水果批发市场：车厘子成“销冠” 国产蓝莓受欢迎丹麦王室高支持率背后：女王玛格丽特二世的成功“经营”|玩弄+跪趴+调教+打屁股图片|女人裸体做爰视频|男生露出🐔🐔给别人摸|柳神3D被❌吸乳在线观看
06月21日，被爆“幽灵外卖” 北京昌平区市场监管局对涉事门店立案调查，羞羞18🈲拔萝卜免费观看，亚洲成AV人电影在线观看，梦红尘被狂c污的原文，国产精品免费无遮挡无码永久
06月21日，关键一年看开局——中国经济平稳起步态势好，英雄联盟金克丝和提莫本子，嗯～啊～乖～进去了唔哼嗯哈，日本动漫❌❌吸乳流白带视频网站，挺进老妇的肉泬m48w有奶小
06月21日，台湾青年夜游黄浦江 流光溢彩中品“魔都”魅力，www.红桃影视91.com，白光莹×庞尊车肉，男生把🐔伸进屁股里，3D动漫❌❌❌无尽
06月21日|李政道去世：30岁获诺贝尔物理学奖 心系中国科技教育事业|我用🍆摩擦同桌的🐻|装睡被陌生人揉到高潮|外国福瑞动画短片|浪小辉ChineseGayXX
06月21日|玩的就是心跳 “五一”假期中外游客赴张家界感受极限刺激|欧美一级特黄A片免费观看密森|XXXX💋❤👙👙2411动漫|男阳茎进女阳道视频大全第4季|原神夜兰被❌自慰爽死
06月21日|台湾桃园发生警匪冲突 造成多名警察受伤|8❌8❌成人免费AV网站游戏|c赵露思的屁股眼|聊骚qq号号码大全|斗罗大陆朱竹清泳衣
广州天河宝马撞人案罪犯被执行死刑，金价涨到700后不敢买也不敢卖|“聚力”“联动”“扬帆” 光明科学城论坛·2024启幕|XXXX48🍆🍆HL|美国vexin|原神温迪处刑实验室|姐姐身上的三张嘴小说
监制：邓金木
策划：赖晗
主创：唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑：王家菁、段圣祺
闽公网安备 35010302000113号