经管之家App
让优质教育人人可得
立即打开
最近刷到个超牛的技术突破，快手的Kling团队联合清华大学和中科院自动化所的大神们，搞出了一个叫3DiMo的框架，直接解决了人体视频生成领域卡了好久的痛点。
简单说就是以前咱们用AI生成人物动作视频，要么被死死绑在固定视角里，换个角度人物动作就崩了，要么依赖那些死板的3D模型，生成的动作僵硬得像木偶。
现在有了3DiMo，既能精准复刻驱动视频里的动作，还能随心所欲调视角，简直是虚拟数字人、影视制作的大突破。
论文：https://arxiv.org/pdf/2602.03796
咱们直接看效果，非常丝滑的模拟鸡哥的打篮球动作。
网红小舞蹈轻松拿捏。
注意看，这可不是简单的2D平面模拟，而是3D立体空间的非常精准。
咱们都知道，现在市面上那些能让人跳舞、让人动起来的AI技术，说白了大多还是基于二维平面的。这就好比是你教一个人画画，你只让他看正面，那他画出来肯定也就只有正面。
以前的这些老办法，要么就是提取个二维骨架，要么就是搞个显式的三维模型。
用二维骨架的问题在于，它把动作和视角死死绑在了一起，视频是正面拍的，AI生成的也就是正面的，你想换个侧面看看？没门，因为它根本不理解侧面该长啥样。
而那些用显式三维模型的方法呢，理论上好像通了三维的道理，但实际上却很尴尬，因为从二维视频里恢复出来的三维模型，精度往往不够高。
有时候胳膊腿的位置都会搞错，这就导致生成的视频看着特别别扭，动作僵硬不说，连物理规律都违背了。
所以，研究团队就想，既然现在的大视频模型本身就很聪明，有点像人脑一样能理解空间关系，那咱们为什么非得用那些笨重又不准的外部模型去硬套它呢？
不如直接让模型自己从视频里悟出动作的精髓，这就是3DiMo最核心的想法。
要做到这一点，光靠嘴说肯定不行，得有真家伙。3DiMo的这套组合拳里，最厉害的一个模块就是他们设计的隐式运动编码器。
你可以把这个编码器想象成一个特别会抓重点的观察员。以前的方法像是把每一帧的画都原封不动地记下来，连背景是啥样都记着，但这东西没用，反而会干扰判断。
3DiMo这个编码器就聪明多了，它把那些花里胡哨的外观啊、具体的背景啊全都丢掉，只提炼出动作最核心的那个意思，变成一串特别紧凑的代码。
这个过程就像是看武侠片，你记住了那个大侠打了一套拳，但你记不住他当时穿的是红衣服还是蓝衣服，也记不住旁边有没有棵树，你只记住了那一招一式的精气神。
而且为了让它学得更纯粹，研究人员还在训练的时候故意给视频加了一些花样，比如随便改改颜色，或者假装换个角度看，逼着这个编码器只能去关注动作本身，而不是那些细枝末节的表面功夫。
光有了理解动作的大脑还不够，还得有一双灵巧的手把动作画出来。3DiMo用了一个现在很火的叫DiT的架构作为底座，这玩意儿经过海量视频的训练，天生就知道怎么画人才像人，怎么动才自然。
那么，编码器看懂的动作，是怎么告诉这个画家的呢？这里他们没用以前那种死板的拼接方式，而是用了一种很像人类沟通的交叉注意力机制。
咱们打个比方，就像是编码器在画家的耳边悄悄说了一句诀窍，画家听了之后，心领神会，手里的画笔自然就跟着动了。
但是，光教它看动作还不够，还得让它明白什么是三维空间。如果一个AI只看过正面的视频，你让它画侧面的动作，它肯定会瞎蒙。
所以，这次研究团队在数据准备上也是下了血本，他们搞了一个特别庞大的数据集，这里面啥角度的视频都有。
有那种从网上随便抓来的普通人视频，虽然角度单一，但胜在动作五花八门，特别接地气；也有用游戏引擎专门渲染出来的完美视角视频，虽然有点假，但胜在各个角度都有，数据特别精准。
还有他们自己拿着多台摄像机实拍的数据，这是最真实的参照物。把这些数据混在一起喂给AI，就像是给一个人开了个全视角的特训营，让它明白，不管你怎么转相机，那个人的动作在三维空间里其实还是那个动作没变。
为了测试性能，研究团队把3DiMo和现在主流的方法，比如基于二维姿态的AnimateAnyone、MimicMotion，还有基于三维SMPL模型的Uni3C、MTVCrafter，全都拉出来比了一圈，结果3DiMo直接杀疯了。
先看定量评估的指标。大家常用的评估视频质量的指标有好几个，比如LPIPS、FID、FVD，这些指标数值越低，说明视频质量越高。3DiMo在这三个关键指标上，分别拿到了0.2206、36.92、297.4的成绩，把其他方法远远甩在后面。
再看用户研究的结果，30个参与者从运动准确性、自然度、三维合理性和整体视觉质量四个维度打分，3DiMo在所有维度都拿了最高分，尤其是三维合理性这块，优势特别明显。
这就说明，3DiMo学到的运动表示是真的懂三维空间的，生成的动作看着就舒服，符合现实世界的物理规律。
定性评估的结果更直观。对比其他方法就能发现，基于二维姿态的方法经常出现肢体深度顺序错误，比如手和腰的前后关系搞反。
基于SMPL的方法在复杂动作下，很容易出现肢体变形。而3DiMo生成的动作不仅精准流畅，还能随便调视角。
想转型AI，不被时代淘汰
CAIE注册人工智能工程师认证
岗位能力 × AI工具 ×转型方向 × 场景落地 = 新AI职业价值
扫码免费领取《AI工程师入门学习指南》
扫码加好友，拉您进群
全部版块
我的主页
收藏
