跳到正文
Hacker News· gmays·· 3 小时前AI 评分38

NVIDIA 提出 JCA:为任意骨架联合生成 3D 运动与视频

Joints, Camera, Action Co-Generating 3D Motion and Video for Arbitrary Rigs

AI 导读

NVIDIA Research 提出 JCA 模型,可从文本提示为任意拓扑骨架联合生成视频与同步 3D 运动,并通过预测关节在画面中的位置反解相机、将运动对齐到 3D 场景。该模型将支持任意骨架的 3D 运动模型与预训练视频模型通过少量 cross-attention 层连接,用近 200K 训练对训练。JCA 还支持关键帧控制运动轨迹、视频转骨架运动与骨架运动转视频。

来源:Hacker News · research.nvidia.com