音乐生成舞蹈

目录

listen-denoise-action

SIGGRAPH23

群体舞蹈

新视角合成新方案 Im4D

nerf的全身数字人

AI 最新动作迁移

 字节跳动发布最新AI视频模型Magic Animate

Thin-Plate-Spline-Motion-Model

CVPR2022-DaGAN 自监督

---

listen-denoise-action

SIGGRAPH23

[Diffusion进展，声音生成动画] 瑞典皇家理工学院的Listen-Denoise-Action，首个使用谈话或音乐生成动作或舞蹈（SIGGRAPH23）_哔哩哔哩_bilibili

github地址:

GitHub - simonalexanderson/ListenDenoiseAction: Code to reproduce the results for our SIGGRAPH 2023 paper "Listen Denoise Action"

群体舞蹈

https://aioz-ai.github.io/AIOZ-GDANCE/ #CVPR 2023 来自AIOZ和University of Liverpool的学者介绍了一种基于音乐驱动的团体编舞系统，作者构造了一个大型的群体舞蹈数据集，并基于此训练了一个神经网络，从输入的音乐音频生成群体舞蹈编排。#AIGC 无所不能！

论文：Music-Driven Group Choreography 主页：https://aioz-ai.github.io/AIOZ-GDANCE/

新视角合成新方案 Im4D

https://youtu.be/pPl1M5jpK4g SIGGRAPH Asia 2023 浙江大学提出的高保真、实时动态场景的新视角合成新方案 Im4D，输入多视角视频，可以将动态场景重建出来并能在新的视角渲染出高清晰度的视频。论文代码已经开源！

论文：igh-Fidelity and Real-Time Novel View Synthesis for Dynamic Scenes

主页：https://zju3dv.github.io/im4d

代码：https://github.com/zju3dv/im4d

nerf的全身数字人

视频来自 https://liuyebin.com/AvatarRex/ 图形学顶会 SIGGRAPH 2023，清华大学刘烨斌老师团队提出了一种从多视角视频数据中学习基于NeRF的全身数字人化身的新方法AvatarReX，学习到的数字人化身不仅提供了对面部表情、肢体动作和手势的精细控制，还能够实现实时的驱动和渲染。 文章：AvatarRex: Real-time Expressive Full-body Avatars 作者：Zerong Zheng, Xiaochen Zhao, Hongwen Zhang, Boning Liu, Yebin Liu. 主页：https://liuyebin.com/AvatarRex/

AI 最新动作迁移

想跳科目三的，只需要上传一张图片即可舞蹈

代码地址1：https://github.com/magic-research/magic-animate

 字节跳动发布最新AI视频模型Magic Animate

https://huggingface.co/zcxu-eric/MagicAnimate

预训练下载失败：

https://huggingface.co/zcxu-eric/MagicAnimate

Thin-Plate-Spline-Motion-Model

代码地址2：https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model

2022，有预训练

模型300m左右。

https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model?tab=readme-ov-file

预训练地址：有百度网盘

CVPR2022-DaGAN 自监督

代码地址3：https://github.com/harlanhong/CVPR2022-DaGAN

首先介绍了一种自监督几何学习方法，可以自动从人脸视频中恢复密集的 3D 几何（即深度），而不需要任何昂贵的 3D 标注数据。基于学习到的密集深度图，我们进一步建议利用它们来估计捕捉人头关键运动的稀疏面部关键点。以更密集的方式，深度还用于学习 3D 感知的跨模态（即外观和深度）注意力，以指导生成运动场以扭曲源图像表示。所有这些贡献构成了一个新颖的深度感知生成对抗网络（DaGAN）

CVPR2022 | 曾经火爆全网的算法！升级版来袭，支持卡通形象！_51CTO博客_Cvpr2022