今天的算法主题名为:First Order Motion Model for Image Animation

目的是让静态图片运动起来,就像贴上听话符,你动我也动。原论文发表于2019年发表于NeurIPS,点击查看原论文 

640.gif


基本的实现逻辑为,拆分视频和音频,对视频文件逐帧处理


对源人物进行人脸关注点标注,记录关键点的变化,并进行运动估计,随后表情迁移。


整个模型的训练过程,其实就是图片重建的过程

微信图片_20210111235437.png

image.png


现在让我们自己来实现该项目,我已打包好项目的所有文件,操作顺序如下:


因为需要用到深度学习框架Pytorch,请在调用前先安装好显卡加速CUDA和cudnn,随后安装Pytorch


下载打包好的文件:

链接:https://pan.baidu.com/s/1_SJSeL8Mso6e2TQVWCynlQ 

提取码:zszs 


下载后解压到任意文件夹,并下载好川建国的头像,加入到文件夹,取名 '1.jpg'


创建python虚拟,conda用Anaconda Prompt创建,PyCharm用new-project创建。


在虚拟环境下,切换到解压后存放项目的文件夹,用命令行输入如下命令,安装所有需要的包:

pip install -r requirements.txt


下载ffmpeg, 用于处理音频和视频。下载地址


下载后解压,并将bin文件夹的路径复制,再添加到环境变量中


回到虚拟环境命令行,开始运行:

python image_animation.py -i 1.jpg -c checkpoints\vox-cpk.pth.tar -v 1.mp4


其中,1.jpg为川普的图片,1.mp4为unravel的视频,你可以根据个人喜好更换素材,素材文件不要太大,容易卡死


运行会花约1分钟时间,根据视频大小和个人显卡性能而变化,运行完毕后会保存在output文件夹中


让我们来看看川普的激情献唱吧:



如安装或者运行遇到问题,请在评论区留言~~