AI数字人虚拟主播制作sadtalker

Wav2lip能够使虚拟人物的口型与输入的语音同步。然而,Wav2lip存在一个问题,即它只能在嘴唇附近实现虚拟人物的动态效果。所以基于这个问题,今天给大家一个更自然的实现!事实上我们知道,音频与不同面部动作之间的关联是不同的。换句话说,虽然嘴唇的运动与音频之间的联系最为紧密,但头部姿势和眨眼等其他面部表情也可以对音频产生影响。

SadTaker它是通过隐式3D系数调制来驱动风格化音频,生成具有人脸动作的视频。总体而言,SadTaker在面部处理方面的效果优于Wav2Lip,并且相对于Wav2Lip+GFPGAN,速度也有很大提升。此外,SadTaker还支持自由旋转角度,使生成的视频更加自然,前面的视频效果大家已经感受到了。