在音频输入推动下的人像图像动画领域，已经取得了在生成逼真动态人像方面的显著进步。传统方法局限于使用音频或面部关键点将图像转化为视频，虽然它们可以产生满意的结果，但某些问题仍然存在。比如：仅由音频驱动的方法有时可能因为相对较弱的音频信号而不稳定，而仅由面部关键点驱动的方法虽然在驱动上更为稳定，但由于关键点信息的过度控制，可能导致结果不自然。为了解决上述挑战，阿里采用了 EchoMimic 的新方法。EchoMimic 同时使用音频和面部标志进行训练。通过实施一种新颖的训练策略，EchoMimic 不仅能通过音频和面部标志单独生成人像视频，还可以通过音频和选定的面部标志的组合来生成。EchoMimic 已经在各种公共数据集和我们收集的数据集上与其它算法进行了全面比较，无论是在定量还是定性评估中都展示了卓越的性能。额外的可视化效果和源代码可以在 EchoMimic 项目页面上找到。