AniTalker是一款开源照片+音频视频生成器框架 ，通过身份解耦面部运动编码制作生动且多样化的说话面孔，可将单个静态肖像照片和输入音频转换为具有自然流动动作的动画对话视频，生成的结果的每一列都使用具有相似姿势和表情的相同控制信号，但包含一些随机变化，展示了我们的多样性产生的结果。
AniTalker，这是一个创新框架，旨在从单个肖像中生成栩栩如生的说话面孔。现有模型主要关注唇形同步等语言线索，无法捕捉面部表情和非语言线索的复杂动态，与此不同的是，AniTalker 采用了通用的运动表示。这种创新的表现方式有效地捕捉了广泛的面部动态，包括微妙的表情和头部运动。
AniTalker 通过两种自监督学习策略增强运动描绘：第一种涉及从同一身份内的源帧重建目标视频帧以学习微妙的运动表示，第二种使用度量学习开发身份编码器，同时主动最小化身份之间的互信息和运动编码器。这种方法确保运动表示是动态的并且没有特定于身份的细节，从而显着减少对标记数据的需求。
此外，扩散模型与方差适配器的集成允许生成多样化且可控的面部动画。这种方法不仅展示了 AniTalker 创建详细且真实的面部动作的能力，而且还强调了其在为现实世界应用制作动态头像方面的潜力。
相关导航
Parler TTS是一个轻量级的开源高质量文本转语音 (TTS) 模型，可以以给定说话者的风格（性别、音调、说话风格等）生成高质量、自然流畅的语音。它是根据Dan Lyth和Simon King在Stability AI和Edinburgh University发表的论文《Natural language guidance of high-fidelity text-to-speech with synthetic annotations》的工作进行的复现，与其他TTS模型不同，Parler-TTS是一个完全开源的发布版本，所有的数据集、预处理、训练代码和权重都以宽松的许可证公开发布，感兴趣的同学可以在线体验。
