LivePortrait.md

LivePortrait

一. 简介

1. 实现两个功能：面部表情和姿态的迁移(stitching)和编辑(Retargeting)。
2. 各种风格和不同尺寸都支持：漫画、油画、人像，动物图等。
3. 表情编辑：可以控制嘴唇和眼睛张开的程度。
4. 姿态编辑：用欧拉角三个旋转参数（pitch, yaw, roll）控制。

二. 意义

1. 实时推理：LivePortrait说在4090它可以做到12ms每帧，帧率80fps。
2. 动捕：替代高昂的动捕设备。在电影和直播方面有广泛的使用。
3. 对数字人的影响：生成的大量的数字人素材用于其他模型的推理和训练。
   • 用编辑生成闭嘴照片，扩展到视频
   • 生成推理视频：视频+带情绪视频
   • 生成训练视频：图片+标准的说话人，带情绪

三. 原理

1. 没用流行的扩散模型，而是用类似于sadtalker的vid2vid的gan模型，使得模型较小。
2. 模型内部就是基于关键点的迁移和编辑的GAN网络。
3. 编辑(Retargeting)是在迁移(stitching)的基础加了一个很小的模型。