很多朋友对于你想要“瓜子脸”还是“国字脸”？浙大视频“换脸”技术一键搞定和不太懂，今天就由小编来为大家分享，希望可以帮助到大家，下面一起来看看吧！

略圆的下巴变成了尖尖的，鹅蛋脸也快变成锥子脸了，看上去更显苍老了。

既然可以“瘦脸”，那也可以“扩脸”吗？

没问题，而且效果很突出，我都快变成国字脸了。

我们再给小扎一个改动：

一侧为“宽脸”，另一侧为“瘦脸”。嘿嘿，中间那个就是屏幕上熟悉的那个。

变脸

近年来，短视频在视频号、抖音、快手等各大社交媒体上流行起来。

那么，除了内置的美颜、滤镜功能之外，如何对视频中的人像进行数字化修饰呢？

由于视频是动态的，技术可能不像平面图片那么简单。

该研究主要由浙江大学计算机辅助设计与图形学国家重点实验室（CADCG）人员完成，英国巴斯大学也参与了研究。

论文链接：https://arxiv.org/abs/2205.02538

正如作者所说，“该研究的目标是通过根据现实世界中的自然面部变形编辑人像脸部的整体形状，生成高质量的人像视频重建结果。”

该团队的训练环境是一台配备AMD Ryzen 9 3950X、32GB内存的台式电脑。

其中，OpenCV的光流方法负责运动映射，并由StructureFlow框架进行平滑处理。人脸对齐网络（FAN）负责特征点估计，而Ceres Solver 用于解决优化问题。

与基线方法的比较。给定肖像视频的一帧（a），肖像整形方法会在鼻尖（b）附近产生伪影，因为鼻子遮挡了侧面，而作者的方法（c）可以使用相同的整形参数产生令人满意的结果。结果。

与仅使用MLS的方法（a）相比，仅使用优化的方法（b）和作者的方法（c）。

虽然MLS方法只能保证人脸边界的一致性和视频的稳定性，但网格优化对于校正背景失真是有效的。

不过，作者的方法在背景分离、畸变、人脸边界一致性方面取得了更好的效果。

通过与不固定轮廓网格点的方法(a)和仅使用稀疏轮廓点映射的方法(b)以及作者的方法(C)进行比较。

可以看出，作者提出的方法在性能、面部边界一致性和重塑一致性方面都取得了较好的效果。

整个研究过程主要包括两个阶段：稳定面部重建和连续视频重建。

在第一阶段，我们估计整个视频中的面部刚性姿势变换。

然后联合优化多个帧以实现准确的面部识别重建。

通过这种方式，该方法从重塑单个图像扩展到重塑整个图像序列。

接下来，恢复整个视频中的面部表情。

第二阶段，作者首先对重建的3D人脸进行重建，并利用参数来重建模型人脸的权重变化。

然后，重建的3D 人脸用于指导视频帧的变形。

结果表明，我们提出的方法可以稳健地生成连贯的重建肖像视频，而基于图像的方法很容易导致明显的闪烁伪影。

此类系统的一个有用部署是实现实时变形，其中必要的计算资源克服了“实时”变形的挑战。

这样就大大方便了社交媒体的人像视频编辑和视觉效果。

这在视频演讲、电商主播等方面将有广阔的应用前景。

研究团队

浙江大学计算机科学与技术学院金晓刚教授为论文通讯作者。

金晓刚，教授、博士生导师。他所在的CADCG（计算机辅助设计与图形）实验室隶属于浙江大学计算机科学与技术学院。

主要研究方向为计算机动画、计算机图形学、计算机辅助几何设计等。

官网介绍，他对电影特效模拟、布料动画与虚拟试穿、昆虫群模拟、交通模拟和自动驾驶也有浓厚的研究兴趣。

此外，他还对群体动画、隐式曲面建模及应用、创意建模、Sketch-Based 建模、纹理合成等进行研究。

与人合着的《计算机真实感图形的算法基础》一书荣获2001年国家科技图书奖二等奖。

参考：

http://www.cs.zju.edu.cn/csen/27059/list.htm

https://www.unite.ai/restructuring-faces-in-videos-with-machine-learning/