第一个可以从单个图像生成更高分辨率的3D人脸模型的系统
1月26日，聪明的东西报道说，伦敦帝国学院和初创公司FaceSoft.io的研究人员设计了一个面部建模系统AvatarMe。 AvatarMe可以基于任何面部照片和一些面部细节生成4Kx6K分辨率的3D面部模型。
AvatarMe是第一个可以从单个图像生成更高分辨率的3D人脸模型的系统。将来，AvatarMe可能会用于各种VR应用场景中，例如视频会议。
这项研究发表在CVPR2020上，标题为“ AvatarMe：逼真的可渲染3D人脸重建”。 （AvatarMe：“在野外”现实可渲染的3D面部重建）。
论文链接：https://arxiv.org/pdf/2003.13845.pdf CVPR（ConferenceonComputerVision和模式识别）是IEEE组织的计算机视觉和模式识别领域的顶级会议。该会议于6月13日至6月19日举行。
1. AvatarMe：基于照片生成逼真的3D人脸。 3D人脸建模是计算机视觉，图形和机器学习领域的研究重点之一。
在过去的几年中，许多研究团队已经基于Generative Adversarial Networks（GAN）开发了3D人脸建模系统。 GAN由生成网络和判别网络组成。
GAN模型的学习过程是生成网络与区分网络之间相互博弈的过程：生成网络随机合成图片，让区分网络判断图片是真还是假，然后不断提高“ ; fake”根据辨别网络提供的反馈的能力，最终，它是假的。然而，就从任何面部照片生成3D面部模型而言，现有的解决方案通常具有较差的性能，并且所生成的3D面部模型具有较低的分辨率。
伦敦帝国理工学院和初创公司FaceSoft.io的研究人员认为，这是由于两个原因造成的：一方面，研究人员缺乏可用于训练的数据；另一方面，研究人员缺乏可用于训练的数据。另一方面，可以成功应用于高分辨率数据的健壮方法也要少一些。
为了解决这些问题，伦敦帝国理工学院和初创公司FaceSoft.io的研究人员捕获了大量的面部形状和反射率数据集。同时，研究人员使用基于最新技术的3D纹理和形状重建方法来渲染所需的每像素分辨率和镜面反射分量。
最后，研究人员成功优化了3D人脸建模结果。 ▲AvatarMe系统2的管线结果。
使用两种捕获方法来收集200多个人脸图像。为了构建可用于训练的面部数据集，研究人员使用两种方法来收集数据。
在第一种方法中，研究人员使用具有168个光源和9个SLR相机的偏光LED灯泡来捕获高分辨率的光圈级人脸反射率图。在偏振LED灯泡中，一半的光源是垂直偏振的，而另一半是水平偏振的。
两种偏振模式的光源交替排列。在第二种方法中，研究人员使用非偏振LED灯泡进行色彩空间分析，以捕获未缠绕的纹理。
与第一种方法相比，使用非偏振LED灯泡只需要捕获不到一半的数据，因此捕获时间更短。另外，因为不需要偏振器，所以非偏振LED灯泡的设置相对简单。
通过这两种方法，研究人员收集了200多个不同年龄和特征的人的毛孔水平面部反射率图。为了促进进一步的研究，研究人员将收集的图像引入了标准的拓扑结构中，以建立人脸数据库。
研究人员将该数据库命名为RealFaceDB。根据该论文，与类似的人脸数据库相比，RealFaceDB是最大的。
▲将人脸图像引入标准的拓扑结构中。 3.不仅可以使用低分辨率的照片进行建模，而且可以基于RealFaceDB数据库创建带有太阳镜的照片。
研究人员开始训练基于GAN的AvatarMe系统。在训练过程中，研究人员首先输入低分辨率的面部图像，然后使用3DMM算法重建基本的纹理几何形状。
然后，研究人员使用超分辨率网络重建了纹理贴图。接下来，研究人员使用去照明网络获得高分辨率的漫反射功能（AD）。
最后，研究人员使用漫反射函数AD和基本几何图形来推断其他零件（AS，ND，NS）的功能，然后建立一个仿真的3D人脸模型。训练后，AvatarMe系统可以输出分辨率为4Kx6K的3D面部模型。
为了评估AvatarMe的性能，研究人员输入了随机pict。
AvatarMe是第一个可以从单个图像生成更高分辨率的3D人脸模型的系统。将来，AvatarMe可能会用于各种VR应用场景中，例如视频会议。
这项研究发表在CVPR2020上，标题为“ AvatarMe：逼真的可渲染3D人脸重建”。 （AvatarMe：“在野外”现实可渲染的3D面部重建）。
论文链接：https://arxiv.org/pdf/2003.13845.pdf CVPR（ConferenceonComputerVision和模式识别）是IEEE组织的计算机视觉和模式识别领域的顶级会议。该会议于6月13日至6月19日举行。
1. AvatarMe：基于照片生成逼真的3D人脸。 3D人脸建模是计算机视觉，图形和机器学习领域的研究重点之一。
在过去的几年中，许多研究团队已经基于Generative Adversarial Networks（GAN）开发了3D人脸建模系统。 GAN由生成网络和判别网络组成。
GAN模型的学习过程是生成网络与区分网络之间相互博弈的过程：生成网络随机合成图片，让区分网络判断图片是真还是假，然后不断提高“ ; fake”根据辨别网络提供的反馈的能力，最终，它是假的。然而，就从任何面部照片生成3D面部模型而言，现有的解决方案通常具有较差的性能，并且所生成的3D面部模型具有较低的分辨率。
伦敦帝国理工学院和初创公司FaceSoft.io的研究人员认为，这是由于两个原因造成的：一方面，研究人员缺乏可用于训练的数据；另一方面，研究人员缺乏可用于训练的数据。另一方面，可以成功应用于高分辨率数据的健壮方法也要少一些。
为了解决这些问题，伦敦帝国理工学院和初创公司FaceSoft.io的研究人员捕获了大量的面部形状和反射率数据集。同时，研究人员使用基于最新技术的3D纹理和形状重建方法来渲染所需的每像素分辨率和镜面反射分量。
最后，研究人员成功优化了3D人脸建模结果。 ▲AvatarMe系统2的管线结果。
使用两种捕获方法来收集200多个人脸图像。为了构建可用于训练的面部数据集，研究人员使用两种方法来收集数据。
在第一种方法中，研究人员使用具有168个光源和9个SLR相机的偏光LED灯泡来捕获高分辨率的光圈级人脸反射率图。在偏振LED灯泡中，一半的光源是垂直偏振的，而另一半是水平偏振的。
两种偏振模式的光源交替排列。在第二种方法中，研究人员使用非偏振LED灯泡进行色彩空间分析，以捕获未缠绕的纹理。
与第一种方法相比，使用非偏振LED灯泡只需要捕获不到一半的数据，因此捕获时间更短。另外，因为不需要偏振器，所以非偏振LED灯泡的设置相对简单。
通过这两种方法，研究人员收集了200多个不同年龄和特征的人的毛孔水平面部反射率图。为了促进进一步的研究，研究人员将收集的图像引入了标准的拓扑结构中，以建立人脸数据库。
研究人员将该数据库命名为RealFaceDB。根据该论文，与类似的人脸数据库相比，RealFaceDB是最大的。
▲将人脸图像引入标准的拓扑结构中。 3.不仅可以使用低分辨率的照片进行建模，而且可以基于RealFaceDB数据库创建带有太阳镜的照片。
研究人员开始训练基于GAN的AvatarMe系统。在训练过程中，研究人员首先输入低分辨率的面部图像，然后使用3DMM算法重建基本的纹理几何形状。
然后，研究人员使用超分辨率网络重建了纹理贴图。接下来，研究人员使用去照明网络获得高分辨率的漫反射功能（AD）。
最后，研究人员使用漫反射函数AD和基本几何图形来推断其他零件（AS，ND，NS）的功能，然后建立一个仿真的3D人脸模型。训练后，AvatarMe系统可以输出分辨率为4Kx6K的3D面部模型。
为了评估AvatarMe的性能，研究人员输入了随机pict。