基于NPBG,这套3D头像方案融合了光照系统

Esther|编辑

对于未来的AR/VR社交场景,多样化、定制化的头像系统至关重要。目前,生成个性化头像的简易方案并不够逼真,而且撞脸的可能性较高,而逼真的3D头像方案通常需要利用线下的大规模容积摄影/动捕工作室,成本较高,因此使用者主要为企业级用户。

那么为了打开AR/VR社交市场,降低生成逼真3D头像的门槛很关键。近期,俄罗斯Skoltech的学者研发了一种基于手机摄像头的[可动态打光]移动3D头像捕捉方案:Relightable 3D Head Portraits from a Smartphone Video。

它采用neural point-based graphics system(NPBG,基于点云的图形化系统),特点是使用简单,而且效果逼真,更重要的是可动态模拟不同角度和环境条件中头像的变化。据悉,该方案无需LiDAR等高成本硬件或特殊的打光,只需要一部智能手机即可。

与现有的一些基于静态打光生成3D头像的方案相比,[可动态打光]方案将具备逼真的动态光影信息,在虚拟环境中可实时调整亮度和阴影,就像是人脸在真实环境中所成像的动态特性。因此,该方案生成的3D头像的表情和姿态看起来更有生命力,不会打破AR/VR的沉浸感和逼真感。

科研人员表示:随着手机等2D计算界面普及,也同样带动了移动摄影的发展。而随着VR/AR头显、3D显示器慢慢普及,3D摄影将有望成为一个有趣的研究方向。未来,这个2D视频转化成3D头像的算法,将有望解决VR社交面临的一个关键挑战。

在论文中,科研人员描述了整个基于神经算法的图像处理过程:

用智能手机从多个角度拍摄两个人像视频,一个开启闪光灯,一个未开启闪光灯。模特在拍摄过程中保持不动,手机环绕模特拍摄到的图像将平均分为100个视角,科研人员在每4个视角之后会插入一个持续的定向光源(摄像头闪光灯),同时捕捉到的100个视角图像分辨率分别为3000×3000,采用HDR形式,足够清晰生动。

手机中的运动建模算法会将捕捉到的图像数据转化成粗糙点云结构,接着通过多角度降噪,生成代表3D头显的几何图形。然后,利用深度渲染网络去复原人脸的反射率、法线、环境光地图,用于生成和模拟各种视角下光线的变化。

通过一系列处理,代表人脸的几何结构将转化成可动态打光的3D头显模型,可模拟多种不同视角和光线环境中面部色彩和亮度变化。

细节方面,动态打光的方案通过手机闪光灯实时打光,也就是说用手机以360°围绕被拍摄者,与此同时手机的闪光灯也会按照一定频率闪烁,为3D建模提供足够的光线信息。

接着,手机摄像头捕捉到的图像会转化为点云数据,利用基于神经点的图形算法来实现3D重建。结合SFM算法和每一帧的摄像头方位信息,接着重建密集点云模型,在通过深度分割网络过滤点云,将3D头像/前景从每一帧图像中分割出来。在经过训练后,神经网络在接收到点云数据后,即可生成光栅化的独特摄像头视角,并预测不受光线改变的特征,并与可动态打光的图像融合。

注:SFM算法是一种基于各种收集到的无序图片进行3D重建的离线算法,也就是从运动中(不同时间拍摄的图片集合)重现物体的3D结构。

也就是说,利用深度神经网络处理视频图像,并根据室内光预测反射率、阴影等亮度相关的人脸特征,然后将这些预测的亮度地图用于对人脸视频影像的重新打光。如此一来,可模拟不同环境光下人脸亮度和阴影的变化。

在虚拟环境中,你可以通过各个方向的模拟光源或环境光源来调整3D头像的明暗,调整视频环境的光线。此外,为了避免恐怖谷效应,这项头像算法并不会模拟嘴唇动作或面部表情变化。

Skoltech计算机视觉小组负责人、副教授Victor Lempitsky表示:基于神经点的图像算法可处理多样化的几何图形,包括常见的多边形网格等等。用多边形网格代表3D模型的好处在于渲染速度快,但是难以模拟薄或直径小的物体,如:头发、手指、布料等等。与此同时,点云图像也有相似的问题,其通过像素点来模拟人脸光影变化,但受热门密度原因影响,可以看到一些无色的小洞。

科研人员发现,结合基于点云的图像和神经渲染,有望解决上述问题,神经网络可以在渲染过程中链接点云数据,让3D头像表面更平滑。

未来,Skoltech的计算机视觉小组计划将该算法用于生成可动态打光的全身3D建模,应用场景包括VR、3D可视化等等。

Skoltech科学和工程小组的高等数据分析负责人兼副教授Evgeny Burnaev表示:利用简化、低成本的硬件就能快速完成复杂的3D扫描任务,这将有助于利用3D模型保存文化遗产,生成的3D模型还可以发布到网页端,吸引更多人在线上学习历史文化。

参考:

https://saic-violet.github.io/relightable-portrait/

( END)推荐阅读 每天五分钟,轻松了解前沿科技。——青亭网

百度未收录

未经允许不得转载:蔚蓝资讯网 » 基于NPBG,这套3D头像方案融合了光照系统

赞 (0) 打赏

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址