当前位置:首页 > 奇趣事 > 正文内容

谷歌人像抠图出新作:以后五一足不出户游世界

小嗨1周前 (05-05)奇趣事24

人像抠图又出新作!来自谷歌的研究者提出了一种新的人像重照明和背景替换系统,可对图像背景进行替换,生成的肖像图的光照条件与新背景保持一致,还能有效地去除图片中的强光,细节恢复较好。

在人像抠图中,前景预测背景替换是至关重要的组成部分,此前也出现过各种效果不错的抠图方法,如商汤等提出的只需单张图像、单个模型的方法 MODNet、华盛顿大学单块 GPU 实现 4K 分辨率每秒 30 帧的 Background Matting 2.0 等。这些方法或多或少都有其局限性。 

近日,来自谷歌的几位研究者提出了一种全新的人像重照明(portrait relighting)和背景替换系统,该系统不仅保留了高频边界细节,并精确地合成了目标人像在新照明下的外观,从而为任何所需场景生成逼真的合成图像。 

相关论文已被 SIGGRAPH 2021 会议接收。 

论文地址:https://augmentedperception.github.io/total_relighting/total_relighting_paper.pdf 

该研究的亮点和核心是通过 前景蒙版(alpha matting)、重照明(relighting)和合成(compositing )进行前景估计。 

研究者在论文中表示,每个阶段都可以在一个连续的 pipeline 中处理,无需使用先验知识(如已知背景或已知照明),也无需专门的采集技术,仅使用单个 RGB 肖像图和新的目标 HDR 照明环境作为输入。 

模型训练中使用到了光阶段计算照明( light stage computational illumination )系统捕获的重照明肖像图,该系统记录了多种照明条件、高质量几何形状和精确的前景蒙版。 

此外,为了实现真实的重照明合成,研究者在深度学习框架中引入了一种新的每像素照明表征,它显式地建模肖像图外观的漫反射和镜面反射组件,生成了具有绝佳渲染非朗伯效果(如镜面反射高光)的重照明肖像。实验表明,该方法在处理自然环境图像中是有效的。 

合成效果是这样的: 

‍实景动态展示,能看出来是合成的吗? 

框架方法

研究者提出的框架包含以下几个步骤,首先 matting 模块根据给定的 RGB 肖像图估计前景蒙版和前景,然后估计的前景和目标 HDR 照明环境馈入重照明模块,该模块负责推理表面几何形状和反照率,并使用每像素重照明表征来显式地建模着色后外观的漫反射和镜面反射组件。 

最后,前景蒙版、重照明结果和新背景合成在一起,生成了一张具有新背景的重照明肖像图,并且肖像图的光照条件与新背景保持一致。 

整体架构如下图 3 所示: 

重照明模块又包含以下几个步骤,首先使用几何网络(Geometry Network)来估计输入前景的每像素表面法线 N,然后利用表面法线和前景 F 来生成反射率(albedo)A。使用扩散和镜面卷积运算对目标 HDR 照明环境进行预过滤,然后通过表面法线或者反射向量对预过滤后的 map 进行采样,从而生成目标照明(光照图)漫反射和镜面反射的每像素表征。接着,使用着色网络(Shading Network)生成最终的重照明前景。 

下图 4 展示了重照明模块的详细工作流程: 

着色网络是如何工作的呢?首先,使用镜面网络(specular network)来预测单个镜面光照图,并作为输入。然后,将预测得到的镜面光照图与漫反射分量和反射率连接,并经由最终的神经渲染网络生成重照明前景。具体工作流程如下图 5 所示: 

最后,使用神经渲染器执行实际的图像合成,所使用架构 U-Net 与 Geometry Net 和 Albedo Net 的结构相同。研究者利用神经渲染器补偿近似(approximation)以及预测到中间图像中的任何残差。 

下图 6 展示了神经渲染器合成图像的过程: 

效果对比

在实验中,研究者从 重照明效果和 matting 模块 效果两个方面将提出的方法和 SOTA 方法进行了比较。 

重照明效果的对比

该研究将重照明模块与两种 SOTA 单幅肖像重照明方法进行了比较:对于在光照阶段拍摄的评估对象,该研究有真实重光照结果,可以对不同技术进行定性和定量比较。定性结果如下图 10 所示,所提出的方法优于以前 SOTA 方法,增加了照片的真实性。 

定量评价结果如下表 1 所示,该研究所提出的方法在肖像重照明任务的每个指标上都优于 SOTA 技术。 

研究者还比较了在任意光照条件下拍摄的户外人像的不同方法,其定性结果如下图 11 所示。结果表明,该方法在从输入图像(第一列)中 去除强光高光方面特别有效 ,并且可以很好地泛化到户外图像。 

Matting 效果对比

为了验证自定义人像 matting 模块的必要性,研究者将提出的方法与 Li and Lu [2020] 和 Xu [2017] 等人的方法进行了对比。 

下表 2 为带有真值标签肖像数据集的定量结果: 

值得注意的是,这种尤其针对人像训练的方法要优于以往的预训练方法。下图 13 中展示了定性结果,该研究提出的方法能够恢复更清晰的边界和精细的细节,从而获得更精确的前景蒙版。 


版权所有 本站内容均来源于网络收集整理,仅供学习交流,归原作者所有。

标签: 谷歌

相关文章

世界上最大的狗:站起来比成年人高50厘米,体重120公斤

世界上最大的狗:站起来比成年人高50厘米,体重120公斤

说起狗,大家都不陌生。看过《忠犬八公》电影的朋友,更是知道,狗是人类最好的朋友,它能够帮助人们做很多事情,同时,狗还是世界上最忠诚的动物,一只狗一旦确认了主人,除非主人抛弃了它,否则会陪伴主人直至生命...

世界十大顶级富二代:伊万卡上榜,她主演《绯闻少女》

世界十大顶级富二代:伊万卡上榜,她主演《绯闻少女》

  很多人都非常羡慕“富二代”因为他们一出生就拥有就很富有,并且享受着最好的资源,所以很多“富二代”如同明星一样,他们的一举一动总是被媒体关注着,他们总是能够引起话题。世界十大顶级富二代  1.玛塔·...

世界最高的十座活火山排行榜:第三曾喷发50次(高五千米)

世界最高的十座活火山排行榜:第三曾喷发50次(高五千米)

可以说火山是世界上破坏力最强的山,而活火山更是危险之极的存在,因为它随时都可能会喷发,就很容易导致周围的居民和建筑遭到极大的破坏,而世界上最高的十座活火山更是如此,那么它们到底有多高多危险呢?下面就跟...

穿越者注意了:10亿年后地球大气将变成贫氧

穿越者注意了:10亿年后地球大气将变成贫氧

十亿年后,地球大气层中将仅剩很少的氧气。如今,氧气约占地球大气层的21%。它的富氧性质非常适合大型复杂生物,如我们人类。但是在地球历史的早期,氧气含量要低得多,而且在遥远的将来,氧气可能会再次变得稀薄...

热搜–小学生到校先上体育课再上文化课,你怎么看

热搜–小学生到校先上体育课再上文化课,你怎么看

4月6日起,北京第二实验小学平谷分校所有学生每天上午第一节课全部确定为体育课。平谷区教委主任路宝银说,这项名为“零点体育”的改革措施是平谷区实施学校体育固本行动的一部分。后续平谷区将通过体育课增量,体...

世界上最大的瀑布,每秒携带500万立方米的水流冲击而下

世界上最大的瀑布,每秒携带500万立方米的水流冲击而下

炎炎夏日里,小编相信很多人喜欢去游泳池或者度假胜地去避暑消夏,而小编则喜欢抽时间去瀑布景点去避暑,可以想象下,在炎热的夏天,你面前是一个巨大的瀑布,水流从高处飞速而下,微风吹起细密的水珠拍打在你的脸上...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。