当前位置:首页 > 潮科技 > 正文内容

差点以为是本人,这个3D人体生成模型厉害了,还能自己改POSE

小嗨2周前 (05-01)潮科技26

很多3D人体模型都很强大,但总是难免“裸奔”。

像要创造出真正的人类“化身”模型,衣服和头发不可或缺。

但这些元素的精确3D数据非常稀少,还很难获得。

来自三星AI中心(莫斯科)等团队的技术人员一直致力于此方面的研究,最终他们开发出这样一个模型:

生成的3D人,穿着原本的衣服、发量发型也都毫无保留地呈现。

乍一看,“跟真人似的”。

更棒的是,无需模特示范,模型还可以“举一反三”,摆出各种POSE!

效果是这样子的:

该模型被命名为StylePeople。

来看看具体怎么搞的吧!

神经装扮模型(The neural dressing model)

其实,不止是“裸奔”,很多三维人体模型还很“死板”:模特摆什么姿势模型就跟着摆什么。

就像此前,利用隐函数来生成的三维人体模型能够高度还原模特的着装和发型了,但是人物姿势依然不够变通,只能从原模特的几个特定视角生成。

ps.也是该团队的研究成果

所以在为3D人体模型还原衣服颜色、褶皱和发型的同时,也要保证人物的姿势可以“举一反三”。

为此研究人员采用将多边形实体网格建模与神经纹理相结合的方法。

多边形网格负责控制和建模粗糙的人体几何姿势,而神经渲染负责添加衣服和头发。

首先他们设计了一个神经装扮模型(The neural dressing model),该模型结合了可变形网格建模与神经渲染,如下图所示。

最左列表示被可视化的前三个PCA组件。

第2、3列为在用SMPL-X建模的人体网格上叠加“人型化身”的纹理(texture)。

第4、5列为使用渲染网络光栅化渲染出的结果。

可以优雅地处理出宽松的衣服和长头发以及复杂的穿衣结构!

接下来,基于上面的神经装扮模型,研究人员造出能生成“Fullbody”的3D人体模型。

最终的生成架构是StyleGANv2和神经装扮的结合。

StyleGAN部分使用反向传播算法生成神经纹理,然后将其叠加在SMPL-X网格上,并使用神经渲染器进行渲染。

在对抗性学习中,判别器将每一对图像看为同一个人。

提高了视频和少量图像生成3D人类模型的技术水平

在对神经装扮这一方法的效果验证中,研究人员首先评估了基于视频素材的3D模型生成结果。

效果如文章开头所展示的图像,左边是示例源帧,其余的图像是左边视频人物的“化身”。在简单的增强现实程序做的背景下,呈现出了模特先前并没有摆过的各种姿势。

接下来,对基于小样本图像素材的神经装扮效果进行评估。

研究人员使用仅两个人的People Snapshot数据集将他们的神经装扮方法与其他各种方法(如360Degree等,见表)进行比较。

衡量生成的模型质量的指标包括LPIPS(感知相似度)、SSIM(结构相似性)、FID(真实样本与生成样本在特征空间之间的距离)、和IS(清晰度与多样性得分)。

结果显示了他们的方法在所有指标上都占有优势,

除了IS以外,但影响不大,因为它与视觉质量的相关性最小。

最后,该团队表示,他们这个模型的生成效果(如下图)仍然受到目前样本数据规模和质量的限制,今后工作重点是提高该模型的数据利用率。

有兴趣的同学可以持续关注该团队的研究进展。

参考链接:

[1]https://arxiv.org/abs/2104.08363


版权所有 本站内容均来源于网络收集整理,仅供学习交流,归原作者所有。

标签: 3D

相关文章

有史以来最快的随机数发电机

有史以来最快的随机数发电机

研究人员使用简单的激光建立了有史以来最快的随机数发电机。它利用光强度的波动来生成随机性 - 数据加密和科学模拟等应用中的令人垂涎的资源 - 并且可能导致足够小的设备以适应单个计算机芯片。真正的随机性令...

日本艺术家打造“拉链船”,就像巨大的拉链在水面上飞驰

日本艺术家打造“拉链船”,就像巨大的拉链在水面上飞驰

这艘由日本艺术家 Yasuhiro Suzuki 设计的“拉链船”目前正在水面上滑行,就像在海浪中制造一个裂口。这个名为“开河”的户外装置是东京设计艺术2020的一部分。以从日常物品中汲取灵感而闻名的...

科学家研发新型数据传输系统 速度比USB快10倍

科学家研发新型数据传输系统 速度比USB快10倍

Credit: Courtesy of the researchers, edited by MIT News近日,科研人员成功开发出了一种全新的数据传输系统,将高频硅芯片与细如发丝的聚合物电缆配对,...

机器狗替美国警察上街执法,有些人更恐慌了

机器狗替美国警察上街执法,有些人更恐慌了

前两天,美国摄像师丹尼尔在纽约街头闲逛,刚好撞见一只蓝黑相间的四足机器狗在人行道上小跑,职业本能让他拿起摄影机录下了视频。这只机器狗叫Digidog,由波士顿动力开发,目前是纽约市警察局的“警犬”,正...

树莓派驱动,MIT打造的寄居蟹机器人「能做任何事」

树莓派驱动,MIT打造的寄居蟹机器人「能做任何事」

机器人通常是一种专业化的工具,它们能够很好地完成设计好的特定任务,但是很少有机器人能够完成多种任务。完成多种任务往往需要使用多种机器人。 MIT 的研究者从寄居蟹这种生物中汲取了灵感,设计出...

那些想上天的亿万富翁,开启了新的“太空竞赛”

那些想上天的亿万富翁,开启了新的“太空竞赛”

私营航天展开的新型太空竞赛。自2010年以来,太空经济规模已经增长超过70% 。根据太空基金(Space Foundation)发布的一份报告显示,尽管受到了冠状病毒的影响,但是2019年全球太空经济...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。