Neurons字幕组 | 2分钟看AI通过2D照片设计出面部3D模型(附论文下载)

来吧,和Neurons一起,玩点不一样的AI!
还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。今天的Neurons小视频要介绍的,则是更甚一步的黑科技,用深度神经网络,将二维的人像照片立体化,生成面部的三维模型。
想象一下,如果我们能把代表自己的3D人物放进数字电影或者电脑游戏里是多么炫酷!本期的视频就介绍了通过一张简单的照片生成我们面部3D模型的方法。当然,将我们面部的3D几何模型和反照率分布图数字化显然是件极其费时费力的任务。(反照率图指的就是纹理,即一张彩图。它可以描述我们的皮肤是如何反射和吸收光线的)。


从左至右依次是:输入图像、输出反照率图像


从左至右依次是:渲染、渲染(局部放大)


从左至右依次是:渲染、渲染(局部放大)

显然,捕捉这样一幅图像需要很长时间,而且成本很高。所以,我们开发了这样一种黑科技,这项技术可以用一张简单的照片,生成任何一张脸的全数字化图像。我们甚至可以在数字世界中重现历史人物,而我们需要的,仅仅是一张照片。


从左至右依次是:输入2D图像、输出3D面部纹理图像(穆罕默德 阿里)

拿到一张照片后,这项技术能够生成两张反照率分布图:其中一张是图像完整的低频图,它可以记录下整个面部,但只包含大致细节;而另一张图则包含更多的细节,但它却不完整。大家还记得纹理合成的方法吗?输入非常小的一块具有重复结构的图像,在得知这些结构的统计特性后,就可能让它们无限地继续下去。于是,我们就可以以这张不完整的反照图为基础,尽可能地把缺失的细节合成出来!这篇论文Photorealistic Facial Texture Inference Using Deep Neural Networks的作者借助一种经典的机器学习算法,即卷积神经网络实现了这一点。我们所用的神经网络越深层,就有越多的高频细节出现在输出结果当中,即我们得到的图像就会越清晰。


从左至右分别是逐层叠加五层后形成的愈加清晰的面部效果图

在这篇论文中,你还能看到一份关于使用者研究的详细描述。这份研究是通过众人协作的方式进行的,旨在验证这项技术,包括用户界面和被问到的问题,还有一些与PatchMatch算法的比较。PatchMatch算法是纹理合成领域里程碑式的技术,也被用来修补那些年代久远的名古画。


从左至右依次是:输入、反照率图像、用PatchMatch算法后、最终效果图

时间: 2024-12-30 22:47:28

Neurons字幕组 | 2分钟看AI通过2D照片设计出面部3D模型(附论文下载)的相关文章

TED演讲 | “增时代”到来,看AI如何加持人类

谁说AI不懂设计.不会创造? 如果给汽车装上传感器,AI就可以用搜集到的数据来优化汽车底盘设计.AI还可以不断学习,自己进行新的设计.AI参与设计工作将大大增强人类的思维和想象力,而机器人能实现桥梁.汽车等的自主制造.通过各种技术"加持",人类进入了"增时代"(Augmented Age).人和AI可以在各自擅长的领域进行互补,谁离开谁都没法过日子! 没有人是一座孤岛,也没有一个AI是:) 如果没有WI-FI,小伙伴们可以先看下面的演讲文字整理先睹为快! 本视频总长

影像医师怎么看 AI ?北大人民医院杜湘珂:医生不止是看片子这么简单

雷锋网(公众号:雷锋网)消息,近日,北京大学医学部影像医学学系第二次学术年会在北京举行.当天上午举行了"医学影像与人工智能论坛".北京大学人民医院放射科原主任杜湘珂教授参与此次论坛,并在会上发表了题为<医学影像中的人工智能技术>的主题演讲. 杜湘珂:北京大学人民医院教授.主任医师:中华放射学会磁共振学组委员.北京市放射学会委员.中华医师协会放射分会委员:北京大学医学部教学委员会影像医学与核医学组及北京市住院医师培训基地影像医学与核医学组组长:中华放射学杂志.实用放射学杂志.

乌镇AI论坛最全盘点:中国互联网半壁江山坐在了一起,他们怎么看AI

工业和信息化部.国际电信联盟在第四届世界互联网大会期间举办人工智能论坛,以"人工智能:让生活更美好"为主题. 来看一下都有哪些大咖在现场,看看你都认识谁: 出席乌镇世界互联网大会的部分嘉宾,图片来自:中国人工智能产业发展联盟 施羽暇 工业和信息化部副部长陈肇雄先生,浙江省人大常委会副主任毛光烈先生,国际电信联盟标准局副局长莱茵哈特·肖勒先生,中国科学院院士张钹先生,中国科学院外籍院士,图灵奖得主约翰·爱德华·霍普克罗夫特先生,欧洲科学院院士乌思克尔特先生,中国联合网络通信有限公司总经理

三分钟看懂阿里云在成都发布哪些产品?

本文讲的是三分钟看懂阿里云在成都发布哪些产品?[IT168 现场报道]3天,150多个国家,20多台万终端设备,一场突如其来的WannaCry蠕虫勒索病毒,让全世界意识到了网络世界的风险以及安全技术的重要性.5月23日,在云栖大会·成都峰会上,阿里云再次传递了基于数据智能的理念和安全技术,也发布了帮助初创企业解决"安全"的问题"产业安全扶助计划"--为100家创业公司提供免费安全防护. 同时,阿里云也推出了多项新技术.新产品,包括支持12层4K画质非编的云端文件存储

演进之美,越来越美:三分钟看尽 iOS 1 ~ iOS 8 的进化史

演进之美,越来越美:三分钟看尽 iOS 1 ~ iOS 8 的进化史 原文出处: 少数派 9 月 18 日苹果就将推出 iOS 8 正式版了,从 2007 年发布第一代 iPhone 时搭载在 iPhone OS,到今天的 iOS 8,iOS 经历了翻天覆地的变化.iOS 的历代演进真可谓是「演进之美,越来越美」,我们一起通过信息图来看看吧. 主屏幕 苹果对每一代 iOS 的主屏幕图标放置和 iOS 版本图标设计极为用心,随着功能的不断增多和设计风格的转变,到今天的 iOS 8,用户已经逐渐接受

蓝驰创投朱天宇:用10年尺度看 AI 创业,如何发现独角兽 | 新智元专访

2017年1月20日,新智元百人会闭门论坛,蓝驰创投管理合伙人朱天宇从投资人的角度,带来<用10年的尺度看AI 创业,对下一个创新周期思考>的主题分享. 在分享开始前,朱天宇拿出了一本<大众软件>,他介绍说,这是 2016 年 11 月~12 月的大众软件合刊,也是这本创刊21载的杂志的停刊号,通过众筹的形式完成.朱天宇说:"这是一个事件,也是一个标志.大众软件代表的是上一个创新周期,是上一个创新周期的标志性的载体." 科技界已经步入下一个以云计算.大数据和人工

十分钟看懂时序数据库II——预处理

物联网领域近期如火如荼,互联网和传统公司争相布局物联网.作为物联网领域数据存储的首选,时序数据库也越来越多进入人们的视野.早在2016年7月,百度云在其天工物联网平台上发布了国内首个多租户的分布式时序数据库产品TSDB. 前文(<十分钟看懂时序数据库II--存储>)提到时序数据是一个写多读少的场景,对时序数据库以及数据存储方面做了论述,数据查询和聚合运算同样是时序数据库必不可少的功能之一.如何支持在秒级对上亿数据的查询分组聚合运算成为了时序数据库产品必须要面对的挑战. 本文会从时序数据库的查询

一分钟看懂测力传感器暗转使用技巧和注意事项

一分钟看懂测力传感器暗转使用技巧和注意事项!测力传感器在我们的生活中使用的非常广泛,尤其是在我们的工业中最常见,目前,测力传感器生产厂家也越来越多,那么,我们如何去选择测力传感器的国内生产厂家?. 我们知道,精准度对于测力传感器来说非常的重要,所以在工作使用过程中,保证传感器的精准度便成为了保养的第一要务.需要在日常养护上多下功夫,从最基础开始,努力做好每一个保养步骤.那么,要想保证传感器的顺利运行,都需要有哪些窍门技巧呢?在安装时特别要加强哪方面的注意呢? 首先来讲,在使用测力传感器时,需要对

2分钟看完95年日本经典动漫 - 那些年我们一起追过的动画片

class="post_content" itemprop="articleBody"> 2分钟看完1917-2012年日本经典动漫!网友混剪总结了从1917年第一部日漫到2012年末完结的<中二病>为止的日本经典动漫画面,95年的风云历程,你经历了哪一段?动画可以重制,如果人生也可以重新来一遍,你会选择"重制"你的过去吗? 95年日本经典动漫