MIT黑科技:“不开卷也有益”,计算机不翻书就能读完一本书

编者按:第一眼看到文章的标题,大家肯定会不约而同地想到:“Isn’t it amzing that computers can read through a book page by page without opening it”?讲真,我们文章的作者,来自MIT Media Lab的A. R. Sanchez, B. Heshmat, A. Aghasi等研究员们,将为大家详细讲述如何运用太赫兹时栅光谱成像技术从层状结构中,如一本闭合着的富有文化价值的古籍,提取文本内容。不同于X射线或超声波,该成像技术能够区分页与页之间、空白页与有文字的页之间的差异,透读9页纸张上的内容。目前,研究员们正在继续努力,以期实现技术上的突破,提升该项技术在工业、文化遗产研究等领域的实际应用。

 在传统意义上,飞行时间成像技术一般应用于快速成像(飞秒摄影Femto photography)和复杂的几何图形成像(如在拐角处或漫射器内成像)。由于光速将时间与空间紧密联系在一起,时间分辨率越高,空间分辨率也将随之增加。在我们的最新研究中,我们将从100千兆赫兹到3太赫兹范围内甄选出一个能够穿透纸张或其他材料的频段。我们也将对具有很高时间分辨率(每秒10兆帧)的光脉冲进行取样,取样所得的光脉冲是我们之前的研究中所用光脉冲的20多倍。如此高的时间分辨率将空间分辨率提升到30微米左右,使将一本合着的书的页与页之间分开来成为可能。我们提出了一种扩展算法使这种成像方式(可以称之为太赫兹时间域光谱技术)既能够成像,也能够透读密集的层状结构。这种成像技术当然在工业检测中能够得到应用,不过,也能够用于透读闭合着的古老文件或者检查富有文化价值的书籍样本。

对一些复杂样本,如闭合的书籍,进行非侵入性检查当前所面临的三大成像技术瓶颈为:空间分辨率,光谱对比度和遮挡。我们运用传统太赫兹时间域光谱学技术的飞行时间能力,并结合其光谱能力,力图在算法上克服这些技术瓶颈。据我们的研究报道,能够成功地无监督式提取一个类似于一本闭合的书籍的密集层状结构所包含的内容。

基于反射所得的太赫兹电场的统计结果,我们的技术使用类似飞行时间的测量方法来定位书中的每一页。层定位结束后,我们运用一种新型时栅光谱分析方法,这种分析方法能够调整每一页的频率,使之对应光谱域中对比度最高的帧。随着页码的增加,我们采用的研究方法能够产生一种等级凸显效果,为每一页排序。当使用一种最近才提出的能够识别出每一页被遮挡的字母的方法后,整个成像过程便宣告结束。实验结果表明,我们已经能够成功地从一扎至少9页带有文字的纸张中提取出字母。

由于工业界有不计其数的层状结构,每层的厚度大约有亚毫米,和数不清的富有文化价值的文本(如文件,书籍和艺术作品),运用THz TDS(太赫兹时间域光谱技术)从层状结构中提取内容具有广阔的应用前景。因此,我们的研究将有助于改进THz和其他用于从层状结构中提取内容的时间分辨率成像技术。

我们的研究证实了太赫兹时栅成像技术在提取深度内容方面的实际应用,并且为成像与传感领域的研究指明了新的研究方向。我们的研究结果报告如下:

1. 与传统的去卷积技术相比,THz TDS的电场统计结果能够提高较深层层定位的精确度。此外,这种技术在提取脉冲方面的应用并不依赖一种参考测量标准。

2. 太赫兹时间域光谱技术具备的飞行时间能力或时间分辨率主要能够用于在空间内分辨3D光谱特征(而并非用于对整个样本作纯粹的变换谐波量分析)。这将有助于我们调整文本内部和空白页之间微小的光谱差异,以达到凸显文本的目的。

3. 目前提出的计算方法,如基本凸形状分解,能够通过精确恢复被遮挡的内容,从而得到全新的应用。

此外,我们的技术对以下三个领域产生了重大影响——超快成像,计算成像和太赫兹光谱成像。我们期望,我们的研究结果将激发广大读者对于太赫兹时栅成像技术的浓厚兴趣,同时为其检查层状结构和层状结构成像搭建一个新的平台。本研究将对工业成像、地震成像领域的研究和文化遗产研究产生深远的影响。此外,由于这种成像方式是以映像的形式为依托的,它的应用将拓展到运用其他类型飞行时间传感器的远距离成像研究中。

读者可能对与本文相关的一些问题感兴趣,我们在这里简要提及四个:

1. 我们的研究与camera future的“每秒兆帧成像”研究项目有什么联系?

我们运用相似的超快成像方法定位每一页。基于测量所得的太赫兹脉冲达到的时间,我们计算出每一页的位置,然后观察脉冲的光谱,以确定该页的某个位置是否有墨迹。Camera future 的“每秒兆帧成像”项目是首个将物理学中常用的超快设置方法运用到成像系统与应用的项目。

2. 难道X射线或超声波不能实现从层状结构中快速提取内容吗?

似乎,X射线或超声波也能够实现读通书本,成像;但是,与我们的THz技术相比,这类技术在亚微型钢笔墨水或铅笔层与空白页之间不能形成对比对。这类方法也有其他的缺点,如花费高和电离辐射。如果运用CT的话,将很难检测出一本闭合的书籍中页与页之间的差异,因而不能看到文本内容。然而,我们的远红外时间分辨系统是基于纸张吸收光谱的,这种成像技术将成为唯一一种用于逐张提取文本内容的技术。

3.  该THz TDS成像技术的创新之处体现在哪里?

该技术的核心贡献在于:

      1、运用THz信号统计结果提取一层文本内容。与传统的方法相比较,这种新技术能够运用于更多也输得内容提取。

      2、运用Kurtosis的光谱对比度来调整空白纸与有墨迹的纸张频率域之间的细微差异。

      3、凸基本形状匹配,能够检测出被遮挡的字母。

      4、我们应用上述提到的所有技术,以便采用计算方法并利用THz时间域光谱系统的光谱分辨率与时间分辨率实现新的应用。

4. 该技术的局限性体现在哪里?

SNR与光谱对比是当前的主要技术瓶颈;一个具备更高性能的系统将有助于我们“更深地”读书。另一局限性在于薄纸张的变形,纸张变形将导致信号的扭曲,近来我们的研究有志于解决这一难题。

原文链接

via A. R. Sanchez et al.

本文由雷锋网(公众号:雷锋网)独家编译,未经允许拒绝转载!

本文作者:高婓

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-11-05 17:33:31

MIT黑科技:“不开卷也有益”,计算机不翻书就能读完一本书的相关文章

MIT黑科技:全新芯片将语音识别功耗降低99%

雷锋网消息:日前 ,MIT(麻省理工学院)的研究人员开发了一款专为自动语音识别设计的低功耗芯片.据悉,他们开发的芯片最高能将语音识别的功耗降低99%. 不管苹果的Siri,谷歌的Google Assistant,还是亚马逊的Alexa,智能语音助手正在越来越普及.但是,这些虚拟助手都需要依靠语音识别,而且需要常驻后台保持开启状态以随时检测语音命令,这必然会减少设备的续航时间.MIT的研究人员称,手机上的语音识别功能的功率大约在1瓦特左右,而使用他们开发的芯片能够将功率降低至0.2~10毫瓦. 雷

颠覆你的认知,带你领略史上最为齐全的微软黑科技之旅

自从微软这次的发布会后,网上着实遍布不少对微软黑科技的描述,从这次大家熟知集显独显分离的Surface Book,到已经耳熟能详的Hololense和Kinect,微软与其背后的研究院似乎一直在默默的在黑科技中探索,不断刷新大家对科技的认知,一次次的将科幻带到现实,在这里,小编就带你领略史上最为齐全的微软黑科技之旅! 1.Microsoft Hololense 当之无愧,黑科技之首应属Hololense! 一个手势即可将影像"显示"到任何平面 虚拟显示与真实物体完美交互,设计.建模,让

到数博会看“2017十大黑科技”

这界数博会一个很有意思的点就是"黑科技"众多,为此组委会还专门评选出了"2017十大黑科技".那么问题来了,到底什么是黑科技呢,怎样才能算是黑科技?这界数博会都有哪些黑科技?这些黑科技又"黑"在哪呢?为此,我们对这次的"2017十大黑科技"进行专题报道,一起来走进这些黑科技. 怎样才能称得上是黑科技 现在"黑科技"这个词用的很多了,那么黑科技到底是什么,要满足哪些条件才能算得上是黑科技呢?在我看来,应该具有

激动之余,我们来聊聊历届冬奥会上的黑科技!

昨天下午6点,来自马来西亚吉隆坡举行的国际奥委会第128次全会上,北京和张家口正式获得2022年冬季奥运会的申办权. 北京申办奥运会从2013年启动,历时2年,最终获选,相比2008年首次举办的奥运会,申请过程应该说顺利多了.作为一名北漂客,也忍不住激动~不过激动之余,这里来聊聊冬奥会里的那些高科技. 先了解下冬奥会 首届冬季奥林匹克运动会于1924年在法国的夏慕尼举行.1986年,国际奥委会全会决定将冬季奥运会和夏季奥运会从1994年起分开每两年间隔举行,1992年冬季奥运会是最后一届与夏季奥

黑科技|感官世界与人机交互的盛宴 --未来虚拟现实养成记

前言 什么是真实?在电影黑客帝国中,电脑接管了人类的视觉.听觉.嗅觉.触觉等讯号,让人们从出生开始就生活在虚拟世界中却浑然不知.这虽然是科幻片,但令人浮想联翩. 2014年,Facebook20亿美金收购了Ocumulus Rift.同年Google I/O,Google发布了Cardboard,一款利用廉价纸板和手机屏幕就可以实现虚拟现实的DIY设备.2015年初,Microsoft公开了一款介于虚拟与增强现实之间的头戴设备HoloLens,现场演示十分惊艳.此外各大公司与游戏厂商都纷纷在虚拟

【黑科技】新一代脑机接口技术基石:通过大脑扫描数据重建图像

近日,中国科学院自动化研究所的研究团队提出了一种令人既兴奋又恐慌的大脑黑科技:"读脑术".据 5月6号的MIT Technology Review 头条报道,读脑术算法可以通过大脑扫描数据重建图像,其评论道,"新提出的技术有效克服了这个领域的一系列难点,能够更加精确地读懂人类大脑信号,还原出人眼所看到的视觉场景.该技术不仅对计算神经科学意义重大,也是研发新一代脑-机接口技术的基石."   That's interesting work with significan

“黑科技”空中互联网:高科技公司的野心计划

互联网飞速发展,PC衰落,人类已经迎来了移动互联网时代,可是你有没有想过,地球的另一端,大量的第三世界国家处在封闭的环境中,人们还无法上网.消息的闭塞让一些某些贫困地区更加愚昧落后.地广人稀,经济落后,让手机基站的建设变得困难且代价昂贵.有没有一种低价同时可以覆盖大范围地区的办法呢?谷歌与Facebook就在策划妙招.科技巨头们看中了互联网"处女地"的发展商机,从客观上也将为这些国家的人们带来了移动互联时代的诸多便利.这些奇思妙想看似"黑科技"的空中互联网正在成为现

WiFi黑科技? 麻省理工用WiFi穿墙认人

黑科技往往是指超越现今人类科技或知识所能涉及的范畴,同时缺乏当前的科学根据或违反自然原理的科学技术或者产品,但却又让人感到相当炫酷的产物.近日,麻省理工学院(MIT)计算机科学和人工智能实验室就对外发布了一项在一般人看起来有些"黑科技"意味的技术--用WiFi来识别人. 麻省理工学院利用WiFi可以监测人的呼吸频率和心率 据悉,麻省理工学院设计出一套名为"RF-捕获器"的装备,并开发出一种可以识别人体轮廓的软件.通过这种捕获器有目地的收发无线信号,进而分析反射信号,

探秘视频编码黑科技,窄带高清2.0视觉模型及场景实战

"黑科技"这个词已经成为了今年云栖大会的关键词.那么,在我们熟知的视频领域,什么才算是黑科技呢? 我们知道,在通常情况下,视频画质越好带宽费用肯定越高,带宽又是视频服务中占比很高的一项成本,很多开发者都在寻求效果与成本的平衡点.那么,有没有一种技术,能够在保证甚至提高视频画质的同时,降低带宽呢?如果有的话,小编觉得这一点可以算是黑科技了吧. 今天,小编就带大家来了解下刚刚在云栖大会上重磅发布的阿里云窄带高清2.0,看看它是如何超越压缩极限,在视觉效果和带宽成本中找到平衡的. 首先,我们