东芝开发高速对照大数据技术 比传统处理技术快50倍

东芝开发出了可高速对照大数据、大规模媒体数据注1的数据处理技术。此技术以高维矢量注2表现人物的面部、销售数据等,通过预先将类似的矢量群索引化处理,可实现高速对照。利用此技术从1000万张人物的面部图像数据中提取指定人物的实验注3中,仅8.31毫秒(1毫秒=1/1000秒)即可完成处理。比传统的处理速度高出约50倍注4。

近年来,大数据的分析、活用技术不断用于机械学习或机器故障预测等领域,大幅提高了故障的预测精度,给人们的生活带来诸多便利的同时,分析的数据量也比人们预想的更快实现了大容量化、大规模化,寻求计算处理的高速化需求日益凸显。

东芝开发的高速对照技术,结合了“矢量符号技术”(以尽量维持矢量间的距离的状态进行压缩)、“矢量索引技术”(不计算矢量间的距离而是预先索引化处理距离比较近的矢量群)、“管道搜索技术”(将粗略搜索和详细搜索进行阶段性组合)这3项技术,从而实现了计算处理的高性能化、高速化。其中,“矢量索引技术”是东芝最先开发的技术,摆脱了逐一对照咨询数据的矢量,而是对照已经过索引化处理的类似的矢量群,使得处理速度大幅提高。

东芝以模式挖掘注5、媒体识别的强化注6、大数据分析注7三个领域为中心,将此技术向解决方案服务领域推广应用。例如,可通过在大范围内设置的监控摄像头的影像瞬时发现指定人物,可使用机场等的水域监控高速对照国际通缉犯的人脸照片列表注8。

今后,东芝还将把此技术应用于深度学习,扩大与提高人工智能等相关的应用领域,为企业创造全新的价值。

此外,东芝已将此技术与向外扩展型数据库“GridDB?”组合,建立了可高速处理大数据、大规模媒体数据的世界首个适用高维矢量对照的数据库,计划将于2016年制作成产品。

注1:例如,监控影像、广播节目档案、客户服务中心储存的语音记录、Web文本等大规模媒体数据。

注2:并非二维(平面)或三维(空间)的矢量,而是拥有数百~数万等维数的矢量。

注3:使用拍摄的5800人的面部共1000万张图像,以98%或以上的面部识别精度为限制条件进行实施。

注4:依据东芝独立调查获得的速度比较值。

注5:模式挖掘(类似模式搜索)

可对照监控摄像头等的影像的広域监控(追踪需要监控的对象人员等)

配置场所可以是车站、机场、高速道路等的闸口(验票)、主题公园、娱乐场等的各监控点、从车站到运动场(音乐会、体育)的移动路线监控、ATM、接待窗口、售票机等。

注6:媒体识别的强化

国际通缉犯的检查(在机场等场所的监控强化等)

注7:大数据分析

对学习和预测自动进行数据分析云服务。只将销售数据、机械信号数据等需要分析的数据上传至服务器,无需另行配置分析管理等人员,可自动获得分析结果。

注8:将1千万人的国际通缉犯的人脸照片列表和通过安全门的人物进行对照,使用其它公司的类似技术需要约20秒,使用本技术则仅需约0.68秒便可进行对照(依据东芝与系统整体处理时间相关的理论估计值)。

※GridDB是株式会社东芝的注册商标。
本文转自d1net(转载)

时间: 2024-11-03 22:02:49

东芝开发高速对照大数据技术 比传统处理技术快50倍的相关文章

戴尔调查:积极投资云、移动、安全和大数据的公司增长速度比落后者快50%

ZD至顶网软件频道消息: 戴尔公布了第二届全球技术采用指数(GTAI 2015),与没有投资于云.移动.大数据或安全技术的公司相比,积极使用这些技术的公司其收入增长速度高出53%.尽管技术使用与收入增长之间存在这种紧密的联系,成本被认为是实施或扩展这些技术的主要障碍. 戴尔首席信息官Paul J. Walsh表示:"我们很高兴看到更多企业意识到技术投资的战略意义.我们认为,这项新的调查将帮助企业看到技术使用与收入增长.效率提升和组织增长之间的关联性." 在2014年和2015年,GTA

全球大数据将在未来十年内增长50倍

大数据是个热门话题.Computerworld援引IDC的研究报告称未来十年全球大数据将增加50倍.他们称,仅在2011年,我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生.这相当于每位美国人每分钟写3条Tweet,而且还是不停地写2.6976万年.在未来十年,管理数据仓库的服务器的数量将增加10倍以便迎合50倍的大数据增长.该报告补充道IT经理们将可能烦恼于如何寻找足够的拥有必要技能和经验的人才来管理这样的数据.第五年度的IDC Digital Universe研究报告讨论了所有

大数据生态不再让金融技术“隔靴搔痒”

文章讲的是大数据生态不再让金融技术"隔靴搔痒",1月4日,李克强总理在腾讯发起的前海微众银行敲下了电脑回车键,卡车司机徐军就拿到了3.5万元贷款,成为国内首家互联网银行的首笔贷款业务.这一无网点.无柜台也无财产担保要求的微众银行,全凭人脸识别技术和大数据信用评级放贷. "微众银行一小步,金融改革一大步."李克强评价道. 三周后,BAT另一巨头阿里巴巴,因淘宝售假受到国家工商总局质疑,马云高调宣布"将设300人专职打假",用大数据手段向假货宣战,加

大数据和互联网的应用技术

作为首家确定进驻落马洲河套地区的专业香港科技机构,香港生产力促进局科研团队将于几个月后正式入驻福田保税区,为落马洲河套地区的发展提供智力支持和服务平台.昨日下午,深港合作再迈新步伐,福田区政府与香港生产力促进局签署合作备忘录,携手共同打造"香港生产力促进局创新及技术中心".这也是福田最新打造的"深港协同创新中心"落户的首个港方科研机构项目. 根据合作协议,这个新成立的中心将通过吸纳和培养深圳地区的优秀技术人才,提升应用技术研发的能力,同时,与海外专业团体及深圳和周边

如何做好大数据产品设计架构和技术策略?

作者经过研发多个大数据产品,将自己形成关于大数据知识体系的干货分享出来,希望给大家能够快速建立起大数据产品的体系思路,让大家系统性学习和了解有关大数据的设计架构. 很多人都看过不同类型的书,也接触过很多有关大数据方面的文章,但都是很零散不成系统,对自己也没有起到多大的作用,所以作者第一时间,带大家从整体体系思路上,了解大数据产品设计架构和技术策略. 大数据产品,从系统性和体系思路上来做,主要分为五步: 针对前端不同渠道进行数据埋点,然后根据不同渠道的采集多维数据,也就是做大数据的第一步,没有全量

数据实践之美:31位大数据专家的方法、技术与思想. 导读

  数据实践之美:31位大数据专家的 方法.技术与思想 天善智能 著   前 言 朝阳门和小笼包 2016年3月5日,天善智能在北京举办"数据为王·互联网大数据沙龙"活动.在活动开始前的3月2日,我在家里收到了几本有关大数据相关的书籍,当时还没有弄清楚是怎么回事,后来打电话问梁勇(天善智能创始人之一)才知道这几本书是机械工业出版社华章分社的副总编杨福川寄过来的,代表华章支持我们的线下沙龙活动. 3月5日之后的某一天晚上,我约了杨总编出来以当面表示感谢.3月份的北京还比较冷,那两天风也比

数据实践之美:32位大数据专家的方法、技术与思想. NO.1 数据化运营的方法论体系

NO.1 数据化运营的方法论体系 张子良 网名胖子哥,混迹IT十余载,好读书,不求甚解.经史子集,诸子百家,一样不通.唯喜老庄之道,凡事随心,顺天应时,无所苛求.术业有专攻,金融和互联网领域数据方向,数据架构.数据仓库.BI分析多有涉猎,所憾无一精通,唯有孜孜以求,继续践行. 从大数据,到互联网思维,有人迷失,有人觉醒,迷失者继续凌乱,而清醒者却开始探索其背后的本质.当喧嚣散去,山还是山,商业还是商业,本质未变,变的只是渠道和方法.互联网与大数据时代,如何回归商业的本质,数据化运营也许不是唯一的

大数据三个重要的技术问题

  当今,大数据的到来,已经成为现实生活中无法逃避的挑战.每当我们要做出决策的时候,大数据就无处不在.大数据术语广泛地出现也使得人们渐渐明白了它的重要性.大数据渐渐向人们展现了它为学术.工业和政府带来的巨大机遇.与此同时,大数据也向参与的各方提出了巨大的挑战,首先是三个重要的技术问题: 一.如何利用信息技术等手段处理非结构化和半结构化数据 大数据中,结构化数据只占 15% 左右,其余的 85% 都是非结构化的数据,它们大量存在于社交网络.互联网和电子商务等领域.另一方面,也许有 90% 的数据来

基于大数据背景下的图形处理技术变革探索

基于大数据背景下的图形处理技术变革探索 赵锐 随着信息技术的不断发展,云计算及物联网技术出现之后,又出现了一种新的技术变革,即大数据.大数据给计算机网络相关的很多领域带来了不同层次的影响,图形处理技术就是其一,本文以大数据背景为基础,对这一背景下图形处理技术的变革进行了深入的探索. 基于大数据背景下的图形处理技术变革探索