深度解读:大数据时代的意图搜索

意图搜索起源于互联网搜索引擎,是基于互联网上海量的无组织、异构、动态的数据与信息环境下搜索引擎不能准确理解用户的搜索意图而提出的,利用如神经网络算法等机器学习方法实现智能化的自动搜索,从而更加精准、主体的提供个性化的服务。

一、目的意义

大数据时代,任何网络行为所留下的“蛛丝马迹”都以数据的形式隐藏在大数据中,正所谓“存在就有痕迹,联系就有信息”,通过应用物联网、大数据、人工智能等技术,构建网络空间中行为事件、思想事件等模型。在实体空间和虚拟空间中全面收集、甄别、过滤、分类、整合人的存在痕迹和联系信息,关注人物或事件间联系链,从而实现网络空间中存在的各种意图,完成对意图产生源头、传播途径和发展趋势的全方位描述,达到对个人和组织的所思所想行为所在的全面搜索和分析。做到提前预警、智能决策。

2013年的“棱镜门”事件为国家安全敲响警钟的同时我们也看到正是有了“大数据”的存在,才让“棱镜”项目得以实施。目前,我国面临的安全形势严峻,反恐问题更是当前国际面临的重要安全问题,大数据环境下的意图搜索将能积极应对新时期各种安全威胁,运用大数据技术和人工智能技术进行深入分析,实现对安全事件的准确识别和提前预警,有力提升我国基于大数据的国家安全防护能力。

二、关键技术

1、人工智能技术:意图搜索引擎构建了人与信息的意识主动化的连接,通过不断的交换学习,形成模拟人脑的智能系统,从而实现人与机器的相互了解,因此人工智能技术将是意图所搜的核心技术。主要相关的人工智能技术有:机器深度学习、计算机神经网络、脑机接口、自然语言处理等技术。

2、大数据技术:而对数据进行收集、存储、处理、挖掘分析是搜索技术的基本环节,因此以数据存储、数据挖掘等技术为主的大数据技术也是意图搜索的关键技术之一。主要相关的大数据技术有:数据采集、数据存储、数据处理、数据挖掘与分析技术等。

3、物联网技术:随着传感器的发展和移动化的能力,意图搜索也呈现多样化的形态。因此,以传感器技术为主的物联网技术也是意图搜索的关键技术之一。

4、其他信息技术:此外,搜索实现从传统搜索到人工智能的过渡,还需要分词技术、硬件存储、云计算、超级计算、知识图谱等相关技术的成熟。

三、目标成果

大数据环境下的意图搜索技术将是构建一个构建虚拟空间信息社会雷达系统。该系统的主体是搭建一个完整的知识库,开发意图搜索引擎系统、并构建云计算与大数据的基础设施平台。

搜索引擎系统:搜集器、控制器、索引器、检索器、用户接口、处理分析系统

技术成果:人工智能、智能推理及知识研发、信息提取与分析技术、虚拟化工具、系统运行保障研发、系统算法、信息检索能力研发等技术上的突破成果。

四、国内外状况

1、美国

(1)美国技术优势明显

以微软和Google为代表的互联网巨头技术和应用皆处于领先地位。微软亚洲研究院的人立方关系搜索提供的搜索结果中,将所有信息都按照“人”进行重新整合,以人与人之间的关系为纽带,将埋藏在网络信息海洋中的“人”的信息连接汇总,图文并茂地展现出来,开启的意图搜索的新篇章。棱镜门事件以来,NSA的全球监控行为遭到各国政府和人民的谴责,但美国情报部门所展现的大数据和信息安全技术实力不容忽视。Accumulo数据库系统是NSA企业架构的核心。大多数NSA的关键分析应用都运行在Accumulo上,从技术角度看,NSA已经能够识别网络上的各种可疑行为和个人,可以说美国政府在相关技术已走到了Google、微软等互联网巨头之前。

(2)政府支持力度大

美国在相关技术的研发上给予高度重视。奥巴马政府大数据研究和发展倡议中推出的 XDATA项目将在四年里耗费2500万美元来开发计算技术和防护数据软件。2014年美国国防高级研究计划局(DARPA)启动其“大机理”项目,目的是发展可以发现隐藏在大数据中的因果关系模型。美国国防部每年投入2.5 亿美元资助利用海量数据的新方法研究,并将传感、感知和决策支持结合在一起,制造能自己运行和做出决策的自治系统,为军事行动提供更好的支持。NSA在大数据项目的规模、可扩展性、安全性在很多方面甚至超过了Google、亚马逊和苹果这样的大型互联网企业。NSA旗下的风险投资公司In-Q-Tel迄今已经投资了200多个云计算、大数据、搜索与分析创业项目。美国国土安全部正在开展“可视化和数据分析卓越中心”项目,通过对大规模异构数据的研究,使应急救援人员能够解决人为或自然灾害、恐怖主义事件、网络威胁等方面的问题。(参考文献:美国国防部的大数据安全战略,大数据文摘)

(3)美军利用大数据搜索提升侦查和反恐能力

美军正在开发的新一代大数据系统,能够通过计算机的速度和精度以及人的敏捷性,来理解和解释现实世界,协助指挥官和分析人员将以100倍于当前的速度来理解传感器收集的海量数据。例如,当阿富汗境内的大毒枭准备为基地组织等恐怖分子提供资金时,美军的情报分析人员能够借助大数据技术,把作战方案库里的数据与有关基地组织情况库里的资金数据进行实时、自主关联,指导美军先敌一步采取行动。

在美国国防部的资助下,美国“记录未来”公司,专门研究如何通过分析互联网信息,特别是“脸谱”、“推特”等社交网站,预先察知恐怖袭击等重大事件。2013年6月,美国国家安全局局长兼美国赛博司令部司令亚历山大在参加众议院特设情报委员会听证会时承认,通过秘密进行的“棱镜”等监视项目,美国政府至少挫败了50起恐怖袭击事件。这是大数据技术运用的成功案例。(参考文献:战争步入大数据时代,中国青年报,2014.03.14)

2、我国的发展现状

在我国百度、搜狗、360等互联网公司以及海康威视等安防企业处于技术和应用的前沿。从整体上来看,在商业开放和应用方面尚具备一定的国际竞争力,但从大数据智能搜索应用于国家安全防护上来看,我国在此方面与美国尚存在着较大的差距。

本文作者:佚名

来源:51CTO

时间: 2024-11-02 00:47:04

深度解读:大数据时代的意图搜索的相关文章

CIO时代APP微讲座:南京邮电大学李涛深度解读大数据时代的数据挖掘

3月13日下午,南京邮电大学计算机学院.软件学院院长.教授李涛在CIO时代APP微讲座栏目作了题为<大数据时代的数据挖掘>的主题分享,深度诠释了大数据及大数据时代下的数据挖掘. 众所周知,大数据时代的大数据挖掘已成为各行各业的一大热点. 一.数据挖掘 在大数据时代,数据的产生和收集是基础,数据挖掘是关键,数据挖掘可以说是大数据最关键也是最基本的工作.通常而言,数据挖掘也称为Data Mining,或知识发现Knowledge Discovery from Data,泛指从大量数据中挖掘出隐含的

李涛:深度解读大数据时代的数据挖掘

3月13日下午,南京邮电大学计算机学院.软件学院院长.教授李涛在CIO时代APP微讲座栏目作了题为<大数据时代的数据挖掘>的主题分享,深度诠释了大数据及大数据时代下的数据挖掘. 众所周知,大数据时代的大数据挖掘已成为各行各业的一大热点. 一.数据挖掘 在大数据时代,数据的产生和收集是基础,数据挖掘是关键,数据挖掘可以说是大数据最关键也是最基本的工作.通常而言,数据挖掘也称为Data Mining,或知识发现Knowledge Discovery from Data,泛指从大量数据中挖掘出隐含的

桑文锋:深度解读大数据及数据分析方案

文章讲的是桑文锋:深度解读大数据及数据分析方案,2016年5月12日-14日,第七届中国数据库技术大会(DTCC2016)在北京国际会议中心正式拉开帷幕.作为国内数据库与大数据领域最大规模的技术盛宴,DTCC已经同大家携手走过七载春秋.本届是大会创办以来,规模最大,参会人次,参展合作伙伴最多的一次盛会,云集了来自五湖四海的5000余名IT精英,相聚在这里,共话数据库技术发展潮流,共赴大数据浪潮之巅.5月14日下午,在DTCC2016的专场上,Sensors Data CEO(前百度大数据部技术经

易传媒郑靖伟解读大数据时代的价值营销

今天,广告正从单纯的广而告之向精准辐射转变,从一点到多点的传统传播,转变为多点互动的新型传播.伴随着移动互联网与社交网络兴起,互联网营销将在行为分析的基础上向个性化时代过渡.虽然大数据目前在国内还处于初级阶段,但是商业价值已经显现出来.手中握有数据的公司已站在金矿上,基于数据交易即可产生很好的收益,基于数据挖掘会有很多商业模式诞生.据统计,目前大数据所形成的市场规模在51亿美元左右,而到2017年,这个市场预计会上涨到530亿美元的规模. 而"大数据"时代下的网络营销能否颠覆传统?什么

深度剖析大数据时代保险业的发展

如同每一个传统行业,保险也会被互联网严重冲击,这一点连保险行业都认同.保险和互联网结合的序幕已经拉开,未来还有会上演些什么?我说说我的看法. 第一幕 渠道之变:保险网销 刚刚结束的淘宝聚划算六月理财日,泰康人寿的一款产品旺财一号在为期三天的活动中总销量八千八百六十万,是六月理财日销售额最高的单品.这个数字对于很多快消行业电商是个值得兴奋的数字.但是对于2012年总保费规模754亿.折合每天2.07个亿的泰康来说,这没什么可稀奇,甚至有些平淡.保险网销,这只是一个开始. 渠道之困 传统保险行业一直

让地球一定深度“透明”:大数据时代的“玻璃地球”

如果地球像玻璃一样透明,我们可以清楚看到地球内部的一切,这将是怎样一幅景象? "大数据时代,利用信息技术使地质结构和地质过程可视化的'玻璃地球'计划有望带来地质研究.矿产勘察和工程勘察的巨大变革."日前,中国地质大学(武汉)地矿信息系统研究所教授吴冲龙接受<中国科学报>记者采访时如是说. 让地球变得透明 使地球表层一定深度"像玻璃一样透明"一直是地质学家们的梦想.目前,业内人士认为,"玻璃地球"是一项基础性的地质信息系统工程,可被看作

大数据时代的数字营销趋势

mbaonline网站曾发布了一个有意思的统计叫<互联网的一天>:一天内互联网产生的数据流量可以装满1.68亿张DVD光盘:上传到Facebook的照片打印堆积起来有80个埃菲尔铁塔那么高:上传到Youtube的视频时长可以不间断播放98年:在Pandora播放音乐的时长达到1.87亿小时,如果一台电脑从公元1年开始播放,到现在还没有播完-- 毋庸置疑,我们已经进入大数据(Big Data)时代,这些庞杂的数据是垃圾也孕育商机,而最先将这里数据挖掘清洗产生商业价值的,正是网络广告人.正如Fac

大数据时代下的意图搜索 个性化服务是关键

意图搜索起源于互联网搜索引擎,是基于互联网上海量的无组织.异构.动态的数据与信息环境下搜索引擎不能准确理解用户的搜索意图而提出的,利用如神经网络算法等机器学习方法实现智能化的自动搜索,从而更加精准.主体的提供个性化的服务. 大数据时代下的意图搜索个性化服务是关键 一.目的意义 大数据时代,任何网络行为所留下的"蛛丝马迹"都以数据的形式隐藏在大数据中,正所谓"存在就有痕迹,联系就有信息",通过应用物联网.大数据.人工智能等技术,构建网络空间中行为事件.思想事件等模型.

大数据时代 在搜索引擎上看中国人的科普需求搜索行为

2015年7月21日,中国科协科普部.中国科普研究所.百度数据研究中心联合在京发布<中国网民科普需求搜索行为报告>(2015年第一季度),对当前中国网民的科普搜索行为特点.科普主题搜索份额.科普搜索人群的年龄.地域.性别等结构特征等进行分析.大数据时代在搜索引擎上看中国人的科普需求,希望我们的呈现和解读能为读者带来思考的全新角度. 中共中央.国务院<关于深化科技体制改革加快国家创新体系建设的意见>明确提出,到2015年我国公民基本科学素质比例要达到5% 本报告以使用百度搜索的中国网