大数据分析会揭开马航MH370失踪谜底

  马航MH370客机失踪谜底如果被大数据分析揭开,对此我并不感觉到意外。人在做,天在看,瞒天过海是不可能,只是需要发现真相的细节和线索。

  如今,美国卫星运营商DigitalGlobe(数字全球)启动了Tomnod众包网站平台(crowdsourcing),发布疑似事发区域的卫星图像,供志愿者进行“地毯式”搜索。类似人肉搜索,这也是一种大数据应用,我想也许真相就隐藏在卫星图像数据的背后。

  人肉搜索当然是一种迫不得已的方式。其实,目前公安办案也是依赖这种办法,通过人工来排查事发当地的监控录像。波士顿马拉松爆炸案就是一个成功案例,通过录像排查,发现了疑犯的线索,最后成功破案。波士顿警方采用了什么样方法,大数据,还是人肉搜索,不得而知。但有一点,如果能够依赖系统,则办案的效率会提升,依靠人肉,除非是一场人们战争,否则人力和物力都会受限,效率很难有保障。

  据说,用机器对数据进行排查并不难,核心是建模,其余事情就可以交给机器了。大数据应用的难点也是在建模。以Google为例,针对搜索的特点,通过建模,构建了Google搜索的商业模式,取得了成功。行业企业要进行大数据应用,成功建模至关重要。

  针对MH370,如果有一个成功建模,一定会为事件追踪创造更多有力的线索。有关数据也不一定局限在DigitalGlobe提供卫星数据。万物之间都有联系,任何事情都会有踪迹,当把这些散落在各地的数据聚集起来的时候,有些事物的本质、真相就会浮现出来。DigitalGlobe之所以采用“地毯式”搜索,我想也是受困于建模,没有一个合理分析数据的思路,也只好用人海战术了。

  公安破案也经常采用人海战术,对各个卡口的视频监控数据进行人工排查。如果通过建模,能够自动绘制嫌疑车辆、嫌疑人的行动轨迹,这对于公安办案而言,堪称福音。对于视频信息的排查,也许会牵涉到影像识别这样的技术,实际上,技术并不是难点,建模才是难点。建模完成之后,如何通过Map/Reduce对数据进行分析检索/聚合,最终形成结果,这也是需要考虑的问题。

  对于互联网企业而言,由于聚集了大量的软件人才,自身具备足够的软件开发能力,可以根据自己的业务需要,建模、Map/Reduce自己的商业模型。但对于MH370、对于公安,这就不是一件简单的事情了。以我看来,MH370更加负载,车辆好歹还有一个车牌,而Mh370连一个明显的标识都没有,所以大海捞针。

  正因为难,大数据对MH370才是雪中送炭。透过MH370事件,但愿会有一个大数据分析的模型,果真如此,则是人类的福音。相信大数据,相信大数据的力量。  通过大数据的实际应用,图型搜索技术能够为企业带来货真价实的价值——Neo Technology公司软件工程师Max De Marzi。

  不同的事物之间有哪些联系,通过找到这些联系就能够揭示出隐藏在背后的洞察和模式。Max De Marzi的工作就是利用Neo4j NoSQL数据库与Cypher查询语言,为客户建立一套概念验证(poc)模型。换句话说,他能够向我们展示如何运用这一新技术来解决特定的业务难题。

  Max De Marzi最近的一个poc项目受到了Facebook社交搜索工具Graph Search的启发,这相当于是一个通过“自然语言”查询来为用户提供特定结果的搜索引擎。这今年的Big Data TechCon大会上,Max De Marzi将为我们展示如何利用大数据来创建企业自身的Graph Search。

  让大数据发挥效能

  最能从大数据中获取价值的往往是那些面向消费者的企业,或者更直接点说就是零售企业。Max De Marzi表示,他去访问的大部分零售企业网站,都仅仅会问消费者的一般兴趣点。在他看来这是不够的,如果零售商能够深入地收集关于消费者家庭情况,年龄以及其他感兴趣的事物的时候,他们就能够更精准地向消费者推送感兴趣的商品。

  “这关系到你如何利用数据,你可以利用社交媒体数据,比如微博的数据。你并不一定非要自己去向消费者收集这些数据。在社交媒体上已经有大量的信息可供挖掘,你所需要的只是一个动态的手段来加以整合和利用。” Max De Marzi说。

  虽然零售企业最能从graph search中获取价值,但并不是说企业行业就不行。Max De Marzi还举了结果例子,比如银行可以通过大数据来检测可以的连接,从而避免欺诈行为。如果一张信用卡被20个人拿来用,那么它很可能就存在欺诈的行为。

  一些更复杂的情况,比如团伙诈骗等,都是通过将数据隐藏在误导的背后。传统欺诈检测的方法会讲这些信息作为单独的数据点进行处理,而忽视了数据之间的关系,就比如上述的那种20个人用一张卡的情况。而在大数据分析的指导下,银行就能很快地查找到这其间存在的蹊跷。

  创建你自己的graph search

  “无论是传统的DBA还是熟悉NoSQL的技术人员,这期间都会有一个学习的过程。” Max De Marzi说。首先,开发者需要学习如何理解自然语言,以便创建新的Cypher查询。他认为过渡阶段的难点并不是在技术层面,而是思维的转变。开发者需要转变传统的思维方式,更多地接受动态数据点以及相互连接对象的概念。

  “这种思维的转变也许只用几个小时,也可能会用上好几天。但一旦开发者完成了这一过程,所有的事情就变得简单易用了。” Max De Marzi说。

  幸运的是,这是一个信息爆炸的时代,目前无论是在网上还是书店都有很多相关的内容资料可供开发者来入门。

时间: 2024-11-13 06:42:01

大数据分析会揭开马航MH370失踪谜底的相关文章

大数据领域33个预测,开启未知的2016

数据平民崛起 甲骨文公司预测一种新型用户:数据平民(Data Civilian)会崛起.该公司称:"虽然复杂的数据统计可能仍局限于数据科学家,但数据驱动的决策不会是这样.在未来一年,更简单的大数据发现工具让业务分析员可以寻找企业Hadoop集群中的数据集,将它们重新做成新的混搭组合,甚至运用探索性机器学习方法来分析它们. "大数据"会消亡 Nucleus Research公司公开发表了不同意见,预测我们所知道的大数据会消亡.该公司称:"在过去两年,每家公司及其人员似

大数据:未来大国间博弈的决胜关

无论是否出于你的意愿,数据正在每天为你做着人生笔记:你去了哪里?看到了什么?做了什么?你的性格喜好?与谁联络?心情如何?--这些通通可以从你的网络浏览记录.交易记录.手机通话记录.联通视频记录.收发邮件记录.社交网络记录等等当中获得,你在网络上的每一个"足迹"都会以数据的形式被记录并存储下来,它们精准及时.事无巨细.而借助于这些数据,就可以拼出一个比你自己更了解的"你". 这样由一个个数据描绘出的"你",有何价值? "鬼才"制

深扒大数据:关于用户隐私以及企业价值

文章讲的是深扒大数据:关于用户隐私以及企业价值, [IT168评论]如今,业界和学术界一直在讨论一个词,那就是大数据.不管是学术圈还是IT圈,只要能谈论点儿大数据就显得很高大上.然而,大数据挖掘.大数据分析.大数据营销等等事情仅仅只是个开始,对大多数公司来说,大数据仍有很强的神秘色彩.于是,在我们还没有完全搞明白如何运用大数据进行挖掘时,各种过于神化大数据的舆论就已经不绝于耳了.当然,也有很多人直接批判大数据或大数据营销给我们造成的隐私威胁.也有很多人根本没有搞清楚什么是大数据,到底有什么价值.

防止坠入“大数据陷阱”,除了技术还需要什么?

摘要面对互联网金融大潮,在兴奋激动之余,我们还需要一种相对冷静平和的心态.如果我们真的要搞金融大数据开发,真的要靠有关数据来办互联网金融,那确实就要认真思考一下自己所谓拥有的"大数据"真的足够大了吗?足够长了吗? 当今,互联网化正带动着许多行业.产业的组织变革和商业变革.在这一历史性的进程中,互联网技术的迅速发展也给金融领域的创新带来了巨大活力,显著提升了金融服务的水平.首先,从银行来说,现在银行已普遍通过互联网渠道开办各类业务,银行服务的成本有了下降(电子银行每笔交易成本大约只有银行

李娜败给小威 大数据解析带你深入分析

李娜是我国有名的世界级网球运动员,为国家和个人争得了很多荣誉.但关注网球比赛的人一定不会忘记13年那场中国网球选手李娜与美国选手小威廉姆斯的那场美国网球公开赛女单半决赛.比赛中,虽然李娜一度挽救了6个赛点,最终仍然以0-6.3-6的成绩败给小威廉姆斯,遗憾止步四强.无论是否是球迷,我们都不禁要问一个问题:李娜为什么会输,是否真的技不如人,如果不是,她到底输在了哪儿? 很多人在赛后认为,李娜出局是因为出现了过多的失误,也有人认为李娜在比赛中的心态出现了问题--.原因可能有很多,但大数据分析会告诉网

《驾驭大数据》一导读

前 言 驾驭大数据你收到一封邮件,邮件中提供了一套个人电脑的报价.而你几个小时前刚刚在这家零售商的网站上搜索过电脑的信息,似乎它们已经读出了你的想法--当你驱车前往这家商店购买这套个人电脑时,你路过了一家咖啡店,你看到了这家咖啡店的一条折扣信息.你获知由于你刚来到这片区域,你可以在未来20分钟内享受10%的折扣-- 在你享用咖啡的时候,你收到了一家制造商关于某产品的道歉,而你昨天刚刚在你的Facebook主页和这家公司的网站上抱怨了它们的产品-- 最后,当你回到家之后,你又收到了一条关于购买你最

掘金大数据

无论是否出于你的意愿,数据正在每天为你做着人生笔记:你去了哪里?看到了什么?做了什么?你的性格喜好?与谁联络?心情如何?--这些通通可以从你的网络浏览记录.交易记录.手机通话记录.联通视频记录.收发邮件记录.社交网络记录等等当中获得,你在网络上的每一个"足迹"都会以数据的形式被记录并存储下来,它们精准及时.事无巨细.而借助于这些数据,就可以拼出一个比你自己更了解的"你". 这样由一个个数据描绘出的"你",有何价值? "鬼才"制

从大数据到认知计算,未来需要更强的计算能力

认知计算是IBM提出的概念,认为"认知计算"是通过与人的自然语言交流及不断地学习,从而帮助人们做到更多的系统,是从硬件架构到算法策略.从程序设计到行业专长等多个学术领域的结合,能够使人们更好地从海量复杂的数据中获得更多洞察,从而做出更为精准的决策.IBM清晰地把认知计算定义为--具备规模化学习.根据目标推理以及与人类自然互动能力的系统. 认知计算和大数据分析有何区别? 大数据分析属于认知计算的一个维度.与大数据相比,认知计算的范围更广.技术也更为先进. 认知计算和大数据分析有类似的技术

IBM大数据解决用水问题

IBM与南非茨瓦内市合作推出一个众包项目,来帮助捕捉.分析南非配水系统的信息.民众通过http://www.aliyun.com/zixun/aggregation/12459.html">移动客户端和短信发送社会参与这个项目,可以通过这个项目报告漏水.失效的水管和给水渠道的总体情况.每条更新都会为"WaterWatchers"的移动端应用的分析报告提供重要的数据点,来解决南非配水系统中的问题. 用户可以使用WaterWatchers拍摄图片.回答三个关于给水河道的简单