AshPatel：大数据的四个趋势

Morado Ventures是由雅虎前高管阿什·帕特尔(Ash Patel)注资发起的早期的天使基金。在“”2013云世界大会“上，Ash Patel用他们投资过的企业案例，来解说大数据的四个趋势，以及你用数据可以做什么。第一个趋势，实时的数据的分析。看一下全球的情况，有90亿的设备是和互联网相关的，到2020年会有150亿的设备，包括手机、机器、感应器。我们的数据量是不断爆炸的，机器量会比人们原来带来的数据大很多，这是一个大的趋势。举一个例子，比如我这次坐的飞机，每小时会带来22T的数据。每天24小时生成的数据是非常巨大的，我们生活在这个世界当中，每一分钟都有不同的数据产生。数据在现阶段是最有效的，所以在全球我们必须进行实时的数据处理。不进行数据处理，你都没有办法进行很好的储存，这就是我们为什么要考虑对实时的数据进行处理。我们曾经投资过一家公司，叫做DATA TORRENT。Hadoop会处理你的数据，每天每小时会发给你报告，告诉你数据的变化。对于DATA TORRENT也是这样的，在Hadoop上可以利用这样的架构，给你一个实时的可精简的流数据。你可能只有一个小的硬件，每小时、每分钟你都可以处理很多的数据，做一些可预测的分析。为什么这一点是非常重要的?因为你可以进行实时的数据的监测，也可以让业务的状态实时的来进行更新。这就是我们所说的实时的平台，它的实时性是非常重要的。现在很多反馈都可以生成数据，像金融行业。金融诈骗发生的时候，你需要找到金融诈骗的渠道。或者在石油钻井的平台上，你发现哪一口井的油压发生的问题，这都是需要实时数据分析的。图像就是一个一个的节点聚在一起，放在一起数据量是非常大的。在Hadoog数据当中，我们通过一定的形式来存储数据。现在全球的形势是非常复杂的，社交网络实际上就是图表的一种。运输网络、供应链等等这些设备，一个机器是来自于全球几千个部件组合在一起的，每一个企业都有自己的运输网络。如果有一家企业出现了问题，或者他们的运输线，或者铁路线出现了问题，你要对图表进行分析，测量它产生的影响。这是很难的，因为对于图表的分析，这也是大数据分析当中很困难的一点。这方面也有一个技术，我们对其进行了投资。充分的利用图表当中有效的数字进行不断的扩展和升级。为什么图表的数据非常重要?比特币最近炒的很热。在银行帐户当中里可以进行资金的转移，如果你想知道这个人是不是在“洗钱”。A把钱给了B，在金融的交易当中，正常的银行帐户会有一个记录，钱从账户A挪到了账户B。但是现在有上百万的金融数据，你想追踪，从A账户到B账户，你没有数据库就没有办法来做。对于客户来说也有一些客户的数据，我们可以通过几百万的数据中来看A是不是给B发送了钱。所以对于金融行业来说这也是非常重要的。这就是我们所说的图表的重要性。对于图表型的数据，你可以进行分析，它不仅仅应用在社交网络，还可以应用在其他的领域，像基础设施。另外一个趋势，随着人们大量的使用云计算，你有没有能力管理。人们已经看到了这种变化，就像集装箱把一个东西发送到另一个地点。在软件的领域你没有办法很容易的把软件像集装箱一样打包进行转移。但有一家企业docker他们可以让人们将数据打包，应用可以很容易的像集装箱一样打包。现在在云上每个人都在用虚拟化，打包的方式变得更加的容易。可以把你的网络流程进行分类，不一定是只有虚拟化才能够实现。你有整个的操作体系，你有你的硬件，在这个基础之上你有自己的浏览器，对于每一个应用都要进行收集，在此基础之上进行分析。这是很复杂的流程，docker公司可以将你的软件进行打包，放在集装箱当中，可以在同一个操作系统上部署。你可以更加的准确应用所有的应用，我们可以通过虚拟化的方式获得所有的收益。这家公司有开源的软件，google等其他的合作伙伴都在与他合作。docker未来可以做更多的事情，可以把整个流程打包，从开发生产到拓展实现一体化，以非常简单的方式就可以实现。最后一个趋势，软件定义数据中心。出现云之前，所有技术都是基于硬件基础之上的，现在我们需要对架构进行重新的思考。老的数据中心有一些机器有比较低的平衡度，这是非常常见的数据中心的结构，发明了云之后，我们可以对硬件进行应用虚拟化，在云的环境当中运行。看一下网络，这个网络仍然是硬件，我们需要进行串联，现在有办法进行一些改变。所以现在的计算是由软件所定义的。有一家公司PLURIBUS提供的设备可以对整个架构进行虚拟化，对路由等等都进行虚拟化。随着拓展，随着加入新的客户，你可以把整个网络进行重新的配置，在软件上就可以实现，不需要更大的变革。