本文讲的是陈奇：IBM大数据的战略和技术优势,当前，行业对于“大数据”的关注疾速攀升，这并不亚于数据本身的增长程度。您是否想过，我们看到的“谈大数据色变”或许只是个表象，走在行业前列的企业早已开始默默挖掘大数据中蕴含的“金矿”，为自己的业务飙升迈出制胜一步。
作为行业引领者，IBM一直走在新趋势的前沿，对于大数据更是全力融合创新技术与行业经验助力客户梳理大数据概念，选择战略方向，制定方案策略，实现行业落地：今年5月，IBM智慧的分析洞察正式发布，为大数据环境下的企业描绘了一幅宏伟的战略蓝图。在此基础上，IBM全面整合内部资源，搭建了融软件、硬件、服务为一体的大数据平台，为企业提供易执行、低成本、高效率的大数据解决方案。在行业方面，IBM为行业企业量身定制的大数据解决方案优势充分凸显，大数据制胜策略已不再纸上谈兵，实践之花也开遍制造、电信、金融等诸多行业。
IBM中国开发中心信息管理首席架构师及大数据架构师陈奇博士从当前IBM大数据的战略和技术优势详细了大数据的价值。
陈奇指出，IBM的竞争优势就在创新与全面，现在大数据这个话题比较热，很多公司提到大数据的时候都提到Hadoop，很多公司围绕Hadoop开发一些软件，从这里可以看出IBM不光是Hadoop，而且是端到端的应用，包括了从信息治理和集成，然后对大数据的管理，然后是实时性的分析，包括各种分析的手段与行业的应用。
Hadoop最早是由互联网的公司开始兴起的，互联网公司的应用是有很多局限性的，我们可以看到传统的各种行业，比如说银行业、电信业、石油等各个产业，他们产生的数据量也是非常大的，现在是各个传统行业对大数据的要求也是很迫切的。这样的话，原始在Hadoop上的应用是满足不了传统行业的需求，因为Hadoop出来也最多四五年的时间，它的技术不是很成熟。从这张图可以看出IBM把以前很多的数据管理的技术整合在大数据的平台上。除了Hadoop，还有中间的流计算，这是IBM独有的，最早是跟美国国防部合作反恐的时候研发的，它的特性是毫秒级的实时分析。我当时写微博的时候也写过，重庆的枪击案的犯罪分子，因为重庆装了探头，这些探头都可以通过流计算的平台摄取下来，比如这个罪犯在某个商场出现，如果以毫秒级的图像分析的话，可能就不需要动用2万警察。因为很多厂商并没有这个产品。IBM不光是在流计算和Hadoop方面，还有传统的数据仓库，本身的数据量扩大的时候，以前的数据仓库可能有一些瓶颈，但是IBM Netezza克服了这些瓶颈，不光是存储方面，而且计算方面也达到所谓的TB能力。我们以前的分析在数据量小的时候分析速度很快，当数据量很大的时候，怎么把这个用到大数据上来，针对大数据开发自己的分析，包括以前原有的Cognos和SPSS，怎么样在大数据平台上发挥作用。
不管是3个“V”还是4个“V”，IBM很好地体现出来。首先是多样化，不光是结构化，还有非结构化，或分析的手段，产生的效果也是多样化的。把Hadoop、流计算和数据仓库很好的结合起来。数量是很好的体现，比如石油探勘，如果数据量越大，运算的数据越来越准确，我们的南海勘测石油的话，如果数据量很小，就搞不清楚这么大海里哪里有石油，但是有大数据平台的话，可以很好的勘测石油，这其实跟沙特阿拉伯最大的石油公司在谈，他们很感兴趣，如果用这个平台就可以很好地利用了。最后是数据的真实性，首先大数据是原始的数据，可能这些原始的数据有一些用不到，需要对这些数据进行质量的分析或者是真实性的分析，最重要就是分析的结果要准确。如果石油探勘，如果花了很大的精力，最终的结果不是很准确的，就浪费很多人力和资源。
▲IBM中国开发中心信息管理首席架构师及大数据架构师陈奇博士
这张图是把IBM的这些跟大数据相关的产品怎么整合在一起，从中间可以看到其实对于大数据的落实存储由原来的数据仓库，我们这边有Netezza，是Hadoop BigInsights，做的分析和展现，怎么分析这些大数据，包括用Cognos怎么样图形化展示，原来Hadoop的基础上看不到、摸不着，就是一个存储的平台和运算的模型，这些模型怎么样更好的发挥，包括原来数据仓库上很多的技术也可以结合在大数据平台上。左边是信息的来源，比如市场的数据或者是监控的数据，有很多数据并不是真实，或者是你要查询的时候并不想利用的数据，我们原来有Information Server和质量分析，把这些数据进行分析的话，得到一些可信的数据。右边也是一个数据源，这个数据源上加了一个闪电的东西，我们的速度跟闪电一样快，毫秒级的分析当中可以真实的捕捉它的信息。这两边的信息进入到数据仓库里存储结构化的数据，还可以用Hadoop存储非结构化的数据，用Cognos、Data model进行分析，然后展现出来。下面就是一个传统的数据仓库，怎么跟现有的Hadoop和Netezza整合，IBM有很多传统在DB2建立了数据仓库，比如原来的Application的Model分析的工具，怎么样进行大数据的分析，比如对Unika进行市场行为的分析。
数据的治理包括生命周期的管理，以及谁在动用大数据，它的隐私性，有一些数据并不想让别人看到，或者谁动过这些数据。刚才讲过用Guardium来实现数据的事例。不光是Guardium，IBM原来有一个系统，对生命周期的管理，包括历史归档，原来IBM都有一套，这个历史归档怎么在大数据的情况下进行数据的归档。右下角是数据管理怎么和数据仓库，在Hadoop基础上的分析相结合，上面这个是Guardium，可能要管理大数据，大数据放在那里并不想所有人看到，有些东西并不想展示出来，这就是Guardium的作用。这一张图就把IBM的产品就是大数据Platform结合的一张图。因为IBM的产品其实都是跟数据有关的，这些产品会越来越的产品放在这里，比如Big Data的Platform，不光是Hadoop基础上的Platform，是整合数据管理和分析的Platform。
▲IBM大数据平台战略：使分析离数据更近
在几微秒挖掘数据，作为一个决策者肯定希望这个数据是有价值的，预测将来的模型，这也是很好的体现出来的，比如有这种算法，并不希望每个人都了解这些算法，可以很简单的一般人都可以用这个算法，但是不知道具体做什么，但是只关心结果准确不准确。还包括地理空间和声学，因为不光是分析图像，还要分析文本和声音的分析等等，我们都提供了各种各样的分析手段。其实真正用到算法或者怎么编程序和怎么样工具都屏蔽起来，你得到一个简单的运用和得到一个准确的结果。
这是前面各位提到行业上的应用，IBM希望对这些行业的应用用加速器的方式提供，比如电信行业，有一个电信行业的大数据加速器，IBM是提供大数据的平台，用一个加速器，比如电信行业对通话记录进行分析或者通话记录实时的过滤。金融行业刚才提到反欺诈或者金融模型的计算，比如像2008年的金融危机，如果你的数据量很大的话，传统的数据仓和传统的手段基数比较少，测出来不是很准，如果是大数据的平台，测出来就是很准确的模型，你不需要关心怎么测试，这一套方案就可以很自然的拿来用。比如公共交通，比如下大雨哪个地区积水等等，整个方案是需要自己来写，IBM能够提供大数据的平台，这就是大数据的优势。刚才说到点到点，不光是提供开发的环境，也提供一个行业的应用，就是把各种各样开发的东西屏蔽起来，让你更简单的使用。
大数据的发展方向
▲大数据平台的发展方向
最后是大数据的方向，很多公司提供了Hadoop，像互联网企业，比如银行需要用到大数据的平台就要考虑数据的治理，比如Hadoop提供不了这些企业，刚才讲到IBM一方面跟传统数据仓库的结合，还有跟传统的数据工具相结合，提供企业级的功能，包括对企业产生的数据分析。测算的话，从企业产生的数据一定会产生人为的数据，包括电信的数据也是很大，我到台湾中华电信，一个月就有10个TB，中华电信很少，包括中国移动、中国电信，看你的通话记录，每个人都有手机，你通话交流量肯定是非常大的，以后会超过网络的数量，再提供企业级的平台，这就是我们发展的方向。我们的大数据平台不同于别的公司大数据平台，包括对生态系统，对数据的生命周期的管理，因为IBM原来就提供了很多，IBM是比较全面的公司，提供很多各种把数据的归档和生成以及监控和安全的管理等等，IBM在大数据平台都包括这些功能。加速器就不多谈了，不光是在细节上，对于分析的加速器，对于行业方面的。因为IBM最早提到3个“V”，现在加了真实性和准确性，你的数据是不是真实的数据，不是拿来就用，这个数据是不同的数据，它展示的角度不一样，你分析希望得到有价值的数据。比如分析的准确性，也是现在大数据平台可以解决的方案。
作者： 李伟
来源： IT168
原文标题：陈奇：IBM大数据的战略和技术优势