微软企业级大数据分析策略:融合Hadoop

几个月前,微软宣布了自己的用于大数据管理、分析和挖掘的Hadoop发布版HDInsight。记者联系到了SQL Server的高级产品营销经理Val Fontama,希望进一步了解微软的企业级大数据到底如何。

  关于企业中数据集规模的增长趋势:

  数据的海洋一直在增长。有预测表明业务信息存储量每年都会加倍。例如,Gartner发现全世界的信息量每年在以最少59%的速率增长,而其中大约85%的数据是“非结构化”的——比如视频剪辑、RFID标签和网站日志。这些非结构化数据用传统的数据管理系统来处理并不容易。此外,在很多场景下,客户在实时收集新数据时发现数据增长速率还在增加。

  客户将需要一个与业务及所收集数据的发展相适应的现代数据平台。对全球企业而言,大数据为从所收集数据(不管是结构化的还是非结构化的)中找到新颖可行的观点创造了大量商机。因为到最后,大数据的最大前景就是推动来自数据的、更智能的决策。而智能决策就要收集来自各类数据的观点。

  HDInsight是微软应对大数据的解决方案:

  微软希望通过支持Windows Server和Windows Azure的Hadoop发布版,提供可移植、性能优越、安全且易部署等特性,促进Hadoop的应用。微软还将通过在HDInsight中集成Active Directory来增强Hadoop的安全性。此举将使IT部门能够将同样的一致性安全策略用于包括Hadoop集群在内的所有IT资产。

  此外,通过与System Center集成,HDInsight简化了Hadoop的管理,并支持IT部门在同一面板上管理Hadoop集群、SQL Server数据库和应用程序。

  基于Hadoop的Windows平台应用程序集成了如Excel、Power View和PowerPivot等微软的商业智能(BI)工具,可以很容易地分析大量的业务信息,从而创造独特的、差异化的商业价值。

  为实现与Apache Hadoop百分之百的兼容性,微软的Hadoop发布版HDInsight是基于Hortonworks Data Platform(HDP)构建的。因此,客户能够将其MapReduce作业从自己的Windows服务器移到云中,甚至是移到运行在Linux上的Apache Hadoop发布版中。目前还没有其他厂商提供该功能。此外,在Windows Server和Azure平台上提供这些功能,也使客户能够利用熟悉的工具(如Excel、PowerPivot for Excel和Power View)轻松地从数据中抽取可行的观点。

  SQL Server如何适应这种解决方案:

  在帮助企业处理大数据集方面,SQL Server 2012与SQL Server 2008最重要的区别之一就是与Hadoop的兼容性。Hadoop允许用户处理大量的结构化和非结构化数据并快速从中获得观点,而且,因为Hadoop是开源的,成本较低。Hadoop与SQL Server 2012兼容的特性是微软与Hortonworks合作开发的,微软最近也宣布Microsoft HDInsight Server和Windows Azure HDInsight Service已经可以预览,这都使用户能够使用微软开发的Hadoop连接器来从数据中获得最好的观点。通过Hive ODBC Driver把SQL Server连接到Hadoop,客户现在可以使用如PowerPivot和Power View等微软的BI工具在SQL Server 2012中分析各种类型的数据,包括非结构化数据。此外,利用SQL Server 2012中新的Data Quality Services,客户可以通过将原始数据转换为适于建模的可靠且一致的数据来提高数据质量。

  微软最近宣布了Office 2013 中的一些新特性,并介绍了开发者应该如何利用这些特性来构建构建应用和处理数据的服务。不足为奇,微软自己在Excel正是利用这一点来提供大数据服务的:

  Excel是微软平台上支持大数据分析的主要客户端工具之一。在Excel 2013中,我们的主要工具是数据建模工具PowerPivot和数据可视化工具Power View,而且恰好它们都构建进来了,无需额外下载。这支持各个层次的用户使用熟悉的Excel界面进行自助式BI分析。

  通过Excel的Hive插件,我们的HDInsight服务很容易集成Office 2013中的BI工具,使用户能够用熟悉的工具轻松地分析海量的结构化或非结构化数据。

  除了Excel之外,微软还提供了其他的大数据交互工具:BI专业人员可以使用BI Developer Studio来设计OLAP cube或在SQL Server Analysis Services中设计可伸缩的PowerPivot模型。开发者可以继续使用Visual Studio来开发和测试用.NET编写的MapReduce程序。最后,IT运维人员可以使用他们目前所使用的System Center来管理HDInsight上的Hadoop集群。

  总的说来,微软的策略看起来是要为客户使用大数据提供一种最简单的方法——扩展现有工具(如SQL Server和Office等),使之能够无缝处理新数据类型,从而允许各公司在处理新业务时能利用原有投资。

时间: 2024-10-23 11:45:11

微软企业级大数据分析策略:融合Hadoop的相关文章

华为企业级大数据分析平台FusionInsight

[天极网服务器频道9月3日消息]全球领先的信息与通信解决方案供应商华为,今天正式发布了其大数据平台产品FusionInsight.华为FusionInsight大数据处理平台,能够帮助企业快速构建海量数据信息处理系统,通过对企业内部和外部的巨量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机. 原生态的大数据技术因其本身的复杂性,局限应用于自身具备强大研发实力的互联网行业,而且开源大数据软件的一个明显特性是存在诸多Bug,性能未经调优,功能不够完善.FusionInsight以双引擎的处

Google BigQuery——企业级大数据分析工具

Google 本月初发布了企业级大数据分析的云服务--http://www.aliyun.com/zixun/aggregation/13927.html">BigQuery 为正式付费产品,这是 Google 迈向企业级云计算领域的关键一步.BigQuery 本质上是一个云平台基础服务 PaaS,旨在实时处理 TB 级别的大数据,并提供 UI 界面和 Rest API 两种访问方式. BigQuery 的产品经理 Ju-kay Kwek,在博客和采访中是这样评价自己的产品: BigQue

如何设计企业级大数据分析平台?

传统企业的OLAP几乎都是基于关系型数据库,在面临"大数据"分析瓶颈,甚至实时数据分析的挑战时,在架构上如何应对?本文试拟出几个大数据OLAP平台的设计要点,意在抛砖引玉. 突破设计原则 建设企业的大数据管理平台(Big Data Management Platform),第一个面临的挑战来自历史数据结构,以及企业现有的数据库设计人员的观念.原则.数据关系.ACID在关系数据库几十年的统治时期是久得人心,不少开发人员都有过为文档.图片设计数据表,或将文档.图片序列化为二进制文件存入关系

微软收购了大数据分析公司Metanautix

Metanautix公司发言人宣布将携下一代产品加入微软.公司将借助微软的SQL Server技术优势,结合云平台Azure为商业客户提供更好的数据服务和云服务.Metanautix的CEO对全体员工的讲话是这样的,"这是非常激动人心的一步,在进入更加辉煌的篇章之前我们得先感谢公司优秀的团队成就现在的成绩". 微软方面发布消息称,收购Metanautix公司有助于加强他们的大数据分析能力.微软Redmond总部计划将打造一个包括Cortana分析组件和SQL Server服务的数据平台

大数据分析技术生态圈一览

大数据领域让人晕头转向.为了帮助你,我们决定制作这份厂商图标和目录.它并不是全面列出了这个领域的每家厂商,而是深入探讨大数据分析技术领域.我们希望这份资料新颖.实用. 这是一款面向Hadoop的自助服务式.无数据库模式的大数据分析应用软件. Platfora 这是一款大数据发现和分析平台. Qlikview 这是一款引导分析平台. Sisense 这是一款商业智能软件,专门处理复杂数据的商业智能解决方案. Sqream 这是一款快速.可扩展的大数据分析SQL数据库. Splunk 这是一款运维智

聚焦大数据收益 主流Hadoop用户有话说

证明大数据应用和平台业务价值的需求在主流组织中占据了重要地位,对于IT和分析经理们来说,获取数据价值并非易事. 例如:对于密歇根的Blue Cross Blue Shield公司来说,大数据部署并不是一时冲动的决定. Beata Puncevic是这家医疗保险公司分析总监,负责数据工程和数据管理,她说:"对于很多像我们这样的组织,大数据还没有成为运营业务的核心基础.如果你去对很多人(主管)讲,让他们在大数据平台上投资,你是很难与他们产生共鸣的,这是很大的挑战." Puncevic认为,

大数据分析项目需要考虑的注意事项

"大数据"已成为时下人们最为津津乐道的流行语.同时流行的术语还包括:商业智能(BI).分析和数据管理市场.越来越多的企业正在寻找商务智能和分析供应商,以帮助他们解决在大数据环境下的业务问题. 那么,到底什么是大的数据呢?最近,IT出版物eWeek提出了如下的看法,部分是基于Gartner公司的术语进行定义的:"大数据涉及到结构化和非结构化数据的数量.种类和速度,通过网络在处理器和存储设备之间传输,并为企业的相关业务提供相关数据业务咨询." 这一描述切中了数据管理和分

在大数据里:Hadoop可能是你的救命稻草

文章讲的是在大数据里:Hadoop可能是你的救命稻草,用于数据分析的开源Hadoop架构的巨大增长是由其结构化和非结构化数据量的增长所驱动的,并且很多权威组织也预测,未来Hadoop架构还将继续增长,并需要复杂的可访问工具来从数据中提取业务和市场信息. 对于Hadoop来说,前景很乐观--开源框架旨在促进巨大数据集的分布式处理.Hadoop对企业越来越具有吸引力,因为它既可以获取大数据的好处,同时又避免了基础架构费用. 联合市场研究部门最近的一份报告表明,Hadoop市场将实现从2013年到20

Tableau预测:自助式大数据分析时代正在来临

对于大数据而言,2016年是具有里程碑意义的一年,更多企业和机构在该年度存储和处理各种形态和规模的数据,并从中提取有价值的信息. 站在辞旧迎新的2017年伊始,Tableau预测随着数据管控和保护系统以及大数据分析系统的日趋成熟,人们将要迎来自助式大数据分析时代. Hadoop的发展为自助式分析奠定技术基础:速度更快.门槛更低,安全标准更高 作为一款大数据开发和运行处理的软件平台,Hadoop最初来源于谷歌的MapReduce编程模型包.该模型包可以把一个应用程序分解为许多并行计算指令,并实现跨