SQL Server引入Hadoop大数据处理能力

  运行SQL Server的微软客户将通过Hadoop的引入获得真正的大">数据处理能力。

  微软已经发布了早期代码,让客户可以将这个Java架构接入到SQL Server 2008 R2、SQL Server Parallel Data Warehouse以及下一代微软数据库。

  Doug Cutting受到Google MapReduce的启发而发明了开源Hadoop,现在它已经在某种程度上成为了在集群服务器上处理大量数据的行业标准,包括Amazon、Facebook和Twitter等网络巨头也都采用了Hadoop。

  业内人士认为,Hadoop可以用来了解数以百万计用户的喜好和更新状态等细枝末节以改变服务响应。Hadoop的目标是,更有力地渗透到主流IT中。

  微软研究部门从2006年起就一直致力于某种非常类似于Hadoop的项目,被称为“Dryad”。今年年初,该计划通过与SQL Server和Windows Azure云的集成实现了Dryad的产品化。虽然现在微软还没有更新,但看上去Dryad似乎将成为在SQL Server平台上影响大数据爱好者的有力竞争者。

  微软目前已经开始提供Hadoop Connector for SQL Server Parallel Data Warehouse和Hadoop Connector for SQL Server社区技术预览版本的连接器。

  该连接器是双向的,你可以在Hadoop和微软数据库服务器之间向前或者向后迁移数据。

  微软表示,这个连接器可以让客户在Hadoop中分析非结构化数据,然后接回到SQL Server环境中进行分析。

  这两个连接器采用SQL to Hadoop (SQOOP)在Hadoop File System (HDFS)和微软关系数据库之间有效地传输数据。Parallel Data Warehouse采用PDW Bulk Load/Extract工具以进行数据的快速导入或者导出。

  SQL Server PDW客户可以从微软那里获得这个Hadoop连接器,普通的SQL Server 2008 R2客户则可以获得Hadoop Connector for SQL Server代码。

时间: 2024-12-24 19:52:06

SQL Server引入Hadoop大数据处理能力的相关文章

SQL Server参数化查询大数据下的实践

身为一名小小的程序员,在日常开发中不可以避免的要和where in和like打交道,在大多数情况下我们传的参数不多简单做下单引号.敏感字符转义之后就直接拼进了SQL,执行查询,搞定.若有一天你不可避免的需要提高SQL的查询性能,需要一次性where in 几百.上千.甚至上万条数据时,参数化查询将是必然进行的选择.然而如何实现where in和like的参数化查询,是个让不少人头疼的问题. where in 的参数化查询实现 首先说一下我们常用的办法,直接拼SQL实现,一般情况下都能满足需要.

SQL Server和Oracle防止数据锁定的比较

oracle|server|比较|数据 廖铮 2002-5-30 14:23:50 -------------------------------------------------------------------------------- 数据库并行访问,也就是两个或两以上用户同时访问同一数据,这也是数据库引擎如何设计和实现适度反应所面临的最大问题.设计优良.性能卓越的数据库引擎可以轻松地同时为成千上万的用户服务.而"底气不足"的数据库系统随着更多的用户同时访问系统将大大降低其性

微软PolyBase打响SQL Server和Hadoop整合第一枪

我们一直强调,大数据和传统的http://www.aliyun.com/zixun/aggregation/22.html">关系数据库并不对立,未来公司的的业务将会是大数据和关系型数据库的整合.微软的PolyBase打响了SQL Server和Hadoop整合的第一枪. 在2012年度的SQL Server(PASS)峰会(SQL Server专业人士的技术会议)上,微软公布了代码名为"PolyBase"的新功能.微软鲜明地阐述了未来大数据和传统的关系数据库的紧密联系

Microsoft发布基于Azure之上Hadoop大数据服务第二预览版

Microsoft在最新发布的SQL Server 2012中,更新了基于Microsoft Azure之上的Hadoop.在上周Microsoft发布最新版本SQL Server的同时,Microsoft同时宣布其基于Windows Azure之上的Hadoop大数据服务第二个预览版.Micrsoft在SQL Server 2012中的许多新功能和新服务都是基于Microsoft客户的,这些客户专注于混合的IT环境,并将传统数据中心部署在私有云和公共云的环境之中. Microsoft的Hado

八大行业Hadoop大数据应用回顾和展望

任何新技术的发展都会经历一个从被公众了解到最终普遍应用的过程.大数据技术作为一个新兴的数据处理技术,经过了近十年的发展,刚刚开始在各个行业得到应用.但从媒体和公众视野中,大数据技术总是带有神秘的色彩,似乎有着挖掘财富和预测未来的神奇力量.广泛流传的大数据应用案例包括Target超市根据女孩的购物历史判断是否怀孕,信用卡公司根据用户在不同时空的购物行为预测客户的下一个购买行为,等等.大数据技术也为我们描绘了一个个如"智慧城市","智慧交通"和"智慧医疗&qu

用VB存取SQL Server中的图像数据

本文介绍MIS SQL Server对图像数据的存储机制和存取方法.针对VB开发工具,介绍了一种通过ADO Field 对象的GetChunk 方法和AppendChunk 方法来存取MIS SQL Server中的图像数据的方法. 在一个完善的医院信息MIS中,图像数据的存取是必不可少的,比如X光片.CT像片的保存.一方面,这些图像数据在远程诊疗为准确诊断病情提供了重要的依据,另一方面,也为快速查阅病人资料提供了基本条件.图像数据的存取在其它应用系统如GIS中也有广泛的应用. 1.SQL Se

[Python]Python/PHP如何查询sql server中NTEXT类型数据

[Python]Python/PHP如何查询sql server中NTEXT类型数据 Version Date Creator Description 1.0.0.1 2006-11-23 郑昀 草稿   继续阅读之前,我们假设您熟悉以下知识: n         Python / PHP n         SQL Server 2000 SP4以上版本的Microsoft sql server n         pymssql n         NTEXT类型 本文讨论了在Python中

c#-如图,为什么DataSet从sql server获取的字符串数据带省略号?

问题描述 如图,为什么DataSet从sql server获取的字符串数据带省略号? 我要对数据内容进行判断,结果老是不符.后来断点调试,放大镜查看DataSet对象,如图,发现它有2列的值是带省略号的,这2列在sql server里的数据类型是 char(50).vchar(50).nvchar(50), 3种我都换过,但是程序运行后DataSet对象那里还是带省略号.怎么会出现这种情况呢 解决方案 是因为你数据库的字段长度比较大,虽然你只有两个字 实际上所占字符为你的字段长度,建议格式化,l

SAP大数据处理能力 延伸实时数据平台

本文讲的是SAP大数据处理能力 延伸实时数据平台,2012年5月18日消息,SAP公司日前发布了针对Hadoop环境的高级支持与集成,其中包括"大数据"合作伙伴理事会和多个用户展示.这些"大数据"集成功能将在基于 SAP HANA 平台的 SAP Data Services 和 SAP Information Steward 服务包版本 4 中推出.SAP同时还展示了其基于SAP实时数据平台的相关"大数据"实施,这些实施为用户带来了根本性的业绩改