Sybase中国技术总监卢东明:大数据时代的数据库挑战

日前,在Sybase IQ 15.4媒体活动上,CSDN联合几家技术媒体共同采访了Sybase中国技术总监卢东明。卢东明就大数据给传统数据库厂商的冲击、列式和行式数据库的比较、以及其他热点话题分享了看法。

Sybase中国技术总监 卢东明

卢东明首先简单介绍了SAP旗下的5大数据库产品:

Sybase Adaptive Server Enterprise简称ASE(行式数据库) Sybase IQ(列式数据库) Sybase SQL Anywhere(小型嵌入式数据库)
HANA(完全基于内存、实时分析的数据库) Sybase ESP(数据流分析工具)

记者:为何传统行式数据库公司都在发展列式数据库或者混合交付的方案?

Sybase中国技术总监卢东明:目前老牌行式数据库公司都在以某种程度声称拥有列式技术。但值得一提的是,列式存储、列式存储索引、列式压缩和列式数据库是完全不同的概念。为什么都在引入列式的概念,是因为列式数据库现在势头很猛,已经蚕食了很大市场。所以他们就在用词上混淆视听。

举个例子,Oracle和微软的(列式存储)解决方案很像,把其中某些列让用户选择性的存成行或者列。存成列以后确实能带来大量好处,比如高压缩性,快速的在列上做单列分析或者查询。从某种意义上来说,这点很像列式数据库的某些特性。但是,从根本性上来说,他们是不同的东西。纯粹的列式数据库是不存在解压和反向操作过程,Sybase把数据拿过来以后编码,再以这些编码形式存储,也做额外压缩,但是额外压缩带来的效率不是最主要的,更重要的是编码。

基于编码的运算,传统行式解决方案要反复读、反复解压缩、拆解然后才开始运算。所以很多行式数据库是在混淆,想加入到列式数据库阵营里。但为何不声称自己是列式数据库,是因为他做不到。做不到的原因有几个,一个原因是Sybase还占着很多专利,另一个原因是的确很难,传统数据厂商没法抛弃包袱。

记者:用户该如何选择行式或列式数据库?

卢东明:任何数据库解决方案都不是万能的,专项工具要专用。就像并没有一个瑞士军刀又能砍树又能刨木头,又能把木头加工成一个特殊的形状。数据库就是一个工具箱,里边有各种工具,每一个工具有每一个工具的甜点,不可替代。很多数据库用户或者开发商,还在从老式的数据库环境进入新环境中,不管主动还是被动,他们还没有接受数据库市场是一个细分市场。总希望不要用那么多种数据库,用一个数据库把它解决了。但是像现在电信的用户,非常清楚的认识到,在这样的数据规模下,不可能用一个所谓全能型的选手把这个规模解决掉。

记者:HANA里边有那些技术是来自Sybase?

卢东明:现在没有,但以后这两个技术一定会融合,一个是Sybase的内存计算的技术,还有一个是IQ里边各种各样的列式数据库的技术,因为有各种各样的专利索引,IQ里边有10种索引,这是所有其他数据库都没法比的。

记者:大数据对数据仓库厂商带来了哪些冲击和影响?

卢东明:传统数据仓库厂商过去解决的基本上还是数据类型比较简单的、结构化的数据。并没有完全回答,如何无缝的去处理结构化和非结构化数据。数据规模上,这一波数据增长的确让数据库厂商有点措手不及,数据增长忽然间以指数级上升。数据库往后发展还有几个方向,IQ也在做很多新型的索引研究,有没有更新的索引把数据压缩、数据分析、查询和效果做的更好,这是一个方面。另外,从HANA带来的启示,内存计算。HANA里用的一种技术叫Flash卡,Flash卡是直接插在机子里。

从传统存储到SSD到Flash卡到内存大概是4个阶梯,每一个阶梯大概有10倍的差距。HANA用了纯内存,用了Flash卡,用了硬盘,这里边这几种技术都有,IQ现在基本上只用了少量的内存和巨大量的存储。Sybase现在在做一个解决方案就是把Flash卡加进去。

此外,据悉Sybase IQ 15.4采用MPP列式数据库和数据库内分析技术,并加入MapReduce与Hadoop集成,以应对大数据时代的分析挑战,开启洞察关键业务的能力。

另一方面,据记者观察,SAP作为一家大公司,应用软件底层还用到了IBM DB2、SQL Sever、Oracle数据库,而未来用到其他数据库产品的机会,会是逐年缩小,而且缩小的份额一定会转移到ASE、IQ、HANA上。这也是SAP立志三年后将成为数据库市场第二位的一个重要因素。(付江/文)

(责任编辑:蒙遗善)

时间: 2024-07-29 12:41:03

Sybase中国技术总监卢东明:大数据时代的数据库挑战的相关文章

IDC:中国金融行业正步入大数据时代初级阶段

3月25日,IDC研究显示,当前,数据是重要资产的理念已经在中国金融行业形成共识,数据的真正价值在于能够洞察企业内部规律,数据的洞察力成为金融企业的核心竞争力.在中国金融行业信息化建设中,与信息加工密切相关的大数据管理正逐渐成为与核心业务系统建设.渠道建设和前置建设同等重要的领域. 经过多年的发展与积累,目前中国的大型商业银行和保险公司的数据量已经达到100TB以上级别,并且非结构化数据量在迅速增长.基于IDC对大数据的定义(通常数据量大于100TB, 数据量年增率大于60%,数据采集是高速数据

Teradata技术总监:大数据已成为主流

本文讲的是Teradata技术总监:大数据已成为主流,"大数据"刚出现的时候,基本上只会用在高端科技类或者硅谷网络分析公司中;到了今天,如银行.电信.保险公司等更为传统的行业也逐渐搭上了这辆"列车".然而,在Teradata(数据仓库公司)技术总监Stephen Brobst(宝立明)看来,这还仅仅是个开始. 2012年,许多IT业内人士都发起了关于大数据的讨论,宝立明就是其中之一.在今年TechTarget对他的采访中,他两次提到了他眼中的大数据热潮.在以下的精选

大数据时代国产数据库能否挑大梁

大数据产业的发展已经被列入国家发展规划,2014年,"大数据"首次出现在今年的<政府工作报告>中.<政府工作报告>中指出,要设立新兴产业创业创新平台,在大数据等方面赶超先进,引领未来产业发展. 大数据建设是离不开高性能的数据库软件的,遗憾的是,目前我国数据库市场上,以甲骨文[微博].IBM[微博]为代表的国外数据库软件还处于主导地位,很多针对数据库软件的政府采购仍习惯于使用国外产品,采购渠道单一. 中国的大数据建设不能建立在国外产品之上,国产数据库能否挑起大梁?

IT现状调查:大数据时代 企业面临挑战

[IT168 调查报告]2012-2013中国IT技术趋势大调查活动于2012年10月16日启动,历经1个月的时间.在线调查期间,受到了来自ITPUB.ChinaUnix(以下简称CU)以及其它合作网站的网友的极大关注和积极参与.目前调查已经完满结束,所有的数据都在后台整理和统计之中.本次网上调查共回收调查问卷17,101份问卷,其中合格问卷为14,522份.从整体上看,今年的调查更专注,无论从数量上还是质量上都较去年有比较大的提高. 本次调查的内容涉及:企业信息化.http://www.ali

怀进鹏:大数据时代的三大挑战

中云网 讯 2012年10月29日,<中国云·移动互联网创新大奖赛决赛颁奖典礼暨创新创业论坛>在北航举行.会上,中国云产业联盟联席理事长,中国科学院院士.北航怀进鹏校长做主题报告.他表示在大数据时代面临三大挑战:1.软件和数据处理能力.2.资源和共享管理的挑战.3.数据处理的可信能力.现场速记如下. 中国云产业联盟联席理事长,中国科学院院士.北航怀进鹏校长 中国科学院院士怀进鹏:尊敬的各位临时,特别是从美国专程赶来参加我们这次论坛的陆奇先生,亲爱的益民老总.李彦宏老总,我今天快点讲,把时间留给

武新:大数据时代 行业数据库应用与发展

文章讲的是武新:大数据时代 行业数据库应用与发展,临近年尾,各大媒体评选的网络热词已经新鲜出炉,"DUANG"."城会玩"."内心几乎是崩溃的"等网络用语均榜上有名,而若论如今的技术热词,"大数据"与"云计算"二者毫无疑问将名列榜首.这两个词几乎已经成了互联网时代的"代言人",做个项目推个产品没有它们,你都不好意思自称是IT圈内人.近年,在影响力不断增大的同时,大数据与云计算早已不是互联

中国文物,走进大数据时代

这是一场"永不落幕的系统工程".新中国成立以来在可移动遗产领域开展的首次文物调查,从去年开始,将历时5年,涉及150余万个国有单位,对国宝做一个全面调查.那么,此次国宝大调查最新进展如何?遇到了什么困难?又该如何更好地保护国宝呢?日前,记者来到重庆.四川,走进普查的现场. 进展:国有单位文物摸底基本完成 在重庆市文化遗产研究院,工作人员正在对文物进行登记填表,密密的表格包括了文物名称.类别.级别.年代.质地.外形尺寸.质量等内容,工作人员不时利用各种工具对数据进行核实.在保管部库房内,

于施洋:中国政府如何应对大数据时代的挑战

在当今世界,发达国家都在运用大数据精准营销来提升政府机关.个人的商业价值和形象,奥巴马就是其中的佼佼者.在2012年的大选中奥巴马有效地利用了社会化的精准营销,获得了大胜.而中国http://www.aliyun.com/zixun/aggregation/14297.html">电子政务的数字化才刚刚起步,对于政府来说,利用大数据进行精准挖掘.营销和电子政务的智能化主要的困难和挑战是什么? 国家信息中心网络政府研究中心副主任于施洋 国家信息中心网络政府研究中心副主任于施洋在昨日国双数据中

IBM软件定义存储技术 助力企业大数据时代变革

IBM 在京召开 "ROCK EDGE CHINA 2014--为大数据时代再造存储摇滚盛典".会议期间,IBM展示了最近发布的一系列软件定义存储.闪存等技术与产品,并邀请来自平安保险等企业的IT主管与来宾分享了使用IBM软件定义存储.闪存解决方案应对大数据挑战的实践体验.众多客户的采用表明IBM已经在面向未来的存储技术,如软件定义存储.闪存.存储虚拟化等领域占领了市场先机. 在2014年6月10日发布的<市场份额分析报告:2013年全球SSD与固态硬盘阵列>中,Gartn