专访卢东明:Sybase IQ专注大数据分析

本文讲的是专访卢东明:Sybase IQ专注大数据分析,常常听到这样一句话:关系型数据库不适合做数据分析。Sybase中国技术总监卢东明对这一观点做出了明确的回应:Sybase IQ是个例外。Sybase IQ之所以能够在数据分析领域占得先机,源于它独特的列式存储结构。相比于传统的行式关系型数据库,Sybase IQ对商业信息的访问速度能达到百倍甚至千倍。

  近几年,大数据日渐火爆,数据呈现非结构化趋势,据Gartner统计,数据中有80%是半结构化或非结构化数据。因此,如何应对大数据的新挑战成为数据库厂商面临的一大难题,对此IT168记者采访了Sybase中国技术总监卢东明先生,针对大数据这一热点话题进行深入探讨。


▲Sybase中国技术总监卢东明

  Sybase IQ的大数据视野

  随着存储价格越来越低,企业开始有能力将大量历史数据收集并进行分析。与此同时,计算能力的不断提高,如分布式技术和硬件能力的提升使大数据分析成为现实。在这种环境下,各大数据库厂商纷纷推出基于大数据的产品,因此2012年也被人称为大数据之年,但卢东明认为现在说大数据之年为时过早,方法论、工具和数据规模都不能明确,因此大数据才刚刚开始,还有很大的发展空间。

  中国是大数据分析的尖端地区、领先地区,是一个巨大的市场。卢东明表示中国的电信行业是全球领先的,从用户数来看,是世界上任何一个国家都比不了的。这就如同华尔街在金融界的地位一样。如果需要对中国的电信用户进行行为分析,数据量的规模将相当庞大。另外,数据分析的速度和分析的复杂度都将是数据库厂商需要关注的问题。

  就如同ITPUB创始人黄志洪在Sybase IQ 15.4发布会上的谈话中所介绍的,数据分析面临的三大问题。首先,数据日趋庞大,无论是入库还是查询,都出现性能瓶颈。其次,用户的应用和分析结果呈整合趋势,对实时性和响应时间的要求越来越高。最后,使用的模型越来越复杂,计算量指数级上升。Sybase IQ就是针对这些问题推出的一款产品,是极具预见性的大数据产品。

  在大数据领域,Sybase IQ一直走在前列。Sybase IQ虽然也是关系型数据库,但它与其他关系型数据库有很大的区别,其中最重要的便是Sybase首创的列式存储技术,名符其实的列式数据库。面对数据库市场上很多以“列式”命名的技术,如Oracle提出的列式压缩、微软SQL Server的列式存储索引,或是Teradata提出的类似术语,卢东明表示,列式存储、列式存储索引、列式压缩和列式数据库是完全不同的概念。正因为看到了列式数据库的强劲势头,老牌行式数据库厂商才开始推出类似产品。但是Sybase在列式数据库领域的专利地位和专注程度是其他数据库厂商不能企及的。

作者:王玉圆

来源: IT168

原文标题:专访卢东明:Sybase IQ专注大数据分析

时间: 2024-10-25 17:51:24

专访卢东明:Sybase IQ专注大数据分析的相关文章

Teradata:专注大数据分析 价值是关键

文章讲的是Teradata:专注大数据分析 价值是关键,如今,我国大数据市场已进入了飞速发展时期,预计到2016年,中国的大数据市场将超百亿.对于企业来说,如何构建大数据平台,及时把握大数据商机? 近日,Teradata天睿公司大中华区首席执行官辛儿伦(Aaron Hsin).Teradata天睿公司国际集团总裁Hermann Wimmer接受了IT168记者的采访. 在Hermann看来,中国市场需求更加多元化.随着中国企业发展的国际化,过去采用传统技术无法解决的,随着科技演变,一些新技术.新

Sybase大数据分析提升日本桥梁安全性能

本文讲的是Sybase大数据分析提升日本桥梁安全性能,2012年2月27日消息,Sybase公司近日宣布,全球IT服务提供商NTT Data通过使用Sybase领先的复杂事件处理(CEP)和分析平台--Sybase Aleri Streaming Processor (ESP)和Sybase RAP--进行大数据集的实时分析,以改进NTT Data的桥梁监控系统.凭借Sybase分析平台,NTT Data在快速分析大而复杂的数据集(特别是在高峰期)方面的能力得到了增强. NTT Data的监控系

Sybase IQ如何将大文件数据迅速加载到数据库

试想一下,如果一个文件5G.10G甚至更大.如何将它迅速地加载到数据库指定的表呢?我们看看Sybase IQ是如何迅速地将表的数据加载到数据库的. 数据文件格式: 1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,221943,1,12175,1,12,14426467,1191632,9,1440,2011-01-09 00:00:00,1,珠海,1,C网,8612345678222,968852,1,82077,1,7,2430696,1349

专访崔崇彦:大数据的真正价值在于预测,而不是说明现状

在美国沃尔玛,啤酒和尿布两个货架被放在一起,因为买啤酒的爸爸一般都会拿一包尿布回家.先于大数据概念,大数据的逻辑就已经出现在商业领域. 如今,大数据和"互联网+"已经成为人人谈及的流行用词.但2015年,人们专注于技术层面的探讨--怎样获取,如何通过技术手段获取人流信息.购买信息等.2016年,突破设备壁垒后,怎样把这些数据进行分析.解读,将数据转化为运营价值,对自我和竞争对手进行考察,成为行业需要面临和探讨的一件大事. 2016年,大数据都经历了什么?未来的大数据能够做什么?今年的商

盘点大数据分析的十二大杀手锏

当数据以成百上千TB不断增长的时候,我们需要一种独特技术来应对这种前所未有的挑战. 大数据分析迎来大时代 全球各行各业的组织机构已经意识到,最准确的商务决策来自于事实,而不是凭空臆想.这也就意味着,他们需要在内部交易系统的历史信息之外,采用基于数据分析的决策模型和技术支持.互联网点击数据.传感数据.日志文件.具有丰富地理空间信息的移动数据和涉及网络的各类评论,成为了海量信息的多种形式. 极具挑战性的是,传统的数据库部署不能处理数TB数据,也不能很好的支持高级别的数据分析.在过去十几年中,大规模并

了解Sybase IQ服务剑桥天文观测台

作为剑桥大学天文学院的组成部分,剑桥天文观测台需要编目多年的观测数据以便天文学家能够有效地搜索和查询信息.使用Sybase 技术,全世界研究人员现在只需几分钟而不是几周时间便可找到重要的研究信息. 主要收益 把数据响应时间从几周缩短到几分钟 使天文学家能够瞄准研究目标,节省宝贵的时间 将每月维护时间由三天减至一天 应用Sybase产品:Sybase IQ行业 教育 支持全球范围的研究 今天的大范围数字观测产生了大量数据.剑桥天文观 测台(CASU) 自动处理并存档这些遗留数据,这样不仅该 台的人

Sybase IQ商业智能利器

概述 商业智能(Business Intelligence,BI)系统使组织能够通过利用客户.供应商以及内部业务操作的有关信息来提高商业性能.BI 系统的最终目标是使用户能够消费大量有关数据,对其进行分析从而使企业有机会增加收入或者节省成本. BI应用已经广泛存在于各个行业,比如电信行业为获得和留住客户而使用的呼叫行为分析,拥塞分析,服务使用分析,经营分析等等;金融行业在风险管理方面采用的信用风险分析,货币风险分析,资产与负债管理等;以及可以用于所有行业的损益P&L 分析,欺诈监测,技术性能分析

Sybase IQ数据仓库领域革命性产品

Sybase的数据仓库方法从根本上就不同于其他的关系型数据库提供商.Sybase认为,传统的关系型方法以及ROLAP方法效率很低,要想获得足够的性能,必须通过高额的成本,在额外的硬件.软件.资源.钱.时间上进行大量投资,否则不可能达到.因此,Sybase已经开发了一个新的逆向关系型数据库--它是基于列的,而非基于行的. Sybase IQ与传统数据库在数据压缩方面的典型对比 我们开始审视Sybase IQ时发现,Sybase对其使用列方法的好处所做的论述相当令人信服.然而,通过对数据仓库不断增加

工欲善其事必先利其器(大数据分析工具集)

大数据时代需要大数据挖掘,我习惯把大数据分成四个领域:数据科学.网络科学.空间地理科学和可视化技术; 最近的主要兴趣在空间地理领域,学习如何获取POI,Polygon,经纬度,空间匹配算法和可视化,一个全新领域有带来诸多大数据分析工具的思考和整合. 恰巧看到一篇国外博客列举了大数据领域的分析工具,俺的微信公号也曾经写过两篇: 数据工匠 | 工欲善其事必先利其器(数据分析工具集一) 数据工匠 | 工欲善其事必先利其器(数据分析工具集二) 今天就接着把数据分析主要是大数据挖掘的工具集三写下来: 顺势