大数据正在如何改变数据库格局?

提及“数据库”,大多数人会想到拥有30多年风光历史的RDBMS。然而,这可能很快就会发生改变。

一大批新的竞争者都在争夺这一块重要市场,他们的方法是多种多样的,却都有一个共同点:极其专注于大数据。

推动新的数据迭代衍生品大部分都是基于底层大数据的3V特征:数量,速度和种类。

本质上来讲,今天的数据比以往任何时候都要传输更快,体积更大, 同时更加多样化。这是一个新的数据世界,换言之,传统的关系数据库管理系统并没有真正为此而设计。

“基本上,他们不能扩展到大量,或快速,或不同种类的数据。”一位数据分析、数据科学咨询机构的总裁格雷戈里认为。

这就是哈特汉克斯最近发现。截至到2013年左右,营销服务机构使用不同的数据库,包括Microsoft SQL Server和Oracle真正应用集群(RAC)的组合。

“我们注意到,数据随着时间的增长,我们的系统不能足够快速的处理信息”一位科技发展公司的负责人肖恩说到。“如果你不断地购买服务器,你只能继续走到这幺远,我们希望确保自己有向外扩展的平台。”

最小化中断是一个重要的目标,Iannuzzi说到,因此“我们不能只是切换到Hadoop。”

相反,却选择了拼接机器,基本上把完整的SQL数据库放到目前流行的Hadoop大数据平台之上,并允许现有的应用程序能够与它连接,他认为。

哈特汉克斯现在是在执行的初期阶段,但它已经看到了好处,Iannuzzi说,包括提高容错性,高可用性,冗余性,稳定性和“性能全面提升”。

一种完美风暴推动了新的数据库技术的出现,IDC公司研究副总裁Carl Olofson说到。

首先,“我们正在使用的设备与过去对比,处理大数据集更加快速,灵活性更强”Olofson说。

在过去,这样的集合“几乎必须放在旋转磁盘上”,而且数据必须以特定的方式来结构化,他解释说。

现在有64位寻址,使得能够设置更大的存储空间以及更快的网络,并能够串联多台计算器充当单个大型数据库。

“这些东西在不可用之前开辟了可能性”Olofson说。

与此同时,工作负载也发生了变化。10年前的网站主要是静态的,例如,今天我们享受到的网络服务环境和互动式购物体验。反过来,需要新的可扩展性,他说。

公司正在利用新的方式来使用数据。虽然传统上我们大部分的精力都放在了对事务处理 – 销售总额的记录,比如,数据存储在可以用来分析的地方 – 现在我们做的更多。

应用状态管理就是一个例子

假设你正在玩一个网络游戏。该技术会记录你与系统的每个会话并连接在一起,以呈现出连续的体验,即使你切换设备或各种移动,不同的服务器都会进行处理,Olofson解释说。

数据必须保持连续性,这样企业才可以分析问题,例如“为什么从来没有人穿过水晶厅”。在网络购物方面,为什么对方点击选择颜色后大多数人不会购买某个特殊品牌的鞋子。

“以前,我们并没试图解决这些问题,或者我们试图扔进盒子也不太合适”Olofson说。

Hadoop是当今新的竞争者中一个重量级的产品。虽然他本身不是一个数据库,它的成长为企业解决大数据扮演关键角色。从本质上讲,Hadoop是一个运行高度并行应用程序的数据中心平台,它有很强的可扩展性。

通过允许企业扩展“走出去”的分布方式,而不是通过额外昂贵的服务器“向上”扩展,“它使得我们可以低成本地把一个大的数据集汇总,然后进行分析研究成果”Olofson说。

其他新的RDBMS的替代品如NoSQL家族产品,其中包括MongoDB -目前第四大流行数据库管理系统,比照DB引擎和MarkLogic非结构化数据存储服务。

“关系型数据库一直是一项伟大的技术持续了30年,但它是建立在不同的时代有不同的技术限制和不同的市场需求,”MarkLogic的执行副总裁乔·产品帕卡说。

大数据是不均匀的,他说。许多传统的技术,这仍然是一个基本要求。

“想象一下,你的笔记本电脑上唯一的程序是Excel”帕卡说。“设想一下,你要和你的朋友利用网络保持联系 – 或者你正在写一个合约却不适合放进行和列中。”

拼接数据集是特别棘手的

“关系型,你把所有这些数据集中在一起前,必须先决定如何去组织所有的列,”他补充说。“我们可以采取任何形式或结构,并立即开始使用它。”

NoSQL数据库没有使用关系数据模型,并且它们通常不具有SQL接口。尽管许多的NoSQL存储折中支持速度等其他因素,MarkLogic为企业定身量做,提供更为周全的选择。

NoSQL储存市场有相当大的增长,据市场研究媒体,不是每个人都认为这是正确的做法-至少,不是在所有情况下。

NoSQL系统“解决了许多问题,他们横向扩展架构,但他们却抛出了SQL,”一位CEO-Monte Zweben说。这反过来,又为现有的代码构成问题。

Splice Machine是一家基于Hadoop的实时大数据技术公司,支持SQL事务处理,并针对OLAP 和OLAP应用进行实时优化处理。它被称为替代NewSQL的一个例子,另一类预期会在未来几年强劲增长。

“我们的理念是保持SQL,但横向扩展架构”Zweben说。“这是新事物,但我们正在努力试图使它让人们不必重写自己的东西。”

深度信息科学选择并坚持使用SQL,但需要另一种方法。

公司的DeepSQL数据库使用相同的应用程序编程接口(API)和关系模型如MySQL,意味着没有应用变化的需求而使用它。但它以不同的方式处理数据,使用机器学习。

DeepSQL可以自动适应使用任何工作负载组合的物理,虚拟或云主机,该公司表示,从而省去了手动优化数据库的需要。

该公司的首席战略官Chad Jones表示,在业绩大幅增加的同时,也有能力将“规模化”为上千亿的行。

一种来自Algebraix数据完全不同的方式,表示已经开发了数据的第一个真正的数学化基础。

而计算器硬件需在数学建模前建成,这不是在软件的情况下,Algebraix首席执行官查尔斯银说。

“软件,尤其是数据,从未建立在数学的基础上”他说,“软件在很大程度上是语言学的问题。”

经过五年的研发,Algebraix创造了所谓的“数据的代数”集合论,“数据的通用语言”Silver说。

“大数据肮脏的小秘密是数据仍然放在不与其他数据小仓融合的地方”Silver解释说。“我们已经证明,它都可以用数学方法来表示所有的集成。”

配备一个基础的平台,Algebraix现在为企业提供业务分析作为一种服务。改进的性能,容量和速度都符合预期的承诺。

时间会告诉我们哪些新的竞争者取得成功,哪些没有,但在此期间,长期的领导者如Oracle不会完全停滞不前。

“软件是一个非常时尚行业”安德鲁·门德尔松,甲骨文执行副总裁数据库服务器技术说。“事情经常去从流行到不受欢迎,回再次到流行。”

今天的许多创业公司“带回炒冷饭少许抛光或旋转就可以了”他说。“这是一个新一代孩子走出学校和重塑的东西。”

SQL是“唯一的语言,可以让业务分析师提出问题并得到答案,他们没有程序员,”门德尔松说。“大市场将始终是关系型。”

至于新的数据类型,关系型数据库产品早在上世纪90年代发展为支持非结构化数据,他说。在2013年,甲骨文的同名数据库版本12C增加了支持JSON(JavaScript对象符号)。

与其说需要一个不同类型的数据库,它更是一种商业模式的转变,门德尔松说。

“云,若是每个人都去,这将破坏这些小家伙”他说。“大家都在云上了,所以在这里有没有地方来放这些小家伙?

“他们会去亚马逊的云与亚马逊竞争?” 他补充说。“这将是困难的。”

甲骨文有“最广泛的云服务”门德尔松说。“在现在的位置,我们感觉良好。”

Gartner公司的研究主任里克·格林沃尔德,倾向于采取了类似的观点。

“对比传统强大的RDBMS,新的替代品并非功能齐全”格林沃尔德说。“一些使用案例可以与新的竞争者来解决,但不是全部,并非一种技术”。

展望未来,格林沃尔德预计,传统的RDBMS供货商感到价格压力越来越大,并为他们的产品增加新的功能。“有些人会自由地带来新的竞争者进入管理自己的整个数据生态系统”他说。

至于新的产品,有几个会生存下来,他预测“许多人将被收购或资金耗尽”。

今天的新技术并不代表传统的RDBMS的结束,“正在迅速发展自己”IDC的Olofson。赞成这种说法,“RDBMS是需要明确定义的数据 – 总是会有这样一个角色。”

但也会有一些新的竞争者的角色,他说,特别是物联网技术和新兴技术如非易失性内存芯片模块(NVDIMM)占据上风。

会有许多问题需要大量解决方案,Olofson说。“也会伴随有很多有趣的东西”

本文作者:Juzen

来源:51CTO

时间: 2024-08-29 07:09:49

大数据正在如何改变数据库格局?的相关文章

AdTime:大数据重塑电视产业新格局

文章讲的是AdTime:大数据重塑电视产业新格局,如今,人们身边的各种媒体都朝着互动性快步发展着,互动性满足了普通大众个性化的需求,也为过去单向传输的广电行业传播路径提出了警示,必须结束对用户单向.单一性传播的时代.作为即将进入大数据营销的最后一块高价值屏幕,诸多互联网及终端厂商纷纷看好智能电视这块巨大的市场,争先恐后的进来瓜分这块巨大的蛋糕. 在国家大力推动"三网融合"产业发展下,智能电视的发展搭上了一趟顺风车,中国智能电视的销售速度正在以每年50%的速度增长着,优质家庭式用户覆盖预

全力打造以大数据为引领的创新格局

"引进大数据电子信息产业项目400个,大数据电子信息制造业规模以上工业增加值增长71.3%,软件和信息服务业收入增长35%,电子商务交易额增长30%."过去一年,我省坚持把大数据作为弯道取直.后发赶超的战略引擎,强力推进大数据战略行动,经济社会发展取得新成绩. 昨日,省长孙志刚代表省人民政府向省十二届人大五次会议作<政府工作报告>.<报告>指出,今年,我省要更加扎实有力推进大数据战略行动,努力在国家大数据综合试验区建设上取得新突破. 省"两会"

当大数据遭遇云计算 改变IT世界?

大数据正在彻底改变IT世界.那么,什么样的数据谈得上数据呢? 根据IDC的报告,未来十年全球大数据将增加50倍.仅在2011年,我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生.这相当于每位美国人每分钟写3条Tweet,而且还是不停地写2.6976万年.在未来十年,管理数据仓库的服务器的数量将增加10倍以便迎合50倍的大数据增长. 毫无疑问,大数据将挑战企业的存储架构及数据中心基础设施等,也会引发云计算.数据仓库.数据挖掘.商业智能等应用的连锁反应.2011年企业会将更多的多TB(

大数据将如何改变垂直电商?

亚马逊又往零售业丢了一个深水炸弹--豪掷137亿收购了美国著名的有机食品连锁超市Whole Foods.这次亚马逊史上最大的并购交易,明明白白地展示了这家美国电商巨头进军垂直领域的野心. 再加上沃尔玛3亿美金收购男装电商企业Bonobos,不难想到,这些过去追求大而全的电商.或零售业巨头,如今都在试图切入垂直领域,吸引更多客户.对于亚马逊来说,收购Whole Foods,进军杂货这个人们高频消费的品类很可能是它与沃尔玛.Target宣战的重要一步. 另一方面,随着大平台的电商统治结构逐渐成型,美

大数据管理系统:NoSQL数据库前世今生

文章讲的是大数据管理系统:NoSQL数据库前世今生,NoSQL一词最早出现于1998年,它是Carlo Strozzi开发的一个轻量.开源.不提供SQL功能的关系型数据库(他认为,由于NoSQL悖离传统关系数据库模型,因此,它应该有一个全新的名字,比如"NoREL"或与之类似的名字). 2009年,Last.fm的Johan Oskarsson发起了一次关于分布式开源数据库的讨论,来自Rackspace的Eric Evans再次提出了NoSQL的概念,这时的NoSQL主要指非关系型.分

大数据时代的新型数据库 — 图数据库 Neo4j 的应用

概览 微云数聚(北京)科技有限公司是一家实力雄厚的大数据技术公司,由移动互联网技术专家团队.大数据专业团队和建模博士团队组成.微云数聚专注于研究图数据库技术及其应用,是世界领先的图数据库Neo4j在中国的战略合作伙伴和官方代理,他们研制的Neo4j简体中文扩展版,是专为中国企业量身打造.符合中国企业习惯的图数据库系统,除了提供简体中文界面,还支持节点显示成图片,显示效果由数据驱动:增加了智能查询,并且开发了简便导入Excel.MySQL和Oracle的工具--导入精灵,这些扩展将极大促进Neo4

“大数据”革命彻底改变人类生活

导语:国外媒体周二撰文称, "大数据"革命彻底改变人类的生活,例如在副食店就可以询问家中的冰箱是否需要牛奶.走进鞋店后,一台无线设备就能测试你的鞋码和走路方式. 以下为文章内容摘要: 6年前,约翰·韦伯斯特(John Webster)和克里斯·斯塔库提斯(Chris Stakutis) 联合撰写过一本书<无所不包的数据>(Inescapable Data),书中记载了他们与近50位企业家和高管的 对话内容,主要是关于大规模收集数据如何改变他们的业务和生活的讨论. 斯塔库提斯

十大数据可视化站点 改变审视世界角度

文章讲的是十大数据可视化站点 改变审视世界角度,本文所介绍的这些网站将会改变大家观察世界的方式,以实时的.可视化的方式对结论加以审视,也许能为我们带来完全不同的观察视角. 一.全球黑客活动 从黑客活动开始踏上可视化数据工具体验之旅.这份迷人的地图由安全供应商Norse打造,其本质是一套反映全球范围内黑客攻击频率的快照.它利用Norse的"蜜罐"攻击陷阱显示出所有实时渗透攻击活动.(稍等一会儿,DDoS攻击就会点亮你的屏幕!)闪光的霓虹线段与炫丽的彩虹配色营造出了互联网时代下的科技战争氛

大数据时代的可扩展性数据库集群技术

ZDNet至顶网服务器频道 06月05日 新闻消息:信息系统的背后用于保存和处理最终结果的地方就是数据库.因此数据库系统就变得尤为重要,这意味着如果数据库如果面临问题,则意味着整个应用系统也会面临挑战,从而带来严重的损失和后果.目前在大数据趋势下,数据库面临如下的挑战: 当数据库性能遇到问题时,是否能够横向扩展,通过添加服务器的方式达到更高的吞吐量,从而充分利用现有的硬件实现更好的投资回报率. 是否拥有实时同步的副本,当数据库面临灾难时,可以短时间内通过故障转移的方式保证数据库的可用性.此外,当