大数据浪潮袭来 企业该如何选择NoSQL?

文章讲的是大数据浪潮袭来 企业该如何选择NoSQL,在当今这个大数据时代下,优秀的传统关系型数据库管理系统已经无法应对很多数据库处理任务。在今天的文章中,我们将一同探讨如何在各类NoSQL后备方案中找到适合自己的选择。

  在过去几个礼拜里,我一直在芝加哥为自己的公司部署卫星办公室。虽然硅谷确实算得上是大数据供应商的摇篮,但芝加哥作为大数据用户及从业者们的根据地、重要程度同样不容忽视。无论是有心参与还是无意偶遇,这里的人们每一天都会跟大数据活动产生不少交集。在每一次大数据相关活动当中,我们都不可避免地要与NoSQL打交道、议题也总会谈到为什么传统关系型数据库管理系统已经无法满足如今的新需求。就目前来看,大部分读者朋友对这一问题还不太熟悉。NoSQL数据库分为几大不同种类,我们拥有多种合理的出发点来针对不同数据集选用不同的NoSQL数据库类型。总而言之,其实际复杂程度远远超出了技术业界在营销中所宣称的“NoSQL就是规模化”。NoSQL数据库种类如此众多,部分原因可以归结于CAP原理,又被称为Brewer原理。

  根据CAP原理的说法,在以下三种特性当中我们只能同时实现两者:一致性、可用性以及划分限度。不同的数据集以及不同的运行时间规则迫使我们采取不同的解决方案。各类数据库技术针对的具体问题也有所区别。数据自身的复杂性以及系统的可扩展能力都是需要认真考虑的重要因素。

  产生分歧的另一个理由则源自基础计算机科学、甚至可以算是基础数学运算。某些数据集能够轻松与键-值对进行映射;从本质上讲,数据的表格化并不会削弱其实际意义,我们也没有必要对数据关系进行重组。在另一方面,数据集与其它数据项目间的关系可以说同数据项目本身一样重要。

  换句话来说,关系型数据库在能够作为键-值对处理的数据领域发挥极大效力,但却不善于处理要求更多背景信息的数据。前者对可扩展性提出要求,后者则需要我们为其提供更多性能资源。

  关系型数据库以关系代数为基础,我们基本上可以将其视为集合论的衍生产物。基于集合论的关系适用于多种数据集,但对于必须要求具备父-子或者关系距离要素的内容来说效率不高。在这种情况下,大家可能需要采用图论来设计数据解决方案。

  键-值对数据库

  键-值对数据库当中包括Couchbase以及Apache Cassandra。这些方案具备高度可扩展性,但却无法帮助开发人员顺畅处理复杂数据集。如果大家需要进行磁盘备份、分布式散列表并通过一致性对数据内容加以检查,那么上述方案既具备良好的规模化能力、又能提供出色的处理速度。然而如果我们需要通过某个键来获取另一个键、进而访问第三个键以查询相关值,那么问题就会变得非常复杂。

  列族/大表数据库

  大部分键-值数据库(包括Cassandra在内)都会提供某种形式的列组,我们可以将其理解为“列族”或者“大表”。而以HBase为代表的某些数据库则从开发之初就以列族作为设计思路。这是键-值数据库的一种更为先进的表现形式。从本质上讲,其中的键与值 存在一定程度的复合。我们可以将其视为一套贯穿多维数组的散列映射。基本每一个列都容纳着一行数据。根据DataStax公司(一家专门销售Cassandra认证版本的企业)产品副总裁Robin Schumacher的观点,“Cassandra人气最高的使用实例就是处理时间序列数据,这些数据可以来自设备、传感器、网站(例如Web日志)乃至金融记录数据等等。这些数据的产生速度通常非常之快,而且往往一次性来自多个位置、增长幅度惊人,需要出色的写入能力以及以时间片段为基础的高性能读取配。

  大家也可以利用MapReduce来打理这类实例,这是因MapReduce最擅长的就是解析半结构化数据。它们具备极高的可扩展性,但通常不具备事务型处理能力。如果数据之间的关系与数据本身的重要性不相上下(例如距离或者路径计算),那么请不要使用列族/大表数据库。

作者:核子可乐 编译

来源:IT168

原文链接:大数据浪潮袭来 企业该如何选择NoSQL?

时间: 2024-10-03 15:33:57

大数据浪潮袭来 企业该如何选择NoSQL?的相关文章

大数据浪潮下,中国电视变革“三部曲”

呼啸而来的大数据浪潮甚是凶猛,眼看着要把中国的每个角落都彻底冲刷一遍.从最初艰涩生僻的学术用语,到现在人人皆知的热门词汇,大数据以难以想象的速度占据了公众话题的中心点.作为话题的重要传播者和推动者,电视媒体在营造舆论的同时,必须要努力适应大数据时代带来的全新生存环境,才不至于成为昨日黄花. 看看欧美电视产业正在发生的变化就能看到大数据的力量.英国广播公司(BBC)已经把大数据纳入了节目制作流程.制作方一边进行节目直播,一边根据观众在社交媒体上的评论决定接下来的节目走向,节目也由此完成了收视率的大

大数据浪潮填满了谁的腰包?

研究公司Wikibon发现,尽管以IBM及英特尔等为首的老牌劲旅正在大肆蚕食大数据市场所带来的丰厚利润,但充满创新能力的新兴企业才是左右市场未来的核心力量. 根据专业研究公司Wikibon的说法,如果对大数据市场进行具体量化,那么它目前的总价值已经超过50亿美元,而且其中大部分份额掌握在几家传统的IT领头羊手中.而当这些巨头们的注资与勇于创新的后起之秀们干柴烈火一相逢,市场的总价值将达到2013年的102亿美元,而到2017年这一数字更加攀至530亿美元的高峰. 不过情况也很可能没这么乐观.我们

百分点发布大数据平台产品 固化企业全数据处理流程

ZDNET至顶网CIO与应用频道 07月28日 综合消息:近日,大数据技术与应用服务商百分点集团推出其面向企业级应用的新一代大数据平台产品"百分点数据管家".数据管家浓缩了百分点在大数据领域深耕5年来所积累的核心技术与算法模型,支持PB级海量数据的采集.存储.整合和挖掘,能够满足中国企业对多源异构的全业务链数据进行统合管理.深度挖掘.实时计算的需求,帮助中国企业构架大数据时代的核心能力. 作为当今企业信息化领域最热门的话题,大数据掀起了新一波IT投资和信息化建设的浪潮.无论是在大数据发

布局行业大数据 浪潮发布金融大数据一体机

[天极网服务器频道3月19日消息]3月18日,浪潮在京举行新闻发布会,正式推出国内首款面向金融行业的大数据定制机--浪潮云海金融大数据一体机.该产品是浪潮集团与国内领先的金融信息化解决方案供应商南天信息联合推出面向金融行业的大数据挖掘.分析平台. 在过去的2013年,中国金融界热议最多的或许是互联网金融,互联网金融背后涉及的就是金融大数据的应用.浪潮是大数据处理平台的领先厂商,南天是金融行业的领先独立应用开发商,双方在大数据领域的见解一致,强强联合,深入合作. 当前,互联网金融模式正深刻影响着我

夏华:百度大数据正在改变传统企业的供应链模式

互联网浪潮的到来,让越来越多的企业获得更加广阔的发展空间,相比传统行业,互联网的优势在于它的数据驱动力.在拥抱企业互联网化过程中,如何利用大数据洞察市场,进而挖掘出全新价值,是摆在企业管理者面前的一道必答题.在近日举办的第23期百度创业家沙龙现场,来自依文集团的董事长夏华说,"我与李彦宏相识已久,一直对他的想法和百度即便在中国互联网的位置达到了不可动摇的前提下,依旧不停歇的一路向前的突破精神感到非常钦佩.""最近让我对百度有更全新的认识,是在我们的电商主管会上,利用百度指数让

大数据浪潮下Informatica布局国内市场的新思路

"大数据带给整个企业最大的好处是降低成本.实现创新.今天整个行业模式都因大数据时代的到来将被重新颠覆." 在当今数据大爆发的时代,无论是新增数据还是现有数据,都是企业的巨大财富,并为企业带来了前所未有的商机.但只有有效运用和管理企业数据,才能实现最大化的数据投资回报.对于大多数企业CIO来讲,借助大数据管理技术能够帮助其获得竞争优势,而且随着技术的不断进步大数据正在备受到CIO的关注. 从市场层面来看,大数据时代的崛起,给许多的企业带来的机遇.挑战,同时它又给企业提供了新的市场增长空间

SAP被评为“大数据”预测分析领军企业

本文讲的是SAP被评为"大数据"预测分析领军企业,2013年1月24日,SAP公司日前宣布:在Forrester Research 发布的"The Forrester Wave: Big Data Predictive Analytics Solutions, Q1 2013"(<The Forrester Wave:2013 年第一季度大数据预测分析解决方案>)报告中,SAP被评为该领域的领军企业.此次评选活动中,SAP 凭借强大的架构和战略被誉为市场

如何让“大数据”更好为企业运营服务?

天再一次塌下来了.这一次是"大数据"让IT部门如临大敌.正如街谈巷议的传闻一样,不管你走到哪里,关于"大数据"的讨论无处不在.在Google搜索这个词组,搜索结果超过13亿条.它甚至在维基百科拥有专门的条目.数据泛滥导致很多人得出结论:企业将不堪重负.这并不是说企业内部的信息量不会增长.相反地,企业内部信息量也难逃增长的命运.因为,大数据一直是个难题. 尽管不断有人声称,数据洪流将导致厄运来临,但IT行业却始终能够通过改进计算基础架构,使它们速度更快.容量更大.价格

大数据文化:传统企业互联网下的组织颠覆

书名:<组织设计> 作者:李书玲 出版社:机械工业出版社 <组织设计>的互联网改造启示 在世界的发展历程中,有两类企业被奉为圭皋,一类是以通用电气为代表的传统企业,他们管理严谨,逻辑严密,员工西装革履,遵守着严格的上下班制度,被誉为世界跨国企业的典范:另一类以谷歌为代表的互联网企业,他们行事不拘一格,办公活泼灵活,员工穿着自由开放,创造力十足,被称作互联网时代的代言人.但是,随着互联网时代的到来,大量以通用为标杆的企业逐渐陷入了迷思,到底什么才是真正的企业文化,组织设计又该何去何从