不要把所有东西都放在同一个Hadoop数据库

  那些推荐将所的有东西都放在Hadoop数据库的人显然忘记了数据库发展史上曾经发生的一些惨痛教训。

  虽然有句谚语叫做“大象永远不会忘记”,但是我还是对这一谚语想要表达的意思心存怀疑。我就知道一种特殊的大象——它们的名字叫做Hadoop,这些大象似乎并不记得它们在向企业级">数据仓库(简称为EDW)市场进军过程中的一些经历。在Hadoop这个舞台上,一些产品似乎对长期折磨该市场的某些缺陷一直没有改进,并且在不断地犯着相同的错误。

  我对于Hadoop能够、并且应该成为企业所有分析数据的中心枢纽这一观点持怀疑态度。

  在大数据[注]时代初期,EDW领域曾经提出了“把所有的鸡蛋都放在一个篮子里”的理念。尽管为所有分析主题域创建单一版本的真实数据仓库在理论上具有重大意义,但是几乎没有客户愿意花费资金、时间和资源将不同的分析数据库整合至一个单一平台之上。在EDW市场,许多企业将核心的记录系统数据进行了整合,但是我们仍然能够随处见到企业专用的战术数据仓库、数据集市、操作数据存储、联机分析处理(OLAP)数据库,以及其他针对特定区域、业务领域、应用和用户的分析数据库。

  在Hadoop时代,单一的“企业数据枢纽”这一理念依然会存在反对的声音。事实上,对于Loraine Lawson近期撰写的关于等效构想(即以Hadoop为中心的“数据湖”)的文章,就存在质疑的声音。Lawson将这一理念比喻成“大冰糖山”,她认为在以数据为中心的架构中,分布式计算将会消除数据孤岛。Lawson以Edd Dumbill在关于“数据湖”讨论中所说的话为论据称:“Dumbill指出谷歌和Facebook的开发者‘完全生活在这一梦想当中’,这证明其不仅仅是一名开发者的梦想。”

  我无从得知Dumbill做出这一论述的逻辑基础。这些特定的开发者们没有承认这是一名开发者的梦想。这些来自谷歌和Facebook的特定开发者们是Hadoop的早期开发者和用户,这两家公司已经在该平台上创建了他们各自的Web服务。这也并不能证明这一梦想在硅谷以外的地方存在。

  实际上,大数据时代中的用户想法已经开始向“混合部署”这一模式转型。这种“混合”部署模式将EDW、Hadoop、NoSQL、内存式以及其他数据平台整合到了一个带有云功能的异构基础设施当中。

  在混合架构当中,“数据湖”梦想似乎针对的是一种大数据部署角色:即带有试验性质的“沙盒”。这种沙盒是数据整合与统计建模中心,其针对的用户是那些需要从海量的多结构数据中筛选数据的数据科学家团队。正如我之前所说的那样,全球的数据科学家们正在纷纷将Hadoop作为他们的数据“沙盒”。

  Hadoop在大数据分析中正在成为关键性的应用部署与执行平台。对于“数据湖”的前景展望,我没有什么可挑剔的。数据科学家在大数据时代是关键的应用开发者。Hadoop正在快速地成为多用途分布式任务执行层,其有能力执行大量的用其他语言编写的任务。

  但是这并不是说Hadoop将成为唯一的平台。实际上,包括Hadoop、大规模并行处理EDW、 NoSQL、内存式和流式在内的所有大数据平台都是应用开发与执行平台。任何认为一种平台将一统“以分析为核心的应用开发”天下的想法都是不正确的。

时间: 2024-09-20 11:46:39

不要把所有东西都放在同一个Hadoop数据库的相关文章

云服务级别协议签订:别把鸡蛋都放在一个篮子里

亚马逊的企业级云服务EC2在前段时间发生故障,这也为众多的企业CIO在签署云服务级别协议(SLA)的时候提了个醒:"不要把所有的鸡蛋都放在同一个篮子里". 对于各大企业的CIO们来说,在使用外部云应用时一定要考虑到供应商提供的云服务的安全性.性能以及冗余性这些极为关键的性能. "在选择供应商的各种云服务时,你一定要明白并不是所有的企业应用都可以在云服务上被实现,"美国科罗拉多州郎蒙特市的Ptak, Noel & Associates LLC的合伙人及首席分析

谷歌跟踪报告:2016年它要研究的东西都在这里

又到了发布一年两次的谷歌追踪报告的时候了.在这篇文章里,我们将为大家概述在谷歌这个庞大帝国所有(至少是我们所知道的)正在开展的项目. 尽管从现在开始,也许我们应该说是"在Alphabet这个庞大帝国所有正在开展的项目"."谷歌"现在只是"Alphabet"(Google创始人们新创立的伞形公司)旗下的子公司之一.我们过去一直在追踪的谷歌项目被分离出来成为Alphabet下属的子公司. 跟往期一样,我们的追踪报告是对过去的产品发布.传言以及一些猜测

作为创始人,让你与众不同的东西都将变成公司的竞争优势

摘要: 他们准备的文章既讲故事,又向创业者提供可操作的建议,以助力打造优秀的公司.在很多公司里,尤其是初创公司,公司文化建设很容易被忽略,因为他们的大部分精力都投放在了产 他们准备的文章既讲故事,又向创业者提供可操作的建议,以助力打造优秀的公司.在很多公司里,尤其是初创公司,公司文化建设很容易被忽略,因为他们的大部分精力都投放在了产品研发上.然而,对于那些想实现公司长远发展的公司而言,公司文化建设又是非常重要.那么公司文化如何建设,它与公司创始人的关系又有多大,公司创始人如何在日常的工作中加强公

c++-在写函数时 是不是要把返回值都放在形参表里?把函数返回值设定为true/false?

问题描述 在写函数时 是不是要把返回值都放在形参表里?把函数返回值设定为true/false? 在写函数时 是不是要把返回值都放在形参表里?把函数返回值设定为true/false? 解决方案 主要还是看程序需要把,这种想法只是对于一些内存申请操作来说,函数在结束后就将函数内申请的控件释放.如果已经在外部申请好了内存,是可以当做返回值返回的.所以说并不一定就要把返回值放在形参表里. 解决方案二: 这也是一种方式,尤其对于要返回多个结果的时候,一般通过参数来传递结果.然后函数返回值来表示函数是否调用

各位大神,azure的额度恢复了,但是上面的东西都起不来了,咋搞?

问题描述 各位大神,azure的额度恢复了,但是上面的东西都起不来了,咋搞? 各位大神,azure的额度恢复了,但是上面的东西都起不来了,咋搞? 解决方案 Hi, 如果你的额度恢复了却仍然显示服务不可用,我建议你去和世纪互联的技术工程师去联系,他们可以解决类似的问题,您可以通过以下途径联系: 400-089-0365 010-84563652 https://windowsazure.cn/zh-cn/support/support-ticket-form/ Best Regards, Jamb

请问android中的控件被无论如何引用后是不是操作的都是同一个控件

问题描述 请问android中的控件被无论如何引用后是不是操作的都是同一个控件 我写了一个简单的test安卓程序,就是点击菜单textview中的文字变色,这个程序是在上一个练习--实现listview显示列表,然后我发现虽然我引用的都是同一个控件,但是只有textview中的文字变色了,可是listview中的文字却没有变色,实在想不明白,莫非不是同一个textview控件吗???? 补上源代码: protected void onCreate(Bundle savedInstanceStat

面试后没有当场定下来的东西都不要报太大的希望

在求职网站上也有投唯品会的职位,但没有得到反应~后来一个同学的同事说认识唯品会的hr,能帮我内推一下;发简历过去后推荐我面交互设计师的职位. 我看了他们的招聘要求大部分我都符合,只有一条是"带领产品策划完成产品设计"不符合,于是跟hr申明说我没有管理经验这个限不限制,她说没有限制这个是工作的接触不是管人,于是约了第二天的十点半面谈. 唯品会在芳村离住的地方有点远,九点就开始出发了,去到那十点十分时间正好,不过~不过~等到了十一点半才面试~~~期间就是坐在前台前中看不中坐的椅子上,没有水

请问我要怎么把两个.net 放在同一个空间下

问题描述 请问我要怎么把两个.net 放在同一个空间下 (1)将多个项目放到不同的文件夹中(2)将多个项目的bin文件夹的 dll 文件放到根目录的 bin 文件夹中 (3)第二个config删除了的我这样做了但还是不行 第一个能够正常访问第二个不能进入后台操作提示 无法将类型为"xxx.Model.siteconfig"的对象强制转换为类型"xxxx.Model.siteconfig".我要怎么改呢 解决方案 你的意思是将多个.net项目放到一个命名空间下吗?

java struts2-不知道为什么今天启动struts2练习项目都出错了,都是同一个错误。

问题描述 不知道为什么今天启动struts2练习项目都出错了,都是同一个错误. Unable to load configuration. - file:/D:/Program%20Files/Java/apache-tomcat-6.0.32/webapps/strutsdemo3/WEB-INF/classes/struts.xml:17:10 at org.apache.struts2.dispatcher.Dispatcher.init(Dispatcher.java:502) at o