你想知道的关于Hadoop数据资源池的一切

随着Hadoop数据资源池的概念进入主流IT,越来越多的企业开始试水Hadoop。但很多只是将一部分数据池化,还没有开发出成熟的Hadoop环境。

数据资源池使用基于开源Hadoop框架和商业硬件,以池化资源的形式处理、存储和管理大数据,尤其是支持分析应用。支持者认为数据池架构提供了一个更便宜的替代传统数据仓库的选项,能够处理结构化、半结构化以及非结构化数据。不过,数据资源池的概念还相对较新,带来利益的同时也隐藏着陷阱。关注BI和大数据的咨询公司Eckerson 集团首席咨询师Wayne Eckerson表示:“在过去七年里,Hadoop取得了长足的进步,但它仍有很长的路要求。”

在接受TechTarget采访时,Eckerson讲述了他个人对于数据资源池的理解,以及可能影响该进程的阻力。对于公司是否适合采用Hadoop资源池的问题,他也给出了建议。

TechTarget:从您接触到的公司来看,Hadoop资源池到底有多流行?

Wayne Eckerson:很 多公司已经或打算使用Hadoop.只有当你把所有数据都放入Hadoop集群的时候,数据资源池才是真实的。公司当然对它有兴趣,尤其是目前还没有数据 仓库的公司,它们会选择从Hadoop开始,而不是关系型数据库,当然前提是它们有掌握Hadoop的人才。不过我认为,供应商推Hadoop的力度大于 用户对Hadoop的需求。泡沫的成分还是有的。

TechTarget:公司为什么要考虑数据池,数据池能够给公司带来的最大好处是什么?

Eckerson:理论上这种方法大有裨益。你把数据放入资源池,不需要再移动它。你需要做的只是把数据提取到支持业务的正确的处理系统中。数据资源池的好处是你把数据存储在 数据产生的地方,然后把处理流程加在数据上,这样能够让公司更少地移动数据。但是问题是,在过去二十年里,我们积累了如何从数据中提取答案的经验,但这些 经验并不完全适用于数据资源池。公司要重新确认流程,保证能得到正确答案。不过因为成本低,所以人们还是很愿意去尝试它。

企业在部署Hadoop时,对数据资源池的概念是否会有误解?

Eckerson:对 于任何新技术,人们都不免会希望它能“包治百病”。但事实并非如此,Hadoop需要专业的技术人才,而且有很多功能还不成熟,比如安全、管理、容灾和恢 复、交互查询等。现在,这些功能正逐渐被添加到Hadoop平台上,它现在正在向企业级方向发展。不过它仍然没有传统数据仓库环境那么成熟。你不能只给人 们一个生数据的入口,就期望他们能完成任何事。你需要构建不同的数据视图,不同的结构,不同部门的人员看到不同的数据。这和数据仓库的道理是一样的,只是 用到的技术不同。我认为最大的误解是认为Hadoop是适用于业务用户的环境,其实不是,Hadoop还是需要掌握固定技能的专家的。

数据资源池适用于所有企业吗,还是只适用于部分企业?

Eckerson:任何公司,只要有时间和资源,都可以尝试数据资源池。公司要以开放的心态迎接新技术,需要花费时间进行试验,了解数据资源池能够给自己带来什么。早期的Hadoop使用者已经在大范围部署Hadoop了。但也有公司忙于应对已有的数据仓库,无暇考虑Hadoop。这是企业文化的问题,有些对新技术比较积极,有些则不然。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

本文作者:佚名

来源:51CTO

时间: 2024-08-02 17:52:34

你想知道的关于Hadoop数据资源池的一切的相关文章

[大数据新手上路]“零基础”系列课程--如何将ECS上的Hadoop数据迁移到阿里云数加·MaxCompute

免费开通大数据服务:https://www.aliyun.com/product/odps  想用阿里云数加·大数据计算服务(MaxCompute),但是现在数据还在hadoop上,怎么办? 大数据计算服务(MaxCompute) 快速.完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全. 了解更多   别烦恼,跟着我们走,来一次MaxCompute零基础数据迁移之旅-Let'

db4o数据库存放的class含有相同的字段名且字段的类型也相同。现在想把这个库中数据读出来,但总是报 java.lang.ClassCastException错误

db4o数据库存放的class含有相同的字段名且字段的类型也相同.现在想把这个库中数据读出来,但总是报 java.lang.ClassCastException错误,请大侠指教 具体情况如下:   ObjectContainer db =null;    try {    db = Db4o.openFile("bean.yap");List<AlarmFilter> list_a = db.get(AlarmFilter.class);     for(int x = 0

Apache Sqoop 1.99.4 发布,Hadoop 数据迁移

Apache Sqoop 1.99.4 发布,这是 Sqoop2 的第四个里程碑版本,是非常重要的一个里程碑. Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中. 该版本改进内容和新特性: Improvement [SQOOP-773] – Sqoop2: Batch execution support fo

关于mysql和hadoop数据交互的问题,和hadoop的文件夹设计

问题描述 关于mysql和hadoop数据交互的问题,和hadoop的文件夹设计 关于mysql和hadoop数据交互的问题,和hadoop的文件夹设计 关于mysql和hadoop数据交互的问题,和hadoop的文件夹设计 目前mysql按地区,商业区区分,假设读取mysql数据库的地区,根据地区划分 我昨天和领导沟通了,领导说点击率不是必要条件,地区划分才是重点,后面就是各方面劝导,只好以地区区分,关键是这个镇区区分数据和产品的话,全国有6k多个地区, 这样的hdfs文件夹数量,岂不是很崩溃

数据写入硬盘,想在中间再插入数据,是不是要把所有后面的数据全部后移?

问题描述 数据写入硬盘,想在中间再插入数据,是不是要把所有后面的数据全部后移? 数据写入硬盘,想在中间再插入数据,是不是要把所有后面的数据全部后移?那样不是很消耗资源吗?一般较大的文件要修改不是很困难?有什么方法可以避免这种问题? 解决方案 数据在磁盘上存储的顺序和它逻辑上的顺序可以无关.除非这种文件是文本文件,那的确如此.我们可以像内存中的链表那样存放数据,将数据分为一个特定大小的块,每个块指向下一个块的地址.这样如果要插入数据,只要在文件最后追加数据,同时在插入点的块指向文件尾部新增加的块,

aspnet-ASP VB 想要把textbox的数据存入数据库 下面是代码 存不进去 也不提示错误

问题描述 ASP VB 想要把textbox的数据存入数据库 下面是代码 存不进去 也不提示错误 Protected Sub Button1_Click(ByVal sender As Object ByVal e As System.EventArgs) Handles Button1.Click Dim p_name1 As String = """" Dim p_type1 As String = """" If p_n

网页数据-想获取网页的一些数据,我应该怎么做呢?或者说我应该去学什么?

问题描述 想获取网页的一些数据,我应该怎么做呢?或者说我应该去学什么? 目标:在某网页上输入用户名密码验证码,再点一些按钮,就可以看到数据.我想做个自动化脚本,可以自动获取到这些数据保存下来. 条件:该网页由Tomcat搭建,我可以操作到这台机器:我会一些VBScript,自动保存没问题,只是不知道怎么获取数据:我会一点PHP,知道一点网页传递数据的原理: 解决方案 一点就是还不会,多学习实践一下 解决方案二: 发送http请求,然后接收返回的网页数据,再分析这些数据,以后保存.这东西叫爬虫.我

想去机器学习初创公司做数据科学家?这里有最常问的40道面试题

导读   想去机器学习初创公司做数据科学家?这些问题值得你三思! 机器学习和数据科学被看作是下一次工业革命的驱动器.这也意味着有许许多多令人激动的初创公司正在起步成长.寻找专业人士和数据科学家.它们可能是未来的特斯拉.谷歌. 对于有职业抱负的你来说,看好一家好的创业公司团队后,如何能够脱颖而出,进入一家靠谱的创业团队呢? 想得到这样的工作并不容易.首先你要强烈认同那个公司的理念.团队和愿景.同时你可能会遇到一些很难的技术问题.而这些问题则取决于公司的业务.他们是咨询公司?他们是做机器学习产品的?

sql server-vs使用sqlserver语句,列名是由我提供数据,但是又想找到该列名的数据

问题描述 vs使用sqlserver语句,列名是由我提供数据,但是又想找到该列名的数据 我前面已经输出很多个列名,现在让客户点击一个列名,我想输出这个列名下的数据,而我想用中间变量代替,如"select distinct @name from one"但是不可以啊 或者你有其他的办法,求大神帮忙 解决方案 得到点击的文本嵌入select语句中不就好了吗 解决方案二: 得到点击的文本嵌入select语句中不就好了吗 解决方案三: 得到点击的文本嵌入select语句中不就好了吗 解决方案四