部署Hadoop相关的四个解决方案

&">nbsp;     Apache Hadoop距离企业级应用可以说是越来越近了,不少大型公司在他们的系统中都部署了Hadoop的相关解决方案。然而对于公司的高层领导来说,它只是一个符号化的名词。

Hadoop到底适不适合我们企业?部署Hadoop到底划不划算?它能给我们带来什么?对于究竟要不要投资这项技术,你需要向领导解释清楚。本文就介绍了一些关于Hadoop的常见问题,希望能够对你有所帮助。

1、部署Apache Hadoop到底划不划算?

Apache Hadoop是一项开源技术,它是由Cloudera首席架构师Doug Cutting一手打造的。Hadoop依赖于一个内部冗余的数据架构,能够部署在标准化的服务器上,因此你无须购买高端的服务器以及存储设备就可以运行 Hadoop,在成本上是非常低廉的。
使用Hadoop可以存储任意类型的数据,并且可以用作数据分析与数据挖掘,从大数据中获得洞察力。而这些 数据在传统的架构中往往是存储在一个又一个孤岛当中。当然,任何一项技术都需要投入一定的成本,但Hadoop系统目前已经被证明在处理海量数据方面具备 很高的性价比。

2、Hadoop真的可以高效地处理大数据吗?

当然,Hadoop是高效处理大数据的一个选项,你可以把它看做是一个完整的、可访问的数据资源池。它可以存储企业中所有的数据,并让你可以随时访问这些数据。能够把Hadoop做成服务的企业可以说已经具备了驾驭大数据的能力,能够从中获得有价值的洞察力。
与此同时,对于IT部门来说它比传统的SQL数据库更高效且性能更好。

3、开源的产品靠谱吗?

尽管Hadoop是开源技术,但同Linux一样,也有很多商业化的厂商会围绕Hadoop做一些打包的产品与服务。有些厂商会把Hadoop做成“即插即 用”的服务,无需额外的人工管理开支;而大部分厂商会为企业提供传统的内部部署选项,它们对Hadoop的每一个组件都进行了功能增强。完全依赖于开源 Hadoop的企业往往有大量的专家资源,而且需要花很多时间来配置与维护Hadoop底层的架构。

4、Hadoop安不安全?

Hadoop 2.0正式版(Hadoop 2)在年初已经发布了,它也在安全性方面有所加强。Hadoop发行版厂商会提供它们各自的安全解决方案,这些安全性保障都能够深入开源技术的底层来保护 Hadoop的安全。因此,只要选对了供应商,安全性对于Hadoop来说应该不是问题。

【TechTarget中国原创内容,版权所有,经授权中国大数据发布,谢绝转载。否则TechTarget中国将保留追究其法律责任的权利。】

时间: 2024-11-10 00:34:40

部署Hadoop相关的四个解决方案的相关文章

mapreduce-solaris部署hadoop集群跑wordcount报错

问题描述 solaris部署hadoop集群跑wordcount报错 solaris部署hadoop集群跑wordcount报错, 信息如下: [admin@4bf635fa-5f3e-4b47-b42d-7558a6f0bbff ~]$ hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output 15/08/20 00:48:09 WARN

实战CentOS系统部署Hadoop集群服务

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性特点,并且设计用来部署在低廉的(low-cost)硬件上:而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序:HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文

linux-在Linux部署hadoop,启动出错

问题描述 在Linux部署hadoop,启动出错 启动时整个输出很多信息,正常情况下,应该只有几行,启动了namenode.datanode等, 但是我在启动的时候却一直报'ssh: Could not resolve hostname ' 具体信息如下: [root@hbase ~]# start-dfs.sh with: ssh: Could not resolve hostname with: Temporary failure in name resolution it: ssh: Co

Hadoop学习第四天之hadoop命令操作(下)

Hadoop学习第四天之hadoop命令操作(下) 1.   Hadoop dfsadmin #启动dfs admin客户端 -report  #报告当前集群的节点信息 -safemode  enter   #进入安全模式 -safemode  leave   #离开安全模式 -safemode  get    #获取安全模式状态 -safemode  wait   #等待,直到安全模式结束 -saveNamespace  #开启保存命名空间,必须开启安全模式 -refreshNodes  刷新

初学hadoop经历及使用Ambari快速部署Hadoop大数据环境介绍

前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Ambari,这个新的http://www.aliyun.com/zixun/aggregation/14417.html">Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能. 作为新手,我讲讲我自己的学习经历,刚刚开始学习的时候,当然最简单的 Google 下Hadoop ,然后下载相关的包,在自己的虚拟机(Cen

部署Hadoop的公司要慎重考虑

近些年,Hadoop和"走向大数据分析引擎"一样,受到颇多赞誉.对很多人来说,Hadoop就意味着大数据技术.但其实开源的分布式处理框架未必能解决所有的大数据问题.这就要求想要部署Hadoop的公司慎重考虑--什么时候应用Hadoop,什么时候应用其他产品. 举例来讲,用Hadoop处理大规模无结构数据或半结构数据可以说绰绰有余.但它处理小数据集的速度却鲜为人知.而这一点就限制了Hadoop在Metamarkets集团的应用.Metamarkets集团位于旧金山,为在线广告提供实时市场

win7系统不能复制网页内容的四种解决方案

  win7系统不能复制网页内容的四种解决方案.win7系统在浏览网页的时候,看到对自己有用的内容会选择复制网页文字保存,可是有时候打开一些网页发现里面的文字无法复制,可能网页设置无法复制.那么win7系统云网页内容不能复制的情况怎么办呢?带着这个疑问,下面小编告诉大家四种解决方案,想进一步了解的用户一起往下看. 解决方法一: 1.我们打开需要复制内容的页面.然后点击浏览器左上角的查看-源文件; 2.点击源文件之后我们就能看到这个页面的源代码了.我们可以往下拖动找到你需要的不能复制的内容.我们也

升级Win10系统后没有声音四种解决方案

  1. 如果你使用的是VIA HD Audio声卡,有可能会出现只在某些特定应用中才能听到声音的现象.此时可右键单击任务栏的声音图标,选择"播放设备";   2.选择"播放设备";   3.选择合适的设备作为默认通信设备(此处作为演示,演示设备未使用VIA声卡); 4.设置好默认通信设备后,再打开设备属性(上图右键菜单);   5.切换到增强选项卡,将所有增强选项去掉. 方法二: 1. 如果你使用的是Realtek audio声卡,当你遇到0x000005b4错误

在ubuntu部署hadoop之单机模式与伪分布式模式部署

这几天刚接触Hadoop,在学习如何搭建一个Hadoop集群.对于初学者来说,环境搭建还是比较麻烦的,我这里说一下我的配置方法,仅供大家参考. 我的环境是ubuntu12.10+hadoop1.1.0. Hadoop的运行模式有以下三种. 单机模式(standalone) 单机模式是Hadoop的默认模式.当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置.在这种默认模式下所有3个XML文件均为空.当配置文件为空时,Hadoop会完全运行在本地.因为不需要