Hadoop MapReduce Hbase IP配置

问题描述

我现在的机器中都是双网卡配置,一块内网一块外网,在Hadoop、MapReduce、Hbase的配置中,我需要把对外接口设置在外网IP上,把内部数据传输设置在内网IP上,然后监控页面也需要在外网IP上,请问该如何配置?

解决方案

解决方案二:
总的来说在hadoop/conf/core-site.xml和hbase/conf/hbase-site.xml中配置属性,关于具体的哪些属性需要去查一下文档.另外,听说对IP支持不是太好,可能要用域名.需要在/etc/hosts中把内外网域名设置进去.
解决方案三:
我现在配置文件中用的都是域名
解决方案四:
该回复于2011-02-17 16:54:09被版主删除

时间: 2024-12-04 12:41:23

Hadoop MapReduce Hbase IP配置的相关文章

《HBase管理指南》一1.8 Hadoop/ZooKeeper/HBase基本配置

1.8 Hadoop/ZooKeeper/HBase基本配置 在进行下一步工作之前,我们需要进行一些基本设置的调优.这都是一些非常基本和非常重要的Hadoop(HDFS).ZooKeeper和HBase设置,你应该在安装好集群后立刻修改这些设置. 有些设置会对数据持久性或集群可用性产生影响,因此必须进行配置,而另外一些设置则是为保证HBase顺畅运行而推荐你进行的设置. 这些配置的设置值取决于你的硬件.数据量和集群的规模.本节将对此进行一种指南式的描述.你可能需要根据自己的具体环境对这些设置值进

阿里云E-MapReduce Hadoop MapReduce 作业配置

1.登录阿里云 E-MapReduce 控制台作业列表. 2.单击该页右上角的创建作业,进入创建作业页面. 3.填写作业名称. 4.选择 Hadoop 作业类型.表示创建的作业是一个 Hadoop Mapreduce 作业.这种类型的作业,其后台实际上是通过以下的方式提交的 Hadoop 作业. hadoop jar xxx.jar [MainClass] -Dxxx .... 5.在应用参数中填写提交该 job 需要提供的命令行参数.这里需要说明的是,这个选项框中需要填写的内容从 hadoop

一文读懂Hadoop、HBase、Hive、Spark分布式系统架构

机器学习.数据挖掘等各种大数据处理都离不开各种开源分布式系统,hadoop用户分布式存储和map-reduce计算,spark用于分布式机器学习,hive是分布式数据库,hbase是分布式kv系统,看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理,本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系 本文结构 首先,我们来分别部署一套hadoop.hbase.hive.spark,在讲解部署方法过程中会特殊说明一些重要配置,以及一些架构图以帮我们理解,

Ganglia监控Hadoop与HBase集群

以下基于上篇Hadoop2.6与HBase1.0集群架构: http://lizhenliang.blog.51cto.com/7876557/1665130 http://lizhenliang.blog.51cto.com/7876557/1661354  Hadoop集群基本部署完成,接下来就需要有一个监控系统,能及时发现性能瓶颈,给故障排除提供有力依据.监控hadoop集群系统好用的比较少,自身感觉ambari比较好用,但不能监控已有的集群环境,挺悲催的.ganglia在网上看到原生支持

【Big Data】HADOOP集群的配置(一)

                       Hadoop集群的配置(一) 1.    实验准备 1.1    目的: 在虚拟机环境下,让同学们学会从零开始配置Hadoop-2.2集群,并尝试在真实环境下搭建集群. 1.2    主要内容: 物理机器总共4台,想配置基于物理机的Hadoop集群中包括4个节点: 1 个 Master, 3个 Salve ,节点之间局域网连接,可以相互 ping通.IP的分布如表1所示.             表1        4个节点的IP地址分配及角色 Ma

《Hadoop MapReduce性能优化》一2.1 研究Hadoop参数

2.1 研究Hadoop参数 Hadoop MapReduce性能优化 正如第1章中提到的那样,有很多因素会对Hadoop MapReduce性能产生影响.一般说来,与工作负载相关的Hadoop性能优化需要关注以下3个主要方面:系统硬件.系统软件,以及Hadoop基础设施组件的配置和调优/优化. 需要指出的是,Hadoop被归类为高扩展性解决方案,但却不足以归类为高性能集群解决方案.系统管理员可以通过各种配置选项来配置和调优Hadoop集群.性能配置参数主要关注CPU利用率.内存占用情况.磁盘I

计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍

计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍 计算: 以一个最简单Hadoop集群来计算,需要两个头节点(Namenode)和两个数据节点(Datanode)以及3个Zookeeper结点,这样算下来每小时要5.44+2.72*2+0*3=10.88RMB,每天需要10.88*24=261.12RMB,每个月需要261.12*30=7833.6RMB,这是最低配置!   如果我们还需要HBase,那么最低配置7833.6+(5.44+2.72

《Hadoop MapReduce实战手册》一导读

前 言 Hadoop MapReduce实战手册 本书目标是帮助读者学会处理大型的复杂数据集.本书虽从简单的例子开始,但仍然可以看到深入的内容.这是一本简单的一站式指南,传授如何完成复杂的事情.它以一种简单而直接的方式呈现了90个攻略,给出了一步步的指导和真实环境的应用示例. 本产品包括在Apache软件基金会(http://www.apache.org/)开发的软件. 本书涵盖的内容 第1章解释了如何以单点模式以及集群模式安装和运行Hadoop. 第2章介绍了一套高级的HDFS操作,在处理大规

《Hadoop MapReduce实战手册》一1.8 在分布式集群环境中设置Hadoop

1.8 在分布式集群环境中设置Hadoop Hadoop MapReduce实战手册 Hadoop的部署包括一套HDFS.一个JobTracker和多个TaskTracker.在1.5节中,我们讨论了HDFS的部署.为了设置Hadoop,我们需要配置JobTracker和TaskTracker,然后在HADOOP_ HOME/conf/slaves文件中指定TaskTracker列表.当我们启动JobTracker时,它会启动相应的TaskTracker节点列表.图1-5描述了一套完整的Hado