问题描述
Hadoop的下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/core/版本：hadoop0.17.1JDK的安装：要求必须安装jdk1.5.07以上的版本。分步式环境的搭建：1、硬件环境我们采用了3台机器来构建,都安装的是RedHat4.1.2-42系统，并且都有一个名为“mingjie“的帐号，如下：主机名称：hdfs1ip:192.168.0.221功能：NameNode,JobTracker主机名称：hdfs2ip:192.168.0.227功能：DataNode,TaskTracker主机名称：hdfs3ip:192.168.0.228功能：DataNode,TaskTracker重点：修改3台机器的/etc/hosts,让彼此的主机名称和ip都能顺利解析127.0.0.1localhost192.168.0.37hdfs1192.168.0.43hdfs2192.168.0.53hdfs32、每台机器都要安装java环境，我们的路径统一为“/opt/modules/jdk1.6“,并添加到系统环境变量sudovi/etc/profileJAVA_HOME=/opt/modules/jdk1.6PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/binCLASSPATH=$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jarexportJAVA_HOME3、下载hadoop0.17.1，将hadoop解压到/home/mingjie/,建议最好也将hadoop的目录添加到环境变量里面去:HADOOP_HOME=/home/mingjie/hadoop-0.17.1#这是hadoop的主目录exportHADOOP_HOMEHADOOP_CONF_DIR=$HADOOP_HOME/conf#这是hadoop的配置文件目录exportHADOOP_CONF_DIRHADOOP_LOG_DIR=/home/mingjie/hadoop-0.17.1/log＃存放运行日志目录exportHADOOP_LOG_DIRexportPATH=$PATH:$HADOOP_HOME/bin4、安装ssh,并生成公钥和私钥运行ssh-keygen-trsa，根据屏幕提示直接选择“回车”会在用户目录~/.ssh/产生两个文件，id_rsa，id_rsa.pubcat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys以上配置完成后，执行一下sshlocalhsot,确认你的每台机器都可以使用ssh5、将master服务器上的authorized_keys的内容加到slave两台机器的authorized_keys文件中。让master也可以不需要密码访问2台slave服务器。sudoscpauthorized_keyshdfs2:/home/mingjie/.ssh/sudoscpauthorized_keyshdfs3:/home/mingjie/.ssh/sshhdfs2sshhdfs36、接下来，我们要修改hadoop的[conf/masters]、[conf/slaves]这2个文件：Master设置(<HADOOP_HOME>/conf/masters):hdfs1Slave设置(<HADOOP_HOME>/conf/slaves):hdfs2hdfs37、修改［conf/hadoop-env.sh］：exportJAVA_HOME=/opt/jdk1.6.0_038、修改［conf/hadoop-site.xml],这里只是几个常用的属性配置，有关hadoop的性能优化调整，需要研究hadoop-default.xml:<configuration><property><name>fs.default.name</name>//你的namenode的配置，机器名加端口<value>hdfs://hdfs1:54310/</value></property><property><name>mapred.job.tracker</name>//你的JobTracker的配置，机器名加端口<value>hdfs://hdfs1:54311</value></property><property><name>dfs.replication</name>//数据需要备份的数量，默认是三<value>1</value></property><property><name>hadoop.tmp.dir</name>//Hadoop的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。<value>/home/mingjie/hadoop-0.17.1/tmp/</value></property><property><name>mapred.child.java.opts</name>//java虚拟机的一些参数可以参照配置<value>-Xmx512m</value></property><property><name>dfs.block.size</name>//block的大小，单位字节，后面会提到用处，必须是512的倍数，因为采用crc作文件完整性校验，默认配置512是checksum的最小单元。<value>5120000</value><description>Thedefaultblocksizefornewfiles.</description></property></configuration>9、然后将hadoop的整体环境拷贝到hdfs2、hdfs3上面去scp-r/home/mingjie/hadoop.0.17.1hdfs2:/home/mingjie/hadoop.0.17.1scp-r/home/mingjie/hadoop.0.17.1hdfs3:/home/mingjie/hadoop.0.17.110、在hdfs1这个namenode上面格式化一个新的分布式文件系统HDFS，就是hadoop-site.xml文件中指定的hadoop.tmp.dir路径<HADOOP_HOME>/bin/hadoopnamenode–format到此大致上就完成了hadoop环境布署启动hadoop：<HADOOP_HOME>/bin/start-all.sh停止hadoop：<HADOOP_HOME>/bin/stop-all.sh说明：(1)执行启动Hadoop进程后，在master服务器会启动3个java进程,分别的NameNode,SecondNameNode,JobTracker,在LOG目录下会产生2个文件，分别对应NameNode的运行日志和JobTracker的运行日志，在slave服务器会启动2个java进程，分别为DataNode,TaskTracker，,在LOG目录下会产生2个文件，分别对应DataNode的运行日志和TaskTracker的运行日志，可以通过查看日志分析hadoop的启动是否正确。(2)通过IE浏览分布式文件系统中的文件访问http://hdfs1:50030可以查看JobTracker的运行状态。访问http://360quan-1:50060可以查看TaskTracker的运行状态。访问http://360quan-1:50070可以查看NameNode以及整个分布式文件系统的状态。
解决方案
解决方案二：
楼主辛苦了，够了吧
解决方案三：
挺好的，支持搬运：）
解决方案四：
挺好的，支持搬运!
解决方案五：
谢谢你，学习了