Hadoop大象之旅003-配置CentOS操作系统

Hadoop大象之旅003-配置CentOS操作系统

                                                               老帅

   上一章中,我们已经在VMWare虚拟机中安装好了CentOS操作系统,为了后面即将安装的Hadoop能够正常运行,还需要对CentOS操作系统进行相关的配置。

 

1.激活CentOS网卡    

    在虚拟机中安装完CentOS系统之后,在CentOS桌面右上角网络连接的图标是无效的;在命令行中执行ifconfig也看不到IP地址;这是因为在安装CentOS操作系统过程中,网卡没有被激活。所以首先我们要激活CentOS的网卡。

    执行下面的命令来打开并编辑网卡配置文件:

 

    vi/etc/sysconfig/network-scripts/ifcfg-eth0;

    打开配置文件,看到如下图所示内容;
    按下  i        键,进入文件编辑状态,将ONBOOT=no,修改为ONBOOT=yes;
    按下  esc     键,退出文件编辑状态;
    按下  shif:  组合键,进入命令行状态,输入命令wq,保存并退出;  

             

    修改完成并保存退出后,立刻可以看到,在CentOS桌面右上角网络连接的图标变成有效的。

 

2. 设置CentOS静态IP地址

    为了使宿主Window7操作系统和虚拟机中的CentOS操作系统能互相访问,必须使两者的IP地址在同一个网段;为了避免每次重启虚拟机后IP地址都发生变化,需要指定一个固定不变的静态IP地址。

    安装完虚拟机VMWare软件后,在Window7下会多出两块虚拟网卡,如下图所示:    

    

    我们这里操作VMnet1虚拟网卡,为它指定一个固定不变的静态IP地址,如下图所示:

        

    点击“确定”按钮以后,在Window7命令行中,就能ping到这个IP地址了,也就是说Window7已经可以和虚拟网卡VMnet1通信了;但我们最终是要和虚拟机中的CentOS系统通信,所以VMnet1要和CentOS在同一个网段。有两种方法可以完成这个目标;

 

    方法1:执行下面的命令来设置CentOS的静态IP地址

 

    vi/etc/sysconfig/network-scripts/ifcfg-eth0;

 

    打开配置文件,看到如下图所示内容;
    按下  i        键,进入文件编辑状态,将内容改为如下图所示;
    按下  esc     键,退出文件编辑状态;
    按下  shif:  组合键,进入命令行状态,输入命令wq,保存并退出;

 

    执行命令使网络设置生效: service network restart

  

    

    方法2:通过桌面右上角网络连接的右键菜单命令来设置静态IP

    

     

     点击“编辑连接”菜单后,显示如下窗口

     

     点击编辑按钮,显示如下窗口,修改为手动方式,并指定一个固定IP即可

     

     通过使用以上的方法进行设置后,CentOS的IP地址是192.168.253.66,VMnet虚拟网卡的IP地址是192.168.253.1,两者就在同一个网段了;此时,在Window7命令行中,就能ping到CentOS的IP地址了,也就是说Window7已经可以CentOS通信了。

 

3.修改主机名

    为了更好的识别主机,需要给主机设置一个有意义的名字。

    使用如下命令来修改主机名称

  

    vi/etc/sysconfig/network   

    设置完成后,重启使其生效:reboot -h now

    执行命令hostname 查看一下主机名

    

    

 

4. 设置DNS解析,绑定主机名和IP

     一般我们访问一台电脑是通过IP地址,当然也可以通过主机名,如果IP地址是动态分配的,则使用主机名访问电脑,就更稳定。通过以下方法来进行绑定。

 

    vi/etc/hosts;

    打开配置文件,看到如下图所示内容;
    按下  i        键,进入文件编辑状态 ;

    增加一行:192.168.253.66 hadoop001
    按下  esc     键,退出文件编辑状态;
    按下  shif:  组合键,进入命令行状态,输入命令wq,保存并退出;

    验证:使用命令ping hadoop001

    

       

 

5.关闭防火墙

    为了使多个hadoop主机之间正常的通信,需要关闭防火墙。

    使用如下命令来关闭IP防火墙  

    serviceiptables stop

    验证:serviceiptables status 

    结果如下图所示

    

 

    这个时候虽然关闭了IP防火墙,但是它其实是个服务,可能处于自动启动状态,下次启动电脑时就会再次启动,需要关闭其自动启动状态。我们通过下面这个命令查看服务的启动状态。

    chkconfig--list | grep iptables

    

    我们需要彻底关闭防火墙,避免后顾之忧,使用如下命令关闭防火墙

    chkconfigiptables off

    验证一下,我们再次通过下面这个命令查看服务的启动状态。

    chkconfig--list | grep iptables

    

 

6.设置SSH(Secure Shell)

    因为最终hadoop是集群,集群中有很多电脑,每次电脑间互相访问如果都输入用户名和密码很麻烦。我们可以通过使用SSH安全连接的方式建立电脑间的连接。

    执行如下命令,在~/.ssh文件夹中生成rsa私钥和公钥

    ssh-keygen-t rsa

    使用如下命令,查看一下生成的秘钥

    ls~/.ssh

    

    因为ssh在验证的时候,读取的是authorized-keys文件,所以我们复制一份公钥到这个文件中
    执行如下命令,将公钥复制到到改文件中

    cp~/.ssh/id_rs.pub ~/.ssh/authorized_keys

    验证一下:

    sshlocalhost

    当第一次使用ssh登录远程主机时,会出现没有找到主机密钥的提示信息。输入"yes"后,系统会将远程主机的密钥加入到主目录下的.ssh/known_hosts中,这样你就可以继续操作了。

    至此,我们的CentOS操作系统配置完毕,后面就可以安装Hadhoop环境了。

时间: 2024-08-02 18:17:00

Hadoop大象之旅003-配置CentOS操作系统的相关文章

Hadoop大象之旅002-安装CentOS操作系统

Hadoop大象之旅002-安装CentOS操作系统                                   老帅    上一章中,我们已经准备好了VMWare虚拟机环境,这一章,我们就在虚拟机中安装操作系统.由于Hadoop环境是建立在Linux系统下,所以需要在VMWare中虚拟一个Linux系统,这次采用的Linux系统为CentOS6.5.大家可以在CentOS官网http://www.centos.org/中下载到.   有了CentOS软件包以后,接下来就开始在VMwar

Hadoop大象之旅006-安装Hadoop环境

Hadoop大象之旅006-安装Hadoop环境                                                                老帅     我们的硬件电脑上跑的是Windows7x64,并且在Windows7安装好了VMWare10虚拟机,VMWare中也安装配置了CentOS6.5操作系统,CentOS中也已经安装配置了jdk1.6.0_45,并也准备好了连接CentOS的工具软件SecureCrSecureFx.     万事具备,应该安装H

Hadoop大象之旅007-配置Hadoop伪分布模式

Hadoop大象之旅007-配置Hadoop伪分布模式                                                          老帅    安装hadoop分为本地模式.伪分布模式.集群模式.本地模式是运行在本地,只负责存储,没有计算功能.伪分布模式是在一台机器上模拟分布式部署,方便学习和调试.集群模式是在多个机器上配置hadoop,是真正的"分布式".    伪分布模式是在一台单机上运行,但用不同的 Java 进程模仿分布式运行中的各类结点

Hadoop大象之旅001-安装VMware虚拟机

Hadoop大象之旅001-安装VMware虚拟机                                                   老帅    VMware虚拟机允许一台真实的电脑在一个操作系统中同时开启并运行数个操作系统,我的操作系统是Windows7x64,而Hadoop需要运行在Linux系统上.我们就需要在Windows7上安装VMWare虚拟机软件,再把Linux操作系统安装在VMWare中,虚拟出一个操作系统作为我们的Hadoop环境.我们这里使用VMWare10

Hadoop大象之旅008-启动与关闭Hadoop

Hadoop大象之旅008-启动与关闭Hadoop                                                         老帅    Hadoop是一个运行在Linux文件系统上的分布式文件系统,在使用之前需要启动.   1.Hadoop的启动命令存储位置 参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS; 使用命令"cd/usr/local/hadoop"或者"cd $HADOOP_HOME&q

Hadoop大象之旅005-安装JDK环境

Hadoop大象之旅005-安装JDK环境                                             老帅     由于Hadoop 需要运行在JAVA平台,所以我们还需要在CentOS中安装java的环境,在这里,我们选择java的版本是jdk-6u45-linux-i586.bin:   1.将JDK文件上传到CentOS中 参照前面章节中所述方法,使用SecureFXPortable.exe在CentOS中建立/usr/local文件夹,将jdk-6u45-l

Hadoop大象之旅009-通过Shell操作hdfs

Hadoop大象之旅009-通过Shell操作hdfs                                                                老帅 调用Hadoop分布式文件系统(HDFS)Shell命令应使用bin/hadoop fs <args>的形式.   1.查看hdfs都有哪些Shell命令 参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS; 使用命令"hadoopfs"查看hdfs的命

Hadoop大象之旅010-使用eclipse查看hadoop源码

Hadoop大象之旅010-使用eclipse查看hadoop源码                                                                老帅 我这使用的是hadoop-1.1.2.tar.gz,这个文件可以在下面地址下载到: 官方地址:http://archive.apache.org/dist/hadoop/core/hadoop-1.1.2/   1.将hadoop-1.1.2.tar.gz解压缩 文件夹结构如下所示:   2.在My

一脸懵逼学习基于CentOs的Hadoop集群安装与配置(三台机器跑集群)

1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构.  注意:HADOOP的核心组件有: 1)HDFS(分布式文件系统) 2)YARN(运算资源调度系统) 3)MAPREDUCE(分布式运算编程框架)       Hadoop 中的分布式文件系统 HDFS 由一个管理结点 ( NameNode