Hadoop部署小脚本分享

  最近抛弃非ssh连接的">Hadoop集群部署方式了,还是回到了用ssh key 验证的方式上了。这里面就有些麻烦,每台机器都要上传公钥。恰恰我又是个很懒的人,所以写几个小脚本完成,只要在一台机器上面就可以做公钥的分发了。

  首先是生成ssh key脚本

  #!/bin/sh

  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

  ssh-keygen一般来说需要输入passphrase,但是一般都是三个回车过去了,我懒的输入,加上-P ''就不用了。

  然后是添加公钥到从节点的脚本

  #!/bin/sh

  read -p "输入远端服务器IP: " ip

  ssh-copy-id -o StrictHostKeyChecking=no -i ~/.ssh/id_rsa.pub root@$ip

  ssh root@$ip 'sed -i "s/^#RSAAuthentication\ yes/RSAAuthentication\ yes/g" /etc/ssh/sshd_config'

  ssh root@$ip 'sed -i "s/^#PubkeyAuthentication\ yes/PubkeyAuthentication yes/g" /etc/ssh/sshd_config'

  ssh root@$ip 'sed -i "s/^#PermitRootLogin\ yes/PermitRootLogin\ yes/g" /etc/ssh/sshd_config'

  ssh root@$ip 'service sshd restart'

  hostname=`ssh root@${ip} 'hostname'`

  echo "添加主机名和IP到本地/etc/hosts文件中"

  echo "$ip    $hostname" >> /etc/hosts

  echo "远端主机主机名称为$hostname, 请查看 /etc/hosts 确保该主机名和IP添加到主机列表文件中"

  echo "主机公钥复制完成"

  然后是第三个脚本读取主机列表然后把/etc/hosts复制到所有主机上

  #!/bin/sh

  cat /etc/hosts | while read LINE

  do

  ip=`echo $LINE | awk '{print $1}' | grep -v "::" | grep -v "127.0.0.1"`

  echo "Copying /etc/hosts to ${ip}"

  scp -o StrictHostKeyChecking=no /etc/hosts root@${ip}:/etc/

  done

时间: 2024-09-07 06:32:19

Hadoop部署小脚本分享的相关文章

Linux下实现SSH免密码登录和实现秘钥的管理、分发、部署SHELL脚本分享_linux shell

环境: ssh server: 192.168.100.29  server.example.com ssh client: 192.168.100.30  client.example.com 通过root用户建立秘钥认证实现SHELL脚本管理,分发,部署 首先client端创建秘钥对,并将公钥分发给需要登录的SSH服务端 注:公钥相当于锁,私钥相当于钥匙,我们这里相当于在客户端创建一对钥匙和锁,想要做到SSH免密码登录,就相当于我们将锁分发到服务端并装锁,然后客户端就可以利用钥匙开锁. 一.

linux中haproxy部署shell脚本分享

 最近为了测试haproxy的负载均衡,打算搭建几台haproxy测试机,但我又懒想直接用脚本搭建起就可以使用,以后要测试的时候,也可以直接就用脚本搞定.下面来看脚本吧. cat /root/soft_shell/haproxy_install.sh #!/bin/bash #install haproxy #20160224 by rocdk890   #variables dir=/usr/local ha_dir=${dir}/haproxy ha_cfg=${ha_dir}/conf/h

Hadoop部署常用的小脚本

最近抛弃非ssh连接的http://www.aliyun.com/zixun/aggregation/14119.html">Hadoop集群部署方式了,还是回到了用ssh key 验证的方式上了.这里面就有些麻烦,每台机器都要上传公钥.恰恰我又是个很懒的人,所以写几个小脚本完成,只要在一台机器上面就可以做公钥的分发了. 首先是生成ssh key脚本: ssh-keygen一般来说需要输入passphrase,但是一般都是三个回车过去了,我懒的输入,加上-P ''就不用了. 然后是添加公钥

Python访问纯真IP数据库脚本分享

  这篇文章主要介绍了Python访问纯真IP数据库脚本分享,本文直接给出实现代码,需要的朋友可以参考下 项目中有这样的需求,通过IP地址判断客户端是网通的还是电信的.从同事那拿了个纯文本的IP纯真数据库,用Python写了一个小程序,感觉挺好的.下面给出实现源码: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 #!/

用于统计项目中代码总行数的Python脚本分享

  这篇文章主要介绍了用于统计项目中代码总行数的Python脚本分享,本文直接给出实现代码,需要的朋友可以参考下 最近需要统计一下项目中代码的总行数,写了一个Python小程序,不得不说Python是多么的简洁,如果用Java写至少是现在代码的2倍. [code] import os path="/Users/rony/workspace/ecommerce/ecommerce/hot-deploy/" global totalcount totalcount =0 def cfile

BAT批处理一键生成APK包脚本分享_DOS/BAT

BAT批处理一键生成APK包脚本分享 将本bat放到cocos2dx目录下你的工程的project.android下(需修改变量). ASmaker 用来将Resources文件夹下的lua文件批量加密 算法参考我之前的rc4算法实现. 每次打包apk前 svn 最新的工程代码 和 cocos2dx引擎代码. @echo off rem 工具路径 set JAVA_HOME = "C:\Program Files\Java\jdk1.8.0_05" set ANT_HOME = &qu

漫谈大数据之Hadoop部署前的思考

Hadoop的应用前提是"数据是有价值的!",当然,这一点已经得到了几乎所有人的认可,并且在实际环境中,也都是这样在做的,我们都希望从系统日志,网络数据,社交信息等海量数据中发掘出有价值的信息,比如,用户的行为,习惯等,而这些是做下一步市场营销的有效决策依据.在Hadoop出现后,对于数据的发掘更是体现的淋漓尽致,尤其是从知名的互联网公司开始,都已经在使用或部署Hadoop环境. 面对如此诱惑,很多传统的企业用户都想参考互联网企业的做法,非常快速的部署Hadoop,从而快速整合和发掘既

Hadoop上小文件存储处理

Hadoop–小文件存储处理 本篇文章项目是Cloudera论坛中无意中看到的,虽然原文写于2009年,但是当前开来Hadoop的小文件存储方案并没有很好的解决方案,所以感觉作者写的很好,也很详细,于是就抽空翻译了.本次翻译主要针对对Hadoop感兴趣和工作中使用到Hadoop的开发人员提供有价值的中文资料,希望能够对大家的工作和学习有所帮助. 由于我英语水平有限,部分翻译虽能了解其大意,但是却没法很好的表达出来,所以有些地方翻译的不是很好.同时也由于能力见识有限,翻译过程中难免出现个人的主观或

注释PHP和html混合代码的小技巧(分享)

我们在写php的时候有时候会遇到想要注释一部分的代码,是由html和PHP混合组成的,这时候如果一行一行去分开注释有点麻烦.但是又不敢删掉,这时候我们可以充分利用if语句去进行注释的功能 <?php if (1==2):?> //代码片段 <?php endif;?> 以上就是小编为大家带来的注释PHP和html混合代码的小技巧(分享)全部内容了,希望大家多多支持脚本之家~