ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉

今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点卡,那这里主要说说伪分布式的集群,正式版的集群需要3台机子,我就一带而过说一说,搭建起来也是非常简单的

先来说说Zookeeper

什么是Zookeeper呢,顾名思义,动物园管理员嘛,什么hadoop大象啦,hive蜜蜂啦,pig小猪啦,都是用这货来管的,就是大数据Hadoop里面的嘛~

(题外话:知道孙越嘛,就是说相声捧哏那位,岳云鹏的搭档,哈哈哈,散养,说笑了)

主要用法

1、集群管理

提供主从的管理、负载均衡、实现高可用(HA)管理;

集群的代理层面,作为入口(redis集群搭建是不需要zk,就没有入口这一说法,redis-cli随便访问那个IP就行)

Zookeeper必须是集群才能保证高可用Zookeeper有选举和投票的机制。集群中至少应该有三个节点。为啥是3个节点呢,如果有一台机子宕机了,机制是选取一半以上的,如果是两台,那么就不行了,所以至少3台

2、对文件进行集中管理,进行统一配置

举个栗子:solr集群搭建的时候,需要把Solr的配置文件上传到zk,让zk来统一管理,每个节点都到zk上取配置文件(后面的文章会将一下solr集群的搭建)

3、分布式锁 (hadoop处理大数据的时候需要用到,一般集群中不需要用到,就不细说了)

集群需要的服务器

Zookeeper:3台(伪分布式1台即可)

如下图,第一台作为伪分布式,下面3台作为正式的集群

集群搭建步骤:

1、安装jdk,这个必须要安装,zk是hadoop的,都是基于jdk的,用jdk7

2、zookeeper的安装包上传到服务器

解压

创建文件夹

把解压的复制到这个文件夹下

(集群中只要复制一份就行了)

创建数据文件,并且创建myid,写入1(zk02对应“2”,zk03对应“3”)

(集群中也是如此)

进入conf文件,把zoo_sample.cfg复制并且文件改名为zoo.cfg

修改zoo.cfg,把dataDir=属性指定为刚创建的data文件夹

修改端口(伪分布式由于相同IP,必须更改,集群不需要)

配置好后就可以启动了

Zookeeper下有一个bin,zkServer.sh启动zookeeper

这是伪分布式下的3个节点,其中一个主,2个从

集群中同样如此,1个主,2个从,OK,配置完毕,明天咱们讲讲solr集群 的搭建,好好玩的搜索服务噢~

(微信公众号:wxleechenxiang)

时间: 2024-11-13 08:47:42

ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务的相关文章

大数据-hadoop伪分布式环境搭建

问题描述 hadoop伪分布式环境搭建 最近开始新学hadoop,想搭建个伪分布式环境,而自己的电脑配置不高,不能运行虚拟机,可以利用阿里云来搭建伪分布式运行环境吗? 解决方案 阿里云搞几台机器在一个局域网就可以搭建或者用单机模式 解决方案二: 嗯,单机模式是不是不用装虚拟机

Hadoop 2.x伪分布式环境搭建详细步骤_数据库其它

本文以图文结合的方式详细介绍了Hadoop 2.x伪分布式环境搭建的全过程,供大家参考,具体内容如下 1.修改hadoop-env.sh.yarn-env.sh.mapred-env.sh 方法:使用notepad++(beifeng用户)打开这三个文件 添加代码:export JAVA_HOME=/opt/modules/jdk1.7.0_67 2.修改core-site.xml.hdfs-site.xml.yarn-site.xml.mapred-site.xml配置文件 1)修改core-

hadoop伪分布式集群搭建与安装(ubuntu系统)

1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip;  2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链接成功了: 3:修改主机的名称vi /etc/hostname和域名和主机映射对应的关系 vi /etc/hosts,改过之后即生效,自己可以ping一下,我这里ip对应master,比如ping master之后发现可以ping通即可: (centos操作系统修改主机名命令:vi /etc/sy

配置单节点伪分布式Hadoop

先写的这一篇,很多东西没再重复写. 一.所需软件 jdk和ubuntu都是32位的. 二.安装JDK 1.建jdk文件夹 cd usr sudo mkdir javajdk 2.移动mv或者复制cp安装包 //进入桌面 cd home/hxsyl/DeskTop sudo mv /usr/javajdk 3.安装 //切换到root下 //如果忘记密码,先 sudo passwd //直接会让你输入新密码,不需要输入原来的密码 //到jdk目录下 ./jdk-6u30-linux-i586.bi

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系

HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,HBase的安装到数据库表的操作.包含内容1.HBase单例安装2.HBase伪分布式安装(基于Hadoop的HDFS)过程,3.HBase的shell编程,对HBase表的创建,删除等的命令,HBase对数据的增删查等操作.4.简单概述了Hbase的架构体系.5.zookeeper的单例安装和常用操

zookeeper(三)--- 搭建zookeeper集群

  zookeeper(三)--- 搭建zookeeper集群          环境         vagrant虚拟机         centos7         SecureCRT      软件         zookeeper3.4.6.tar.gz        步骤         1.使用vagrant创建3个虚拟机         IP地址:192.168.21.222,192.168.21.223,192.168.22.224         2.使用SecureCR

hadoop +hbase +zookeeper 完全分布搭建 (版本二

这里有几个主要关系: 1.经过Map.Reduce运算后产生的结果看上去是被写入到HBase了,但是其实HBase中HLog和StoreFile中的文件在进行flush to disk操作时,这两个文件存储到了HDFS的DataNode中,HDFS才是永久存储. 2.ZooKeeper跟Hadoop Core.HBase有什么关系呢?ZooKeeper都提供了哪些服务呢?主要有:管理Hadoop集群中的NameNode,HBase中HBaseMaster的选举,Servers之间状态同步等.具体

zookeeper安装与搭建问题

问题描述 zookeeper安装与搭建问题 操作系统: Red Hat Enterprise Linux AS release 4 (Nahant Update 3) zookeeper 3.4.5 jdk 1.6.0_27 三个机器,zookeeper zoo.cfg已经配置好 tickTime=2000 dataDir=/var/zookeeper/ clientPort=2180 initLimit=5 syncLimit=2 server.0=ip1:2888:3888 server.1

Zookeeper,etcd,consul内部机制和分布式锁和选主实现的比较

我的另外3篇文章分别介绍了Zookeeper,etcd,consul是如何实现分布式锁和选主的.本文想比较一下Zookeeper.etcd.consul内部机制有哪些不同,他们实现锁和选主的方式相同和不同. Zookeeper提供了临时节点,sequence,和变更通知.利用Zookeeper的这3个特性实现了按照sequence的顺序依次获取锁和成为主. etcd没有临时节点的概念,但是通过租约的方式提供了类似的功能.etcd没有sequence的概念,但是提供了全局递增的序列号revisio