文章目录
大数据 之 Zookeeper
一、Zookeeper 入门
1、Zookeeper 概述
-
Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目。
-
Zookeeper 从设计模式角度来理解,是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生了变化,Zookeeper就负责通知已经在Zookeeper上注册的那些观察者做出相应的反应.
Zookeeper = 文件系统 + 通知机制
1.2 特点
1.3 数据结构
1.4 应用场景
提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。
1.5 下载地址
1)官网首页:
https://zookeeper.apache.org/
2)下载截图
二 、Zookeeper 安装
2.1 本地模式安装部署
1)安装前准备
(1)安装Jdk
(2)拷贝Zookeeper安装包到Linux系统下
(3)解压到指定目录
[xiaoxq@hadoop105 software]$ tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/
2)配置修改
(1)将/opt/module/zookeeper-3.5.7/conf这个路径下的zoo_sample.cfg修改为zoo.cfg;
[xiaoxq@hadoop105 conf]$ mv zoo_sample.cfg zoo.cfg
(2)打开 zoo.cfg 文件,修改 dataDir 路径:
[xiaoxq@hadoop105 zookeeper-3.5.7]$ vim zoo.cfg
修改如下内容:
dataDir=/opt/module/zookeeper-3.5.7/zkData
(3)在/opt/module/zookeeper-3.5.7/这个目录上创建zkData文件夹
[xiaoxq@hadoop105 zookeeper-3.5.7]$ mkdir zkData
(4)在/etc/profile.d/my_evn.sh文件内添加ZOOKEEPER_HOME环境变量
[xiaoxq@hadoop105 profile.d]$ sudo vim my_evn.sh
#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZOOKEEPER_HOME/bin
3)操作 Zookeeper
(1)启动 Zookeeper
[xiaoxq@hadoop105 zookeeper-3.5.7]$ bin/zkServer.sh start
(2)查看进程是否启动
[xiaoxq@hadoop105 zookeeper-3.5.7]$ jps
4928 QuorumPeerMain
4970 Jps
(3)查看状态:
[xiaoxq@hadoop105 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: standalone
(4)启动客户端:
[xiaoxq@hadoop105 zookeeper-3.5.7]$ bin/zkCli.sh
注意:当配置了集群后,单点启动hadoop的服务端和客户端会出问题;
解决方法:修改配置文件中的文件(注释掉)或者启动集群的全部的服务端,使其进入集群状态
(5)退出客户端:
[zk: localhost:2181(CONNECTED) 0] quit
(6)停止 Zookeeper
[xiaoxq@hadoop105 zookeeper-3.5.7]$ bin/zkServer.sh stop
2.2 配置参数解读
Zookeeper 中的配置文件 zoo.cfg 中参数含义解读如下:
1)tickTime =2000 通信心跳数,Zookeeper 服务器与客户端心跳时间,单位毫秒
-
Zookeeper 使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime
时间就会发送一个心跳,时间单位为毫秒。 -
它用于心跳机制,并且设置最小的 session 超时时间为两倍心跳时间。( session 的最小超时时间是 2*tickTime)
2)initLimit =10:LF初始通信时限
- 集群中的 Follower 跟随者服务器与 Leader 领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的
Zookeeper 服务器连接到 Leader 的时限。
3)syncLimit =5:LF 同步通信时限
- 集群中 Leader 与 Follower 之间的最大响应时间单位,假如响应超过 syncLimit * tickTime,Leader
认为 Follwer 死掉,从服务器列表中删除 Follwer。
4)dataDir:数据文件目录+数据持久化路径
- 主要用于保存 Zookeeper 中的数据。
5)clientPort =2181:客户端连接端口
- 监听客户端连接的端口。