淘先锋技术网

首页 1 2 3 4 5 6 7

大数据 之 Zookeeper

一、Zookeeper 入门

1、Zookeeper 概述

  • Zookeeper 是一个开源的分布式的,为分布式应用提供协调服务的 Apache 项目。

  • Zookeeper 从设计模式角度来理解,是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生了变化,Zookeeper就负责通知已经在Zookeeper上注册的那些观察者做出相应的反应.

Zookeeper = 文件系统 + 通知机制

在这里插入图片描述

1.2 特点

在这里插入图片描述

1.3 数据结构

在这里插入图片描述

1.4 应用场景

​ 提供的服务包括:统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

1.5 下载地址

1)官网首页:

https://zookeeper.apache.org/

2)下载截图

在这里插入图片描述

在这里插入图片描述

二 、Zookeeper 安装

2.1 本地模式安装部署

1)安装前准备

(1)安装Jdk

(2)拷贝Zookeeper安装包到Linux系统下

(3)解压到指定目录

[xiaoxq@hadoop105 software]$ tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/

2)配置修改

(1)将/opt/module/zookeeper-3.5.7/conf这个路径下的zoo_sample.cfg修改为zoo.cfg;

[xiaoxq@hadoop105 conf]$ mv zoo_sample.cfg zoo.cfg

(2)打开 zoo.cfg 文件,修改 dataDir 路径:

[xiaoxq@hadoop105 zookeeper-3.5.7]$ vim zoo.cfg

修改如下内容:

dataDir=/opt/module/zookeeper-3.5.7/zkData

(3)在/opt/module/zookeeper-3.5.7/这个目录上创建zkData文件夹

[xiaoxq@hadoop105 zookeeper-3.5.7]$ mkdir zkData

(4)在/etc/profile.d/my_evn.sh文件内添加ZOOKEEPER_HOME环境变量

[xiaoxq@hadoop105 profile.d]$ sudo vim my_evn.sh

#ZOOKEEPER_HOME
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZOOKEEPER_HOME/bin

3)操作 Zookeeper

(1)启动 Zookeeper

[xiaoxq@hadoop105 zookeeper-3.5.7]$ bin/zkServer.sh start

(2)查看进程是否启动

[xiaoxq@hadoop105 zookeeper-3.5.7]$ jps
4928 QuorumPeerMain
4970 Jps

(3)查看状态:

[xiaoxq@hadoop105 zookeeper-3.5.7]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
Mode: standalone

(4)启动客户端:

[xiaoxq@hadoop105 zookeeper-3.5.7]$ bin/zkCli.sh

注意:当配置了集群后,单点启动hadoop的服务端和客户端会出问题;

解决方法:修改配置文件中的文件(注释掉)或者启动集群的全部的服务端,使其进入集群状态

(5)退出客户端:

[zk: localhost:2181(CONNECTED) 0] quit

(6)停止 Zookeeper

[xiaoxq@hadoop105 zookeeper-3.5.7]$ bin/zkServer.sh stop

2.2 配置参数解读

在这里插入图片描述

Zookeeper 中的配置文件 zoo.cfg 中参数含义解读如下:

1)tickTime =2000 通信心跳数,Zookeeper 服务器与客户端心跳时间,单位毫秒

  • Zookeeper 使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime
    时间就会发送一个心跳,时间单位为毫秒。

  • 它用于心跳机制,并且设置最小的 session 超时时间为两倍心跳时间。( session 的最小超时时间是 2*tickTime)

2)initLimit =10:LF初始通信时限

  • 集群中的 Follower 跟随者服务器与 Leader 领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的
    Zookeeper 服务器连接到 Leader 的时限。

3)syncLimit =5:LF 同步通信时限

  • 集群中 Leader 与 Follower 之间的最大响应时间单位,假如响应超过 syncLimit * tickTime,Leader
    认为 Follwer 死掉,从服务器列表中删除 Follwer。

4)dataDir:数据文件目录+数据持久化路径

  • 主要用于保存 Zookeeper 中的数据。

5)clientPort =2181:客户端连接端口

  • 监听客户端连接的端口。