一、环境准备:
(1) windows10,64位系统,jdk1.8 安装,环境配置;
(2) zookeeper-3.6.4 版本, Apache ZooKeeper 3.6.4(asc, sha512) ,下载的是编译版本
下载地址:Apache ZooKeeper
(3)kafka-2.12-3.4.0版本 Scala 2.12 - kafka_2.12-3.4.0.tgz (asc, sha512)
下载地址:http://kafka.apache.org/downloads.html
二、搭建zookeeper集群
(1)G盘目录下创建一个文件夹kafka
(2)解压下载的文件zookeeper-3.6.4-bin(此处带bin的是已编译的),kafka-2.12-3.3.2
(3)复制一份zoo_sample.cfg ,副本改名为zoo.cfg
(4)按以下地方修改zoo.cfg文件,红色为修改项,蓝色为新增项目
dataDir=../zkData
dataLogDir=../zkLog
clientPort=2181---此处会变化
#修改完新增下列属性:
admin.serverPort=8000---此处会变化
server.1=127.0.0.1:12888:1388
server.2=127.0.0.1:12889:1389
server.3=127.0.0.1:12887:1387
(5)在zookeeper-3.6.4-bin目录下创建两个文件夹
(6)复制2份文件夹zookeeper-3.6.4-bin,不要包含中文
(7) 在zkData文件夹下,创建一个txt文件myid,把后缀名去掉,myid中内容为1,version-2是后期生成的,无需创建。
(8)同理修改另外的zookeeper-3.6.4-bin-2,zookeeper-3.6.4-bin-3中的myid,内容分别为2,3,此刻 完成所有项
(9)启动每一个文件夹zookeeper-3.6.4-bin文件下bin下的zkServer.cmd,共3个
出现如下情况:有两种情况(1)检查一下防火墙是否关闭,确保关闭
(2)防火墙关闭以后,再启动,还有此问题,则需要先开启前两个,到第三个启动的时候,就会正常,然后另外两个窗口也会正常的显示数据,不再报错,则说明启动安装成功
三,搭建kafka伪集群
(1)复制2份文件夹kafka_2.12-3.3.2并且改名,不要包含中文
(2)更改config下的server.properties文件
按以上内容,依次更改2,3文件夹
broker.id=1
listeners=PLAINTEXT://127.0.0.1:9092
log.dirs=G:/kafka/kafka_2.12-3.3.2/kafkalogs
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
#
broker.id=2
listeners=PLAINTEXT://127.0.0.1:9093
log.dirs=G:/kafka/kafka_2.12-3.3.2-2/kafkalogs-2
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
#
broker.id=3
listeners=PLAINTEXT://127.0.0.1:90924
log.dirs=G:/kafka/kafka_2.12-3.3.2-3/kafkalogs-3
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
(3) 若按照以上内容,配置后,启动不成功,则可能是log.dirs的路径配置不对,之前有过
配置路径为此种格式G:\kafka\kafka_2.12-3.3.2-3\kafkalogs-3导致文件kafkalogs-3未生成成功的实际操作。特注明
(4)启动kafka伪集群
cmd 命令,kafka_2.12-3.3.2目录下,执行命令bin\windows\kafka-server-start.bat config\server.properties ;
kafka_2.12-3.3.2-2,kafka_2.12-3.3.2-3 同理
启动成功以后,会出现对应的log.dirs配置的文件夹,且有meta.properties文件