淘先锋技术网

首页 1 2 3 4 5 6 7

一、环境准备:

  (1) windows10,64位系统,jdk1.8 安装,环境配置;

  (2) zookeeper-3.6.4 版本, Apache ZooKeeper 3.6.4(ascsha512) ,下载的是编译版本

  下载地址:Apache ZooKeeper

   (3)kafka-2.12-3.4.0版本     Scala 2.12  - kafka_2.12-3.4.0.tgz (ascsha512)

 下载地址:http://kafka.apache.org/downloads.html

二、搭建zookeeper集群

(1)G盘目录下创建一个文件夹kafka

(2)解压下载的文件zookeeper-3.6.4-bin(此处带bin的是已编译的),kafka-2.12-3.3.2

(3)复制一份zoo_sample.cfg ,副本改名为zoo.cfg

(4)按以下地方修改zoo.cfg文件,红色为修改项,蓝色为新增项目

 

 

dataDir=../zkData
dataLogDir=../zkLog

clientPort=2181---此处会变化

#修改完新增下列属性:
admin.serverPort=8000---此处会变化
server.1=127.0.0.1:12888:1388
server.2=127.0.0.1:12889:1389
server.3=127.0.0.1:12887:1387

(5)在zookeeper-3.6.4-bin目录下创建两个文件夹

(6)复制2份文件夹zookeeper-3.6.4-bin,不要包含中文

(7) 在zkData文件夹下,创建一个txt文件myid,把后缀名去掉,myid中内容为1,version-2是后期生成的,无需创建。

 (8)同理修改另外的zookeeper-3.6.4-bin-2,zookeeper-3.6.4-bin-3中的myid,内容分别为2,3,此刻 完成所有项

(9)启动每一个文件夹zookeeper-3.6.4-bin文件下bin下的zkServer.cmd,共3个

出现如下情况:有两种情况(1)检查一下防火墙是否关闭,确保关闭

(2)防火墙关闭以后,再启动,还有此问题,则需要先开启前两个,到第三个启动的时候,就会正常,然后另外两个窗口也会正常的显示数据,不再报错,则说明启动安装成功

三,搭建kafka伪集群

(1)复制2份文件夹kafka_2.12-3.3.2并且改名,不要包含中文

(2)更改config下的server.properties文件

 

 按以上内容,依次更改2,3文件夹

broker.id=1

listeners=PLAINTEXT://127.0.0.1:9092

log.dirs=G:/kafka/kafka_2.12-3.3.2/kafkalogs

zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

#

broker.id=2

listeners=PLAINTEXT://127.0.0.1:9093

log.dirs=G:/kafka/kafka_2.12-3.3.2-2/kafkalogs-2

zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

#

broker.id=3

listeners=PLAINTEXT://127.0.0.1:90924

log.dirs=G:/kafka/kafka_2.12-3.3.2-3/kafkalogs-3

zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

(3) 若按照以上内容,配置后,启动不成功,则可能是log.dirs的路径配置不对,之前有过

配置路径为此种格式G:\kafka\kafka_2.12-3.3.2-3\kafkalogs-3导致文件kafkalogs-3未生成成功的实际操作。特注明

 (4)启动kafka伪集群

cmd 命令,kafka_2.12-3.3.2目录下,执行命令bin\windows\kafka-server-start.bat config\server.properties  ;

kafka_2.12-3.3.2-2,kafka_2.12-3.3.2-3 同理

启动成功以后,会出现对应的log.dirs配置的文件夹,且有meta.properties文件