本篇文章介绍:再均衡监控器,从特定偏移量处开始处理记录,退出,反序列化器,独立消费者。
再均衡监控器
将在如下几个方面介绍在均衡监控器:
- 定义:监听失去分区所有权或获取分区所有权;
- 方案:通过subscribe()方法进行监听。参数:ConsumerRebalanceListener实例;
- ConsumerRebalanceListener:需要实现两个方法
3.1:onPartitionsRevoked:在再均衡开始之前和消费者停止读取消息之后被调用,用来提交偏移量;
3.2:onPartitionsAssigned:在重新分配分区之后和消费者开始读取消息之前被调用。 - 代码:
4.1:实现ConsumerRebalenceListener
4.2:获取新分区后开始读取消息,不需要做其他事情
4.3:发生在分区均衡,要在即将失去分区所有权的时候提交偏移量
4.4:通过subscribe()方法绑定监听器
从特定偏移量处开始处理记录
有两种方式从特定偏移量开始处理记录:
1:seekToBeginning:从分区开始位置读取消息
2:seekToEnd:从分区末尾开始读取数据
如何退出
有两种方式进行退出:
1:wakeup():调用consumer的wakeup()方法,让消费者退出
2:close():
- 提交任何还没有提交的东西-偏移量
- 向群组协调器发送消息,告知自己要离开群组
- 触发再均衡,而不需要等待会话超时
反序列化器
存在两种方式进行反序列化:
1:自定义反序列化器。
2:使用avro反序列化。下面演示avro反序列化:
- 使用KafkaAvroDeserializer来反序列化Avro消息
- 指向schemal的存放位置
- 将生成的类Customer作为值类型
- record.value()返回的是一个customer实例,接下来就可以使用了
独立消费者
从如下几方面介绍独立消费者:
1:使用场景:
- 一个消费者从一个主题的所有分区读取数据
- 读取特定分区
2:特点:
- 不会发生再均衡
- 新增分区不会受到消息
3:解决方案:消费者自己分配分区
以上就是我对kafka再均衡监控器,从特定偏移量处开始处理记录,退出,反序列化器,独立消费者的理解,哪里说的不对,还请赐教!