淘先锋技术网

首页 1 2 3 4 5 6 7

本篇文章介绍:再均衡监控器,从特定偏移量处开始处理记录,退出,反序列化器,独立消费者。

再均衡监控器

将在如下几个方面介绍在均衡监控器:

  1. 定义:监听失去分区所有权或获取分区所有权;
  2. 方案:通过subscribe()方法进行监听。参数:ConsumerRebalanceListener实例;
  3. ConsumerRebalanceListener:需要实现两个方法
    3.1:onPartitionsRevoked:在再均衡开始之前和消费者停止读取消息之后被调用,用来提交偏移量;
    3.2:onPartitionsAssigned:在重新分配分区之后和消费者开始读取消息之前被调用。
  4. 代码:
    4.1:实现ConsumerRebalenceListener
    4.2:获取新分区后开始读取消息,不需要做其他事情
    4.3:发生在分区均衡,要在即将失去分区所有权的时候提交偏移量
    4.4:通过subscribe()方法绑定监听器
    在这里插入图片描述
    在这里插入图片描述

从特定偏移量处开始处理记录

有两种方式从特定偏移量开始处理记录:
1:seekToBeginning:从分区开始位置读取消息
2:seekToEnd:从分区末尾开始读取数据

如何退出

有两种方式进行退出:
1:wakeup():调用consumer的wakeup()方法,让消费者退出
2:close():

  1. 提交任何还没有提交的东西-偏移量
  2. 向群组协调器发送消息,告知自己要离开群组
  3. 触发再均衡,而不需要等待会话超时

反序列化器

存在两种方式进行反序列化:
1:自定义反序列化器。
2:使用avro反序列化。下面演示avro反序列化:

  1. 使用KafkaAvroDeserializer来反序列化Avro消息
  2. 指向schemal的存放位置
  3. 将生成的类Customer作为值类型
  4. record.value()返回的是一个customer实例,接下来就可以使用了

在这里插入图片描述

独立消费者

从如下几方面介绍独立消费者:
1:使用场景:

  1. 一个消费者从一个主题的所有分区读取数据
  2. 读取特定分区

2:特点:

  1. 不会发生再均衡
  2. 新增分区不会受到消息

3:解决方案:消费者自己分配分区

以上就是我对kafka再均衡监控器,从特定偏移量处开始处理记录,退出,反序列化器,独立消费者的理解,哪里说的不对,还请赐教!