KAFKA基本概念！

主题:

  • Topic主题是承载消息的逻辑容器，在实际使用中多用来区分具体的业务。

分区:

  • Partition，一个有序不变的消息序列，每个主题下可以有多个分区。

消息位移:

  • Offset，表示分区中每条消息的位置信息，是一个单调递增切不变的值。

副本:

  • Replica，进行数据冗余。

生产者:

  • Producer，向主题发送新消息的应用程序。

消费者:

  • Consumer，从主题订阅新消息的应用程序。

消费者位移:

  • Consumer Offset，表征消费者消费进度。

消费者组:

  • Consumer Group，多个消费者实例共同组成的一个组，同时消费多个分区以实现高吞吐量。

image-20231010131903983

HW

HW （High Watermark）俗称高水位

  • 它标识了一个特定的消息偏移量（offset），消费者只能拉取到这个offset之前的消息。

image-20231010140004442

LEO

LEO （Log End Offset），标识当前日志文件中下一条待写入的消息的offset。

上图中offset为9的位置即为当前日志文件的 LEO

  • LEO 的大小相当于当前日志分区中最后一条消息的offset值加1。

分区 ISR 集合中的每个副本都会维护自身的 LEO

  • 而 ISR 集合中最小的 LEO 即为分区的 HW，对消费者而言只能消费 HW 之前的消息。

消息模型

image-20240206152501454