Kafka 基础知识



  • Kafka 基础知识

    在深入了解Kafka之前,您必须了解主题(topics),代理(brokers),生产者(producers)和消费者(consumers)等主要术语。下图说明了主要术语,下表详细说明了图的组成部分。
    在上图中,主题(topics)被配置为三个分区。分区1具有两个偏移因子0和1。分区2具有四个偏移因子0、1、2和3。分区3具有一个偏移因子0。副本的ID与托管它的服务器的ID相同。
    假设,如果主题(topics)的复制因子设置为3,则Kafka将为每个分区创建3个相同的副本,并将它们放置在群集中以使其可用于其所有操作。为了平衡集群中的负载,每个代理都存储一个或多个这些分区。多个生产者(producers)和消费者(consumers)可以同时发布和检索消息。
  • 组件说明

    组件 说明
    主题(topics) 属于特定类别的消息流称为主题。数据存储在主题中。 主题分为多个分区。对于每个主题,Kafka都会保留一个分区的最小值。每个此类分区都包含不可变有序序列的消息。分区被实现为一组大小相等的段文件。
    分区 主题可能有许多分区,因此它可以处理任意数量的数据。
    分区偏移 每个分区消息都有一个唯一的序列ID,称为offset。
    分区副本 副本不过是分区的备份。副本永远不会读取或写入数据。它们用于防止数据丢失。
    代理(brokers)
    • 代理是简单的系统,负责维护发布的数据。每个代理每个主题可以有零个或多个分区。假设,如果一个主题有N个分区和N个代理,每个代理将有一个分区。
    • 假设一个主题中有N个分区,并且有超过N个代理(N + m),那么第一个N个代理将有一个分区,而下一个m个代理将没有该特定主题的任何分区。
    • 假设一个主题中有N个分区,并且少于N个代理(N -m),那么每个代理之间将有一个或多个分区共享。由于代理之间的负载分配不均等,不建议使用此场景。
    Kafka集群 Kafka拥有多个代理,被称为Kafka集群。可以在不停机的情况下扩展Kafka群集。这些群集用于管理消息数据的持久性和复制。
    生产者 生产者是有关一个或多个Kafka主题的消息的发布者。生产者将数据发送给Kafka代理。每次生产者向代理发布消息时,代理只需将消息附加到最后一个段文件。实际上,该消息将被附加到分区。生产者还可以将消息发送到他们选择的分区。
    消费者 消费者从经纪人那里读取数据。消费者订阅一个或多个主题,并通过从代理获取数据来消费已发布的消息。
    领导 Leader是负责给定分区的所有读取和写入的节点。每个分区都有一个充当领导者的服务器。
    追随者 遵循领导者指令的节点称为跟随者(follower)。如果领导者失败,则跟随者之一将自动成为新领导者。关注者充当普通使用者,提取消息并更新其自己的数据存储。