Kafka 基本操作



  • 基本操作

    首先,让我们开始实现单节点单代理配置,然后将设置迁移到单节点多代理配置。希望您现在已经在计算机上安装了Java,ZooKeeper和Kafka。在转到Kafka Cluster设置之前,首先您需要启动ZooKeeper,因为Kafka 集群使用ZooKeeper。
  • 启动ZooKeeper

    打开一个新的终端并键入以下命令-
    
    bin/zookeeper-server-start.sh config/zookeeper.properties
    
    
    要启动Kafka Broker(代理),请输入以下命令-
    
    bin/kafka-server-start.sh config/server.properties
    
    
    启动Kafka Broker后,在新的终端上键入命令jps,您将看到以下响应-
    
    821 QuorumPeerMain
    928 Kafka
    931 Jps
    
    
    现在,您可以看到两个守护程序在终端上运行,其中QuorumPeerMain是ZooKeeper守护程序,另一个是Kafka守护程序。
  • 单节点-单代理配置

    在此配置中,您具有单个ZooKeeper和代理ID实例。以下是配置它的步骤-
    创建Kafka主题(Topic)-Kafka提供了一个名为kafka-topics.sh的命令行实用程序,用于在服务器上创建主题。打开新终端,然后输入以下示例。
    语法
    
    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1  --partitions 1 --topic topic-name
    
    
    例子
    使用以下命令更改Java替代方案。
    
    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1  --partitions 1 --topic Hello-Kafka
    
    
    我们刚刚创建了一个名为Hello-Kafka的主题,该主题具有一个分区和一个副本因子。上面创建的输出将类似于以下输出-
    输出
    
    Created topic "Hello-Kafka"
    
    
    创建主题后,您可以在Kafka 代理终端窗口中获​​得通知,并在config/server.properties文件的“/tmp/kafka-logs/”中指定创建的主题的日志。
  • 主题列表

    要获取Kafka服务器中的主题列表,可以使用以下命令
    
    bin/kafka-topics.sh --list --zookeeper localhost:2181
    
    
    输出
    
    Hello-Kafka
    
    
    由于我们创建了主题,因此只会列出Hello-Kafka。假设,如果您创建多个主题,那么您将在输出中获得多个主题名称。
    启动生产者(Producer)发送消息
    语法:
    
    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topic-name
    
    
    根据以上语法,producer命令行客户端需要两个主要参数-
    broker-list - 我们要将消息发送到的代理列表。在这种情况下,我们只有一个代理。config/server.properties文件包含代理端口ID,因为我们知道我们的代理正在侦听端口9092,因此您可以直接指定它。
    topic - 这是主题名称。
    例子:
    
    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Hello-Kafka
    
    
    生产者将等待来自stdin的输入,然后发布到Kafka集群。默认情况下,每行都将发布为新消息,然后在config/producer.properties文件中指定默认的生产者属性。现在,您可以在终端中键入几行消息,如下所示。
    输出量
    键入以下命令-
    
    $ bin/kafka-console-producer.sh --broker-list localhost:9092 
    --topic Hello-Kafka[2016-01-16 13:50:45,931] 
    WARN property topic is not valid (kafka.utils.Verifia-bleProperties)
    Hello
    My first message
    
    
    
    My second message
    
    
    启动消费者以接收消息
    与生产者相似,默认代理者属性在config/consumer.proper-ties文件中指定。打开一个新终端,然后输入以下语法来使用消息。
    句法
    
    bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic topic-name  --from-beginning
    
    
    例:
    
    bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic Hello-Kafka  --from-beginning
    
    
    输出:
    
    Hello
    My first message
    My second message
    
    
    最后,您可以从生产者的终端输入消息,并看到它们出现在消费者的终端中。到目前为止,您已经对具有单个代理的单节点群集有了很好的了解。现在,让我们继续进行多个代理配置。
  • 单节点多代理配置

    在继续进行多个代理群集设置之前,请先启动ZooKeeper服务器。创建多个Kafka代理-在 config/server.properties中已经有一个Kafka代理实例。现在我们需要多个代理实例,因此将现有的server.properties文件复制到两个新的配置文件中,并将其重命名为server-one.properties和server-two.properties。然后编辑两个新文件并分配以下更改-
    config/server-one.properties
    
    # The id of the broker. This must be set to a unique integer for each broker.
    broker.id=1
    # The port the socket server listens on
    port=9093
    # A comma seperated list of directories under which to store log files
    log.dirs=/tmp/kafka-logs-1
    
    
    config/server-two.properties
    步骤3.3:启动服务器
    您可以通过提供以下命令来启动服务器-
    
    # The id of the broker. This must be set to a unique integer for each broker.
    broker.id=2
    # The port the socket server listens on
    port=9094
    # A comma seperated list of directories under which to store log files
    log.dirs=/tmp/kafka-logs-2
    
    
    启动多个代理 - 在三台服务器上完成所有更改后,然后打开三个新终端以逐个启动每个代理。
    
    Broker1
    bin/kafka-server-start.sh config/server.properties
    Broker2
    bin/kafka-server-start.sh config/server-one.properties
    Broker3
    bin/kafka-server-start.sh config/server-two.properties
    
    
    现在,我们在计算机上运行了三个不同的代理。自己尝试通过在ZooKeeper终端上键入jps来检查所有守护程序,然后您将看到响应。
    创建主题:
    让我们为此主题分配复制因子值三个,因为我们正在运行三个不同的代理。如果您有两个代理,则分配的副本值将为两个。
    语法:
    
    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3  -partitions 1 --topic topic-name
    
    
    例子:
    
    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3  -partitions 1 --topic Multibrokerapplication
    
    
    输出:
    
    created topic “Multibrokerapplication”
    
    
    将describe命令用于检查哪个代理对当前创建的主题监听如下所示-
    
    bin/kafka-topics.sh --describe --zookeeper localhost:2181  --topic Multibrokerappli-cation
    
    
    输出:
    
    bin/kafka-topics.sh --describe --zookeeper localhost:2181 
    --topic Multibrokerappli-cation
    
    Topic:Multibrokerapplication    PartitionCount:1 
    ReplicationFactor:3 Configs:
       
    Topic:Multibrokerapplication Partition:0 Leader:0 
    Replicas:0,2,1 Isr:0,2,1
    
    
    从上面的输出,我们可以得出结论,第一行给出了所有分区的摘要,显示了主题名称、分区计数和我们已经选择的复制因子。在第二行中,每个节点将成为分区中随机选择Leader。
    在我们的例子中,我们看到我们的第一个代理(broker.id为0)是领导者。那么Replicas:0,2,1意味着所有的代理都复制这个主题,最后Isr是同步副本的集合。这是副本的子集,这些副本当前是活动的,并被领导者Leader捕获。
    启动生产者发送消息
    此过程与单一代理设置中的过程相同。
    例:
    
    bin/kafka-console-producer.sh --broker-list localhost:9092  --topic Multibrokerapplication
    
    
    输出:
    
    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Multibrokerapplication
    [2016-01-20 19:27:21,045] WARN Property topic is not valid (kafka.utils.Verifia-bleProperties)
    This is single node-multi broker demo
    This is the second message
    
    
    启动消费者以接收消息
    此过程与单代理设置中显示的过程相同。
    例:
    
    bin/kafka-console-consumer.sh --zookeeper localhost:2181  —topic Multibrokerapplica-tion --from-beginning
    
    
    输出:
    
    bin/kafka-console-consumer.sh --zookeeper localhost:2181 
    —topic Multibrokerapplica-tion —from-beginning
    This is single node-multi broker demo
    This is the second message
    
    
  • 基本主题操作

    在本章中,我们将讨论各种基本主题操作。
    修改主题
    您已经了解了如何在Kafka 集群中创建主题。现在,让我们使用以下命令修改创建的主题
    语法:
    
    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3  -partitions 1 --topic topic-name
    
    
    例子:
    
    We have already created a topic “Hello-Kafka” with single partition count and one replica factor. 
    Now using “alter” command we have changed the partition count.
    bin/kafka-topics.sh --zookeeper localhost:2181 
    --alter --topic Hello-kafka --parti-tions 2
    
    
    输出:
    
    WARNING: If partitions are increased for a topic that has a key, 
    the partition logic or ordering of the messages will be affected
    Adding partitions succeeded!
    
    
    删除主题
    要删除主题,可以使用以下语法。
    语法:
    
    bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic_name
    
    
    例子:
    
    bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic Hello-kafka
    
    
    输出:
    
    > Topic Hello-kafka marked for deletion
    
    
    注意 - 如果delete.topic.enable未设置为true,则不会有任何影响