kafka命令（kafka命令行消费数据）

本篇文章给大家谈谈kafka命令，以及kafka命令行消费数据对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、Kafka常用命令行总结
• 2、Kafka 运行命令
• 3、Kafka | 常用命令行操作
• 4、kafka命令行的管理使用

Kafka常用命令行总结

以下是kafka常用命令行总结：

1.查看topic的详细信息

./kafka-topics.sh -zookeeper127.0.0.1:2181-describe -topic testKJ1

2、为topic增加副本

./kafka-reassign-partitions.sh -zookeeper127.0.0.1:2181-reassignment-json-file json/partitions-to-move.json -execute

3、创建topic

./kafka-topics.sh --create --zookeeper localhost:2181--replication-factor1--partitions1--topic testKJ1

4、为topic增加partition

./bin/kafka-topics.sh –zookeeper127.0.0.1:2181–alter –partitions20–topic testKJ1

5、kafka生产者客户端命令

./kafka-console-producer.sh --broker-list localhost:9092--topic testKJ1

6、kafka消费者客户端命令

./则伏kafka-console-consumer.sh -zookeeper localhost:2181--from-beginning --topic testKJ1

7、kafka服务启孙念携动

./kafka-server-start.sh -daemon ../config/server.properties

8、下线broker

./高禅kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper127.0.0.1:2181--broker #brokerId# --num.retries3--retry.interval.ms60

shutdown broker

9、删除topic

./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper127.0.0.1:2181

[img]

Kafka 运行命令

一、启动ZooKeeper

打开一个新终端并键入以下命令

二、要启动Kafka Broker，请键入以下命令

启动Kafka Broker后，在ZooKeeper终端上键入命令 jps ，您将看到以下响应

现在你可以看到两个守护进程运行在终端上，QuorumPeerMain是ZooKeeper守护进程，另一个是Kafka守护进程。

三、创建Kafka主题

四、主题列表

要获取Kafka服务器中的主题列表，可以使用以下命令

输出

五、启世盯动生产者以发送消息

六、启动消费者以接收消息

七、单节点多代理配置

创建多个Kafka Brokers，我们在配置/ server.properties中已有一个Kafka代理实例。 现在我们需要多个代理实例，因此将现有的server.prop-erties文搜带和件复制到两个新的配置文件中，并将其重命名为server-one.properties和server-two.properties。 然后编辑这两个新文件并分配以下更改

config / server-one.properties

创建主题

让我们为此主题将复制因子值指定为三个，因为我们有三个不同的代理运行。 如果您有两个代理，那么分配的副本值将是行袭两个。

Describe 命令用于检查哪个代理正在侦听当前创建的主题

输出

八、修改主题

Kafka | 常用命令行操作

本次实验的kafka集群有三个节点，即有三团枣个broker。

Topic操塌猜拆作的执行脚本在bin目录下的 kafka-topics.sh

例子中创建名为first的topic，2个分区，2个副本。

创建后可分别在三个节点兆凳下，进入kafka的存放数据的目录，查看topic的创建情况：first-0和first-1是以topic名和分区号组成，代表了2个分区；每个分区副本都是2个，而且相同分区副本是放在不同的节点上的，例如first-0的副本在node01和node03节点上，first-1的副本在node01和node02上。

查看数据目录下的topic是否被删除：发现topic名称后面多了delete删除标志，不要着急，等过会来看这个topic就会被删除。

每输入一条消息，消费者窗口会显示生产者发出的消息

kafka命令行的管理使用

首先要启动好kafka集群

1、集群时间同步

2、启动zookeeper集群

3、启动kafka集群

启动kafka集群的方式就是在集群中每台机器 kafka目录 下运行

nohup bin/kafka-server-start.sh config/server.properties /dev/null 21

kafka发出消息和接收消息都是基于topic，所以要先创建一个燃睁topic，才能向里面发消息。创建topic的脚本：

topic创建好了，就可以向里边发送消息了。

通过命令行实现数据的发送 producer 生产者

kafka-console-producer.sh 就是用来测圆森试用的脚本，可以模拟kafka消息的发送端。

直接运行 kafka-console-producer.sh 查看帮助

--broker-list 指定我们kafka集群的地址

--topic 指定我们的消息发送到哪个topic里面去

通过命令行实现皮腔岁数据的接收 consumer 消费者

--bootstrap-server 表示我们的kafak集群的地址，在旧版本中使用的是--zookeeper参数，两者至少使用一个

--from-beginning 表示我们从最开始的数据进行消费

--topic指定我们topic的名字

在producer端发送数据，在consumer端可以收到数据

关于kafka命令和kafka命令行消费数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。