kafkatopic(kafkatopic查询)

本篇文章给大家谈谈kafkatopic,以及kafkatopic查询对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。

本文目录一览:

kafka极简入门(三)--创建topic

回顾 kafka极简入门(二)--安装

topic是kafka的生产者和消费者最小交互的单位,我们先从topic入手,创建第一个topic.

所以执行上面命令将会创建一个名为mytest的topic,该topic下面有1个分区,并且该分区只有1个猛并副本。

PS:除了手动创建主题外,还可以将代理配置为在发布不存在的主题时自动创建主题

Partition:0 表示该分区的id为0

leader: 9 表示分区的首领副本所在的broker(本例子中broker.id配置为9,所以这里显示9,具体在config/server.properties配置。这里只有一个分区,所以首领分区也就是自己)

Replicas: 9 表示分区的跟随副本所在的broker

Isr: 9 表示分镇槐区的同步副本所在的broker(同步副本可以认御知友为跟首领副本准实时同步的副本,可以配置判断条件,后面会讲,首领副本挂掉后,服务器会从同步副本中选举新的首领)

发送三个消息,分别是hello, world和!

注意: --from-beginning 表示从最开始的offset处开始消费。如果不写表示从最新的offset处消费,那么先发送了消息再开启消费者是收不到已发送的信息的

Kafka的Topic配置详解

配置topic级别参数时,相同(参数)属性topic级别会覆盖全局的,否则默认为全局配置属性值。

创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子,它设置了2个参数max message size 和 flush rate.

(A)创建topic时配置参数

(B)修改topic时配置参数

覆盖已经有topic参数,下面例子修改"my-topic"的max message属性

(C)删除猛培游topic级别配置参数

注:配置中散的kafka集群枝销的根目录为/config/mobile/mq/mafka02,因此所有节点信息都在此目录下。

cleanup.policy

delete.retention.ms

delete.retention.ms

flush.messages

flush.ms

index.interval.bytes

message.max.bytes

min.cleanable.dirty.ratio

retention.bytes

retention.ms

segment.bytes

segment.index.bytes

log.roll.hours

参考资料:

如何在kafka中创建topic

[Toc]

在使用kafka发送消息和消费消息之前,必须先要创建topic,在kafka中创建topic的方式有以下3种清薯猜:

通过 kafka-topics.sh 脚本来创建一个名为 topic-test1 并且副本数为2、分区数为4的topic。(如无特殊说明,本文所述都是基于1.0.0版本。)

打开kafka-topics.sh脚本一探究竟,其内容只有一行,具体如下:

这个脚本的主要答型作用就是运行 kafka.admin.TopicCommand 。在main方法中判断参数列表中是否包含有 create ,如果有,那么就实施创建topic的任务。

创建topic时除了需要zookeeper的地址参数外,还需要指定topic的名称、副本因子replication-factor以及分区个数partitions等必选参数 ,还可以包括disable-rack-aware、手岩config、if-not-exists等可选参数。

创建topic的时候,如果名称中包含 . 或者 _ ,kafka会抛出警告。原因是:

在Kafka的内部做埋点时会根据topic的名称来命名metrics的名称,并且会将句点号 . 改成下划线 _ 。假设遇到一个topic的名称为 topic.1_2 ,还有一个topic的名称为 topic_1.2 ,那么最后的metrics的名称都为 topic_1_2 ,所以就会发生名称冲突。

     topic的命名不推荐(虽然可以这样做)使用双下划线 __ 开头,因为以双下划线开头的topic一般看作是kafka的内部topic,比如 __consumer_offsets 和 __transaction_state 。

topic的名称必须满足如下规则:

[img]

关于kafkatopic和kafkatopic查询的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。

标签列表