kafkatopic(kafkatopic查询)
本篇文章给大家谈谈kafkatopic,以及kafkatopic查询对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。
本文目录一览:
kafka极简入门(三)--创建topic
回顾 kafka极简入门(二)--安装
topic是kafka的生产者和消费者最小交互的单位,我们先从topic入手,创建第一个topic.
或
所以执行上面命令将会创建一个名为mytest的topic,该topic下面有1个分区,并且该分区只有1个猛并副本。
PS:除了手动创建主题外,还可以将代理配置为在发布不存在的主题时自动创建主题
Partition:0 表示该分区的id为0
leader: 9 表示分区的首领副本所在的broker(本例子中broker.id配置为9,所以这里显示9,具体在config/server.properties配置。这里只有一个分区,所以首领分区也就是自己)
Replicas: 9 表示分区的跟随副本所在的broker
Isr: 9 表示分镇槐区的同步副本所在的broker(同步副本可以认御知友为跟首领副本准实时同步的副本,可以配置判断条件,后面会讲,首领副本挂掉后,服务器会从同步副本中选举新的首领)
发送三个消息,分别是hello, world和!
注意: --from-beginning 表示从最开始的offset处开始消费。如果不写表示从最新的offset处消费,那么先发送了消息再开启消费者是收不到已发送的信息的
Kafka的Topic配置详解
配置topic级别参数时,相同(参数)属性topic级别会覆盖全局的,否则默认为全局配置属性值。
创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子,它设置了2个参数max message size 和 flush rate.
(A)创建topic时配置参数
(B)修改topic时配置参数
覆盖已经有topic参数,下面例子修改"my-topic"的max message属性
(C)删除猛培游topic级别配置参数
注:配置中散的kafka集群枝销的根目录为/config/mobile/mq/mafka02,因此所有节点信息都在此目录下。
cleanup.policy
delete.retention.ms
delete.retention.ms
flush.messages
flush.ms
index.interval.bytes
message.max.bytes
min.cleanable.dirty.ratio
retention.bytes
retention.ms
segment.bytes
segment.index.bytes
log.roll.hours
参考资料:
如何在kafka中创建topic
[Toc]
在使用kafka发送消息和消费消息之前,必须先要创建topic,在kafka中创建topic的方式有以下3种清薯猜:
通过 kafka-topics.sh 脚本来创建一个名为 topic-test1 并且副本数为2、分区数为4的topic。(如无特殊说明,本文所述都是基于1.0.0版本。)
打开kafka-topics.sh脚本一探究竟,其内容只有一行,具体如下:
这个脚本的主要答型作用就是运行 kafka.admin.TopicCommand 。在main方法中判断参数列表中是否包含有 create ,如果有,那么就实施创建topic的任务。
创建topic时除了需要zookeeper的地址参数外,还需要指定topic的名称、副本因子replication-factor以及分区个数partitions等必选参数 ,还可以包括disable-rack-aware、手岩config、if-not-exists等可选参数。
创建topic的时候,如果名称中包含 . 或者 _ ,kafka会抛出警告。原因是:
在Kafka的内部做埋点时会根据topic的名称来命名metrics的名称,并且会将句点号 . 改成下划线 _ 。假设遇到一个topic的名称为 topic.1_2 ,还有一个topic的名称为 topic_1.2 ,那么最后的metrics的名称都为 topic_1_2 ,所以就会发生名称冲突。
topic的命名不推荐(虽然可以这样做)使用双下划线 __ 开头,因为以双下划线开头的topic一般看作是kafka的内部topic,比如 __consumer_offsets 和 __transaction_state 。
topic的名称必须满足如下规则:
[img]关于kafkatopic和kafkatopic查询的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。