启动kafka(启动kafka集群)

本篇文章给大家谈谈启动kafka,以及启动kafka集群对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。

本文目录一览:

Kafaka入门(1)- Kafka简介和安装与启动(mac)

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。kafka 是一个高性能的消息队列,也是一个分布式流处理平台。

kafka中文网

kafka官网

Producer :Producer即生产者,消息的产生者,是消息的入口。

kafka cluster :

Broker :Broker是kafka实例,每个服务器上有一个或多个kafka的实例,姑且认为每个broker对应一台服务器。一个集群由多个broker组成,集群内的broker都有一个不重复的编号,如图中的broker-0、broker-1等……

Topic :消息的主题,可以理解为消息的分类,kafka的数据就保存在topic。在每个broker上都可以创建多个topic。

Partition :Topic的分区,每个topic可以有多个分区,分区的作用是做负载,提高kafka的吞吐量。 同一个topic在不同的分区的数据是不重复的 ,partition的表现形式就是一个一个的文件夹!

Replication : 每一个分区都有多个副本 ,副本的作用是做备胎。当主分区(Leader)故障的时候会选择一个备胎(Follower)上位,成为Leader。在kafka中默认副本的最大数量是10个,且副本的数量不能大于Broker的数量,follower和leader绝对是在不同咐明的机器,同一机器对同一个分区也只可能存放一个副本(包括自己)。

Message :每一条发送的消息主体。

Consumer :消费者,即消息的消费方,是消息的出口。

Consumer Group :将多个消费组成一个消费者组。在kafka的设计中 同一个分区的数据只能被同一消费者组中的某一个消费者消费 。Partition 的分配问题,即确定哪个 Partition 由哪个 Consumer 来消费。Kafka 有两种分配策略,一个是 RoundRobin,一个是 Range,默认为Range。

一个消费者组内也让轿可以订阅多个topic

多个消费组可以订阅同一个topic 。

Zookeeper :kafka集群依赖zookeeper来保存集群的的元信息,来保证系统的可用性。

使用brew进行安装,非常方便。

ZooKeeper是一个分布式的,开放源码的 分布式应用程序协调服务 ,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

kafka是基于zookeeper的,启动kafka之前,需要先启动zookeeper

查看启动是否成功

启动kafka

查看启动是否成功

查看topic列表

新坦简肆起一个终端,作为生产者,用于发送消息,每一行算一条消息,将消息发送到kafka服务器

新起一个终端作为消费者,接收消息

服务关闭的顺序是先kafka,然后zookeeper

再过半小时,你就能明白kafka的工作原理了

Kafka架构原理,也就这么回事!

windows系统下启动kafka CMD报错:输入行太长,语法错误

        在windows系统用cmd输命令:.\bin\windows\kafka-server-start.bat .\config\server.properties  启动kafka居然报错:输入行太长,语法错误,折磨了我一个小时棚亮。

        在网上查到一个解决方法:  孝和伍kafka目录不要建太深,直接在放在D盘

 巧或

[img]

kafka命令行的管理使用

首先要启动好kafka集群

1、集群时间同步

2、启动zookeeper集群

3、启动kafka集群

启动kafka集群的方式就是在集群中每台机器 kafka目录 下运行

nohup bin/kafka-server-start.sh config/server.properties /dev/null 21

kafka发出消息和接收消息都是基于topic,所以要先创建一个燃睁topic,才能向里面发消息。创建topic的脚本:

topic创建好了,就可以向里边发送消息了。

通过命令行实现数据的发送 producer 生产者

kafka-console-producer.sh 就是用来测圆森试用的脚本,可以模拟kafka消息的发送端。

直接运行 kafka-console-producer.sh 查看帮助

--broker-list 指定我们kafka集群的地址

--topic 指定我们的消息发送到哪个topic里面去

通过命令行实现皮腔岁数据的接收 consumer 消费者

--bootstrap-server 表示我们的kafak集群的地址,在旧版本中使用的是--zookeeper参数,两者至少使用一个

--from-beginning 表示我们从最开始的数据进行消费

--topic指定我们topic的名字

在producer端发送数据,在consumer端可以收到数据

docker启动kafka

记录下自己的操作,避免下次用的时候又去踩坑

docker pull wurstmeister/zookeeper

docker pull wurstmeister/kafka

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

docker exec -it zookeeper /bin/sh

这时查看zk节点只有一个zookeeper

docker退出当前容器 快捷键:

第一次尝试启动容器是用的第一种方式,后面发衡码粗现在容器外面连接不了kafka,可能是因为生成的kafka地址咐镇是容器内地址模段。所以换了第二种方式启动。

{"datas":[{"name":"jianshu","value":"10"}],"ver":"1.0"}

发现和图3相比 创建了很多关于kafka的节点

我们可以看到我们创建的主题及其信息

kafka在启动时连接zookeeper失败,报错信息如下

上网查了之后,发现是本机ip变化导致的...这就很骚。这里我修改一下KAFKA_ZOOKEEPER_CONNECT的ip就可以了。

贴一下别人的解决方案吧:

kafka集群启动和停止

1、启动

先启动zk集群

然后在所有节点执行脚本

nohup kafka-server-start.sh /颂李举kkb/install/kafka/config/server.properties /dev/null 21

一键启动kafka

start_kafka.sh

for host in node01 node02 node03

do

ssh host kafka is running"

done

2、停止

所有节点执行扰族关闭kafka脚本

kafka-server-stop.sh

一键停止kafka

stop_kafka.sh

for host in node01 node02 node03

do

ssh host kafka is stopping"

done

3、一野碧键启动和停止脚本

kafkaCluster.sh

case host "source /etc/profile; nohup /kkb/install/kafka/bin/kafka-server-start.sh /kkb/install/kafka/config/

server.properties /dev/null 21 "

echo "$host kafka is running..."

done

};;

"stop"){

for host in node01 node02 node03

do

ssh host kafka is stopping..."

done

};;

esac

启动

sh kafkaCluster.sh start

停止

sh kafkaCluster.sh stop

关于启动kafka和启动kafka集群的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。

相关阅读

  • 什么是数据可视化的根本(数据可视化的方法有哪些)

    什么是数据可视化的根本(数据可视化的方法有哪些)

    标题:什么是数据可视化的根本简介:数据可视化是指将数据以图形、图表等形式展示出来,以更直观、易懂的方式来帮助人们分析和理解数据。在IT技术领域,数据可视化起着至关重要的作用,能够帮助企业或个人更好地利用数据进行决策和创新。本文将详细讨论数据...

    2024.04.12 21:22:17作者:intanet.cnTags:什么是数据可视化的根本
  • 智能人工气候箱(智能人工气候箱怎么调节周期)

    智能人工气候箱(智能人工气候箱怎么调节周期)

    智能人工气候箱是一种利用先进的IT技术来模拟不同环境条件的设备。它可以在箱内创造出各种气候条件,如温度、湿度、光照等,以满足不同植物或动物的生长需求。这种智能人工气候箱在农业、生物学研究等领域有着广泛的应用。一、功能特点智能人工气候箱具有以...

    2024.04.12 20:55:15作者:intanet.cnTags:智能人工气候箱
  • hbase连接池(hbase连接数过多)

    hbase连接池(hbase连接数过多)

    **HBase连接池****简介**HBase是一个分布式、可伸缩、列存储数据库,通常用于存储海量数据。在大规模数据处理领域中,对HBase的连接使用频繁且需要高效的处理。为了提高性能和避免资源浪费,需要使用连接池来管理HBase连接。**...

    2024.04.12 18:22:14作者:intanet.cnTags:hbase连接池
  • hbasedescribe的简单介绍

    hbasedescribe的简单介绍

    # 介绍HBase技术HBase是一种分布式、可扩展的NoSQL数据库,它是构建在Hadoop之上的,可以存储海量结构化数据。HBase主要用于支持大数据处理和分析,具有高可用性和高性能的特点。## HBase的优势1. **横向扩展性**...

    2024.04.12 15:33:13作者:intanet.cnTags:hbasedescribe
  • 云计算工程师薪资(云计算工程师就业前景)

    云计算工程师薪资(云计算工程师就业前景)

    云计算工程师是当今IT行业中备受瞩目的职业之一,随着云计算技术的发展和应用领域的不断扩大,这一职位的需求也在逐渐增加。那么,作为一名云计算工程师,他们的薪资水平又是如何呢?下面我们就来详细了解一下。# 云计算工程师薪资概况## 行业薪资水平...

    2024.04.12 13:33:38作者:intanet.cnTags:云计算工程师薪资
  • 大数据服务开发(大数据服务开发方案)

    大数据服务开发(大数据服务开发方案)

    简介:大数据服务开发是指利用大数据技术和相关工具,开发出可以处理大规模数据的服务和应用程序。随着数字化时代的到来,大数据服务开发变得越来越重要,可以帮助企业更好地理解和利用其数据资产,提升企业的竞争力。一、概述大数据服务开发大数据服务开发是...

    2024.04.12 13:11:21作者:intanet.cnTags:大数据服务开发
  • 001028华安物联网(华安物联网主题股票001028什么时候分红)

    001028华安物联网(华安物联网主题股票001028什么时候分红)

    # 华安物联网## 简介华安物联网是一家专注于物联网技术应用的公司,致力于为企业提供智能化解决方案。通过物联网技术,实现设备之间的互联互通,提高生产效率,降低成本。华安物联网已经在多个行业中取得成功,包括智慧城市、工业4.0、智能家居等领域...

    2024.04.12 12:33:11作者:intanet.cnTags:001028华安物联网
  • 数据安全防护(数据安全防护软件)

    数据安全防护(数据安全防护软件)

    简介:随着信息技术的发展,越来越多的数据被存储在互联网上,数据安全问题日益引起人们的担忧。为了保护数据不被恶意攻击或泄露,数据安全防护显得尤为重要。本文将介绍数据安全防护的相关知识和方法。一、数据安全的重要性数据是企业和个人最重要的资产之一...

    2024.04.12 11:44:13作者:intanet.cnTags:数据安全防护