docker集群（docker集群动态扩容）

本篇文章给大家谈谈docker集群，以及docker集群动态扩容对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、Docker搭建ES集群配置
• 2、使用 Docker Stack 部署多服务集群
• 3、docker部署redis集群（实战）
• 4、Docker搭建Kafka测试集群
• 5、如何利用docker-swarm构建数据库集群？
• 6、使用 Docker 搭建 Hadoop 集群 和 Spark On Yarn

Docker搭建ES集群配置

编写docker-compose.yml文件

version: "2"

services:

  demoes1:

    image: elastic/elasticsearch:6.3.1

    container_name: demoes1

restart: unless-stopped

    environment:

      - "ES_JAVA_OPTS=-Xms5g -Xmx5g"

    ulimits:

      memlock:

        soft: -1

        hard: -1

      nofile:

        soft: 65536

        hard: 65536

    ports:

      - "9200:9200"

      - "9300:9300"

    volumes:

      - /home/es/config/es1.yml:/usr/share/elasticsearch/config/elasticsearch.yml:ro

      - /home/es/data1:/usr/share/elasticsearch/data

    networks:

      - demo-es

  demoes2:

    image: elastic/elasticsearch:6.3.1

    container_name: demoes2

restart: unless-stopped

    environment:

      - "ES_JAVA_OPTS=-Xms5g -Xmx5g"郑弊

    ulimits:

      memlock:

        soft: -1

        hard: -1

      nofile:

        soft: 65536

        hard: 65536

    ports:

      - "9201:9200"

      - "9301:9300"

    volumes:

      - /home/es/config/es2.yml:/usr/share/elasticsearch/config/elasticsearch.yml:ro

      - /home/es/data2:/usr/share/elasticsearch/data

    networks:

      - demo-es

  demoes3:

    image: elastic/elasticsearch:6.3.1

    container_name: demoes3

restart: unless-stopped

    environment:

      - "ES_JAVA_OPTS=-Xms5g -Xmx5g"

    ulimits:

      memlock:

        soft: -1

        hard: -1

      nofile:

        soft: 65536

        hard: 65536

    ports:

      - "9202:9200"

     游局 - "9302:9300"

    volumes:

      - /home/es/config/es3.yml:/usr/share/elasticsearch/config/elasticsearch.yml:ro

      - /home/es/data3:/usr/share/elasticsearch/data

    networks:

      - demo-es

  demokibana:

    image: elastic/kibana:6.3.1

    container_name: demokibana

restart: unless-stopped

    ports:

      - 5601:5601

    environment:

      ELASTICSEARCH_URL:

      ELASTICSEARCH_HOSTS:

   喊磨族 networks:

      - demo-es

networks:

  demo-es:

    driver: bridge

2、编写配置文件

es1.yml

cluster.name: elasticsearch-cluster

node.name: demoes1

node.master: true

node.data: true

network.host: 0.0.0.0

http.port: 9200

transport.tcp.port: 9300

http.cors.enabled: true

http.cors.allow-origin: "*"

discovery.zen.ping.unicast.hosts: ["demoes1:9300", "demoes2:9300", "demoes3:9300"]

discovery.zen.minimum_master_nodes: 2

discovery.zen.ping_timeout: 5s

bootstrap.memory_lock: true

action.destructive_requires_name: true

es2.yml

cluster.name: elasticsearch-cluster

node.name: demoes2

node.master: true

node.data: true

network.host: demoes2

http.port: 9200

transport.tcp.port: 9300

http.cors.enabled: true

http.cors.allow-origin: "*"

discovery.zen.ping.unicast.hosts: ["demoes1:9300", "demoes2:9300", "demoes3:9300"]

discovery.zen.minimum_master_nodes: 2

discovery.zen.ping_timeout: 5s

bootstrap.memory_lock: true

action.destructive_requires_name: true

es3.yml

cluster.name: elasticsearch-cluster

node.name: demoes3

node.master: false

node.data: true

network.host: demoes3

http.port: 9200

transport.tcp.port: 9300

http.cors.enabled: true

http.cors.allow-origin: "*"

discovery.zen.ping.unicast.hosts: ["demoes1:9300", "demoes2:9300", "demoes3:9300"]

discovery.zen.minimum_master_nodes: 2

discovery.zen.ping_timeout: 5s

bootstrap.memory_lock: true

action.destructive_requires_name: true

4、配置文件说明

#集群名称

cluster.name: elasticsearch-cluster

#节点名称

node.name: demoes1

#是否是主节点

node.master: true

节点数据

node.data: true

#设置 host 为 0.0.0.0 ，即可启用该物理机器所有网卡网络访问

#也可以用下面配置文件替代

#network.bind_host: 0.0.0.0  //绑定网络（访问）

#network.publish_host: 192.168.137.128(或者hckjes1) //公共集群网络（集群连接）

network.host: lcyes1

#设置对外服务的http端口，默认为9200。

http.port: 9200

#设置节点间交互的tcp端口，默认是9300。

transport.tcp.port: 9300

#是否使用http协议对外提供服务，默认为true，开启。

http.cors.enabled: true

#是否可以跨域访问，*表示可以支持所有

http.cors.allow-origin: "*"

#设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点。

discovery.zen.ping.unicast.hosts: ["demoes1:9300", "demoes2:9300", "demoes3:9300"]

#设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）

discovery.zen.minimum_master_nodes: 2

#设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。

discovery.zen.ping_timeout: 5s

#锁定物理内存地址，防止es内存被交换出去，也就是避免es使用swap交换分区，频繁的交换，会导致IOPS变高

bootstrap.memory_lock: true

#生产环境建议设置为true，删除索引库的时候必须显式指定，否则可能会误删索引库中的索引库

action.destructive_requires_name: true

使用 Docker Stack 部署多服务集群

单机模式下，我们可以使用 Docker Compose 来编排多个服务，而在 上一篇文章 中介绍的 Docker Swarm 只能实现对单个服务的简单部署。于是就引出了本文的主角 Docker Stack ，通过 Docker Stack 我们只需对已有的 docker-compose.yml 配置文件稍加改造就可以完成 Docker 集群环境下的肆悉仿多服务编排。

注意：如果有多个 manager 节点，portainer 和 visualizer 可能分别部署在两台机器上，所以ip可能会不一样。

评论区有小伙伴提到，容器间通过服务名 ( 比如文中的 nginx ) 通讯时，对应的 IP 却和容器的实际 IP 对裂纤不上。出现这个情况是陆亩因为负载均衡（ 对外表现为一个服务，内部为多个服务 ）。下面是我做的试验，希望能帮助大家理解。

总结下：

整个请求的调用流程应该就是： 通过服务名 nginx 访问 -- 指向 -- stack 集群网关 ( 10.0.6.5 ) -- 转发 -- stack 集群中，位于当前服务器的负载均衡实例 ( 10.0.6.4 ) -- 分发 -- 最终的应用 。

docker部署redis集群（实战）

集群的话我们要建立自己的网卡。

创建多个节缺袭点（实例是6个三个主三个从）：

for port in $(seq 1 6); \

do \

mkdir -p /mydata/redis/node-${port}/conf

touch /mydata/redis/node-${port}/conf/redis.conf

cat EOF /mydata/redis/node-${port}/conf/redis.conf

port 6379

bind 0.0.0.0

cluster-enabled yes

cluster-config-file nodes.conf

cluster-node-timeout 5000

cluster-announce-ip 172.38.0.1${port}

cluster-announce-port 6379

cluster-announce-bus-port 16379

appendonly yes

EOF

done

for port in $(seq 1 6); \

do \

docker run -p 637${port}:6379 -p 1637${port}:16379 --name redis-${port} \

-v /mydata/redis/伏消兄node-${port}/data:/data \

-v /mydata/redis/node-${port}/conf/桥肆redis.conf:/etc/redis/redis.conf \

-d --net redis-net --ip 172.38.0.1${port} redis:5.0.9-alpine3.11 redis-server  /etc/redis/redis.conf;

done

先进入：

docker exec -it redis-1 /bin/sh

集群：

redis-cli --cluster create 172.38.0.11:6379 172.38.0.12:6379 172.38.0.13:6379 172.38.0.14:6379 172.38.0.15:6379 172.38.0.16:6379 --cluster-replicas 1

Docker搭建Kafka测试集群

zookeeper利用这个hostname在集群中的broker之间同步消息, 这里配置为kafka在docker虚拟网络中的IP。 使用你的宿主机的IP也可以，但是端口号要改成宿主机的端口号

Kafka在Docker container中的端口号

如果你需要在Docker虚拟网络之外使用Kafka集群，你需要把这两个参数配置成你宿主机的IP，端口号要改成Docker映射到宿主机的端口号（9092， 9093）。当往Kafka其中的一个broker发送消息时，Kafka集群从ZooKeeper取得Broker IP和端口号，然后同步亩段数据，使用虚拟网络IP会导致发送和接收消息失败，因为宿主机无法访问Docker虚拟网络内的节点

 例如我的宿主机IP是，192.168，0.2，迅游誉

上磨宽述2个Kafka容器，9092端口号分别映射到宿主机的9092和9093端口。

环境变量配置如下

Kafka1配置为

      KAFKA_ADVERTISED_HOST_NAME: 192.168.0.2

      KAFKA_ADVERTISED_PORT: 9092

Kafka2配置为

      KAFKA_ADVERTISED_HOST_NAME: 192.168.0.2

      KAFKA_ADVERTISED_PORT: 9093

如何利用docker-swarm构建数据库集群？

可以的。

用什么工具无所谓，docker只不过是完成了一个套装的解决方案。软件已经安装好，直接启动带相应的参数就可以了。比如官方postgresql的经典的流复制模式搭建主从和postgresql10的逻辑复制。先启动个容器传入参数启动，数据目录，用户名密码，挂载数据盘，创建publication。一气呵成。再启动一个容器，同样设置数据目录，设置密码，挂载数据盘，创建subscription连接master。同样一气呵成。然后一个逻辑复制的小型集群就搭建好了。

但是我觉得你想问的不是怎么搭建这样一个集群，而是想知道postgresql-xl怎么把海量数据分散到不同的服务节点上去吧？这是sharding技术跟x不xl没有任何关系。postgresql-xl只不过携吵是其本身就是基于postgresql内核的分布式数据库其自运隐谨身就有代理节点，计算节点，数据节点，全局事物节点。跟docker并没有什么关系，docker就是一旁基个可以运行他的一个容器化的虚拟环境而已，可以理解成vps/虚拟机。

像官方版postgresql也可以利用其自带的分区和fdw功能去实现像postgresql-xl那样的把海量数据均衡的分布到无数个服务器节点中去。只是配置和维护稍显繁琐。

使用 Docker 搭建 Hadoop 集群 和 Spark On Yarn

选择 uhopper 定制的一系列hadoop生态镜像来搭建胡悔docker集群，这些镜像具体包括:

上述关于端口映射部分，对裤激正每铅猛个容器端口的说明可 参考

docker-compose up -d

在 /etc/hosts 下配置上述 docker 容器中出现的 hostname，将这些域名都指向本机(宿主机) IP，192.168.1.100 为本机 ip，仅供参考。

core-site.xml 增加指向 namenode 的配置，其中 hdfs://namenode:8020 指向 docker 容器中的 namenode host，因此这里我们需要在 /etc/hosts 中加入此域名，并配置为宿主机 ip

yarn-site.xml

[img]

关于docker集群和docker集群动态扩容的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。