dockerelk（dockerelk搭建）

本篇文章给大家谈谈dockerelk，以及dockerelk搭建对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、springboot在docker中无法输出日志到Logstash
• 2、SpringBoot 整合 elk
• 3、docker-compose安装ELK
• 4、docker安装ELK 收集springboot日志(方法1)
• 5、ELK+filebeat inside docker LTS 长期维护文档

springboot在docker中无法输出日志到Logstash

在搭建了基于docker的 ELK 日志系统后，使用springboot（其实和什么开发的无关）开发web app，作为container运行在docker容器里，写入Logstash失败，但是本机运行调试的日志都可以写入。

因为docker的日志似乎必拍雹须使用 docker logs 指令来查看，记录历嫌到container目录下，也不知道为什么就是写入不了Logstash。

=======2021.03.11更新=======

偷懒的办法是直接把ip改为外网IP即可，费点云服务器流量

实际以下介绍的方法肢贺手，日志格式有很大缺陷，不建议采用

logback.xml

启动web app

docker run --name api -d --net host my/api

相当于直接输出日志到控制台，然后让docker输出到logstash。

logback.xml

启动时，加上几个参数就可以输出日志了

docker run --name api -d --net host --log-driver=syslog --log-opt syslog-address=tcp://127.0.0.1:5000 my/api

[img]

SpringBoot 整合 elk

一、elk 简介

二、elk的安装

我们采用的 docker 镜像安装。

由于sebp/雀稿elk中logstash的input的方式默认是filebeat,首先们需要进入elk容器中修改input方式。logstash默认会将etc/logstash/conf.d/中的配置文件进行整合然后启动。

修改 02-beats-input.conf 文件，修改如下：

保存后，我们使用 control + P + Q 退出唯猜容器。然后重启容器，让我们的配置生效。

我们访问

三、创建工程

创建工程springboot-elk ，并使用logback 记录日志。

1. pom.xml

2. 启动类

3. logback-spring.xml

启动工程，日志会存入elasticsearch中，通过Kibana 的web界面，配置后，我们就顷山孝可看到，下面我简单的修改下配置。

三、配置 pattern

配置 pattern 输入*，匹配所有数据。

选择时间@timestamp，这样数据展示会以时间排序

好了 ，点击discover，就可以看到我们springboot-elk项目的日志信息了。

docker-compose安装ELK

ELK是Elasticsearch+Logstash+Kibana简称

1、编写/data/elk/docker-compose.yml

2、新建文件；安装、贺前运行ELK

3、汉化kibana

1、安装htpasswd工具

2、设置用户名和密码，并把用户名、密码保存到指定文件中：

3、修改nginx配置文件，并禅孝清且重启nginx服务

4、访问需要输入登录账号、密码

5、（补充）htpasswd 其他参数

命令格式：

htpasswd [-cmdpsD] [passwdfile] [username]

htpasswd -b[cmdpsD] [passwdfile] [username] [password]

htpasswd -n[mdps] username

htpasswd -nb[mdps] username password

参数说明：

-c 创建一个加密文件

-n 不更新加密文件，只将htpasswd命令加密后的用户名密码显示在屏幕上

-m 默认htpassswd命令采用慎早MD5算法对密码进行加密

-d htpassswd命令采用CRYPT算法对密码进行加密

-p htpassswd命令不对密码进行进行加密，即明文密码

-s htpassswd命令采用SHA算法对密码进行加密

-b htpassswd命令行中一并输入用户名和密码而不是根据提示输入密码

-D 删除指定的用户

新增用户role02

htpasswd -b [passwdfile] [username] [passwd]

docker安装ELK 收集springboot日志(方法1)

1 、 logstash中安装json_lines插件并重启logstash

2、在SpringBoot项目pom.xml文件中添加logstash-logback-encoder依赖

3、logback.xml文件添好纯加配置，让logback的日志樱核输出友颂咐到logstash

4、启动springboot应用

5、使用 kibana 查看日志信息

ELK+filebeat inside docker LTS 长期维护文档

决定写一遍文档 记录容器化elk+filebeat 的学习过程的心得日志, 记录的出发点是从我一脸懵逼的状态开始的,所以应该会很适合第一次接触elk的朋友们.

Tips:

获取镜像

docker pull sebp/elk:630

docker pull docker.elastic.co/beats/filebeat:6.3.1

运行 elk

docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk

启动elk意外的简单,体现出了容器化的优点,非常简单的就能启动程序, 打开kibana的5601端口进去溜达一下了, 但是里面是空的 没有数据. 我学习elk的目的是为了监控我目前正在使用的裤码晌docker log,所以下一步是打断用filebeat来转发日志到elk上.

首先用filebeat转发本地的一个log.txt文件 一会我们往里面echo 东西做调试.

运行 filebeat

docker run -v /home/daniel/Documents/elk/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /home/daniel/Documents/elk/:/home/daniel/Documents/elk/ docker.elastic.co/beats/filebeat:6.3.1

filebeat可以把日志直接转发到ES 或者转发到logstash, 其中的区别取决于你是否需要在ES之前需要对数据进行过滤 聚合等操作, 如果暂时没需求 也可以直接转到ES上, (这里建议先发模迟到ES上, logstash会遇到SSL证书的问题) 或者转到redis或者kafka后面再学习这种情况.

filebeat启动也很简单, 问题是启动了之后 elk里啥也没有.查了很多文档 发现filebeat启动需要挂载filebeat.yml配置文件

这里的output配置了logstash跟es的,暂时先把logstash的disable掉, 注意不要使用localhost, 不然连不上 需要使用LAN ip.

启动filebeat时挂载了两个目录,第一个是filebeat.yml, 这是filebeat的配置文件,需要挂载进去.

第二个是需要监控的log目录 也需要挂载进去.

挂载log目录跟filebeat.yml配置一样的 log目录之后, 会发现filebeat启动时会打印

Harvester started for file: /home/daniel/Documents/elk/nima.log

如果没有挂载log目录,则没有havester启动信息.

现在就可以在elk里看到Log了. 第一步成功了.

这里如果要output到logstash的话,需要注意要么filebeat要使用logstash里的ssl证书,要么logstash把默认的配置filebeat的文件去掉ssl功能.

我是通过重新打docker image的方式去掉logstash里的ssl配置

把 /etc/logstash/conf.d/02-beats-input.conf 拷贝出来 把里面关于SSL的三行去掉

docker cp CONTAINER_ID /etc/logstash/conf.d/02-beats-input.conf .

创建胡锋Dockerfile

docker build -t my_elk .

docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name my_elk my_elk

有一个问题是 每次把filebeat docker 关了 再run之后发现 elk里的log每次都重新读取了一次,都是重复的,

然后查看文档 在filebeat里 有一个registry的文件是负责记录读取的log的状态的, 而我每次启动filebeat都是docker run一个新的

而不是 继续用老的filebeat 容器, 所以会重复, 总之就是 filebeat跟elk的容易不需要每次都创建,因为他们在容器内都会需要记录一下内容.

下一步是准备用filebeat转发目前使用中的docker的log

首先需要要需要转发log的机器上运行filebeat

docker tag docker.elastic.co/beats/filebeat i71:5000/filebeat

docker push i71:5000/filebeat

后面这个是我在使用的docker private registry

然后再目标机器上pull下来

docker pull i71:5000/filebeat

docker log所在的目录是 /var/lib/docker/containers/ / .log

可以在path中 指定这个地方

然后别忘了启动filebeat时挂在docker container log目录

docker run -v /root/elk/filebeat.yml:/usr/share/filebeat/filebeat.yml -v /var/lib/docker/containers:/var/lib/docker/containers i71:5000/filebeat

发现filebeat启动时没有havester启动的日志

docker exec CONTAINER_ID bash

进去看一下发现挂在的docker目录没权限 进不去

所以需要在宿主机执行 sudo chmod -R 755 /var/lib/docker/containers

给上读与执行的权限

再次启动filebeat就可以看到havester的消息了.

这样的配置方法是可以拿到所有docker的log 优点是 以后新创建的docker的log也会被捕获到, 缺点是 如果机器上的docker 太多的话,log会很多,目前我还不会过滤 所以 看着很难受

elk 官方提供了一种实验性的读取docker log的 filebeat配置方式

注意这里的container_id不能使简写 , 可以先用 docker ps 看到简写id之后在 ls /var/lib/docker/containers/ 里去找

或者 使用命令 docker ps --no-trunc=true 获得container 完整ID

这样就简洁多了,就是发版本时docker 新容器需要重新配置, 暂时就这么用吧,先研究一下

现在就算是正式的可以使用elk 查看我们的docker log了

我现在首先遇到的一个明显的问题是 当python出异常时 打印出来的log 在elk里都分散开了, 而且时间顺序也没对,查看起来非常难受. 后来查到 这种事情需要配置一个叫multipleline的东西,它负责决定什么时候出换行

贴一下现在的filebeat配置文件, 整个世界清爽了很多啊

关于multiline,参考:

参考 这个是不以空格开头的 都合并

我感觉这个不适合python所以选择了 下面这种正则 不以[开头的都合并.

这个适合python

关于dockerelk和dockerelk搭建的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。