StirngBoot+ELK+Kafka记录日志,超详细搭建过程!

Judy ·
更新时间:2024-11-10
· 756 次阅读

实现功能 1.可视化展示日志 2.根据日记等级,日志内容,时间匹配日志 3.日志流,可以感觉条件筛选

可以非常快速的查询StirngBoot日志,达到出现异常及时告警,异常分类统计功能。
下面截图看下效果:
在这里插入图片描述
日志流:
在这里插入图片描述
下图是网上找到的流程图:
1.StringBoot通过logback将日志写入到kafka中
2.logstash消费kafka中的消息(日志),经过过滤,输出到elasticsearch
3.最后kibana将elasticsearch收集的日志进行展示
在这里插入图片描述

下面详细讲解搭建过程,分成部分

一.环境准备 二 .SpringBoot+logback配置 三.ELK环境搭建 四.kibana使用简单介绍 一.环境准备 1.1检查环境

ElasticSearch需要jdk8,官方建议我们使用JDK的版本为1.8.0_131,原文如下:

Elasticsearch requires at least Java 8. Specifically as of this writing, it is recommended that you use the Oracle JDK version 1.8.0_131

检查完毕后,我们可以分别在官网下载对应的组件

ElasticSearch 7.5.2(elk可以在这里下载https://www.elastic.co/cn/downloads/)
Kibana 7.5.2
Logstash 7.5.2
kafka(可以去kafka官网下载,这里不够赘述)
zookeeper(可以使用kafka自带的zk)

二 .SpringBoot+logback配置

在pom中引入

org.springframework.kafka spring-kafka com.github.danielwegener logback-kafka-appender 0.2.0-RC2 net.logstash.logback logstash-logback-encoder 6.1

在logback.xml加入下面的配置
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这样SpringBoot项目启动后,产生的日志就会写入到kafka中

三.ELK环境搭建 3.1 logstash搭建

在官网下载gz包后,解压
进入主目录下的conf目录,创建一个logstash.conf(可以直接复制logstash-sample.conf )
cp logstash-sample.conf logstash.conf
编辑 logstash.conf
vim logstash.conf
加入以下配置

在这里插入图片描述
在这里插入图片描述

然后启动logstash
./bin/logstash -f config/logstash.conf

3.1 elasticsearch搭建

解压后进入主目录

打开配置 ,因为不是集群,是单节点所以需要配置
cluster.initial_master_nodes: [“node-1”]

启动es
./bin/elasticsearch

3.1 kibana搭建

解压后进入主目录
配置 config/kibana.yml

server.host: 192.168.109.134 (本机ip)
elasticsearch.hosts: [“http://localhost:9200”] (es地址)

然后直接启动 kibana
./bin/kibana

四.kibana使用简单介绍

kibana启动之后再浏览器打开

http//:ip:5601

下面演示查看日志

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

到此,创建了匹配规则,就可以去查看日志了

在这里插入图片描述

日志就可以完美的展示了 日志流我这里就不多描述了,大家可以去体验一下,超级简单 搭建过程中遇到问题,欢迎反馈 谢谢。
作者:neil_yun



elk kafka

需要 登录 后方可回复, 如果你还没有账号请 注册新账号