🌟Filebeat采集数据的原理
Filebeat默认按行采集数据，如果数据没有换行，则该条数据无法采集到
属于有状态服务，可以记录上一次采集数据的位置点信息
修改配置文件
vim /etc/filebeat/config/03-log-to-console.yaml
filebeat.inputs:
- type: logpaths:- /tmp/student.jsonoutput.console:pretty: true
启动Filebeat
filebeat -e -c /etc/filebeat/config/03-log-to-console.yaml
发送测试数据
echo haha >> /tmp/student.json
offset记录的是上一次采集数据的位置点，haha是第一行，所以offset偏移量是0
echo www >> /tmp/student.json[root@elk92 ~]# tail -1 /var/lib/filebeat/registry/filebeat/log.json
{"k":"filebeat::logs::native::1703963-2052","v":{"id":"native::1703963-2052","source":"/tmp/student.json","timestamp":[45803107,1756344477],"identifier_name":"native","FileStateOS":{"inode":1703963,"device":2052},"prev_id":"","offset":0,"ttl":-1,"type":"log"}}
echo -n .zhubl. >> /tmp/student.json
echo xyz >> /tmp/student.json
🌟Filebeat采集nginx日志
安装nginx
apt -y install nginx
systemctl start nginx
ss -ntl | grep 80
访问nginx测试
http://10.0.0.92
编写Filebeat采集nginx日志
vim /etc/filebeat/config/04-nginx-to-es.yaml
filebeat.inputs:
- type: logpaths:- /var/log/nginx/access.log*#output.console:
# pretty: true# 将数据写入到ES集群
output.elasticsearch:# 指定ES集群地址hosts: ["http://10.0.0.91:9200","http://10.0.0.92:9200","http://10.0.0.93:9200"]# 指定ES的索引名称index: zhu-nginx# 禁用索引的生命周期，否则自定义索引名称无效
setup.ilm.enabled: false
# 定义索引模板
setup.template.name: "zhu-nginx"
# 定义索引模板的匹配模式
setup.template.pattern: "zhu-nginx*"
# 如果索引模板已经存在是否覆盖
setup.template.overwrite: false
# 配置索引模板
setup.template.settings:# 指定分片数量index.number_of_shards: 3# 指定副本数量index.number_of_replicas: 0启动Filebeat
filebeat -e -c /etc/filebeat/config/04-nginx-to-es.yaml
Kibana查看数据
🌟Filebeat采集tomcat日志案例
下载tomcat
官网下载tomcat：https://dlcdn.apache.org/tomcat/tomcat-11/v11.0.10/bin/apache-tomcat-11.0.8.tar.gz
wget https://dlcdn.apache.org/tomcat/tomcat-11/v11.0.10/bin/apache-tomcat-11.0.8.tar.gz
解压软件包
tar xf apache-tomcat-11.0.8.tar.gz -C /usr/local/
添加环境变量
1.编辑环境变量配置文件
vim /etc/profile.d/tomcat.sh
#!/bin/bash
export TOMCAT_HOME=/usr/local/apache-tomcat-11.0.8
export JAVA_HOME=/usr/share/elasticsearch/jdk
export PATH=$PATH:$TOMCAT_HOME/bin:$JAVA_HOME/bin2.加载环境变量配置文件
source /etc/profile.d/tomcat.sh
启动tomcat
startup.sh
浏览器访问
http://10.0.0.93:8080/
编写Filebeat的配置文件
vim /etc/filebeat/config/05-tomcat-to-es.yml
filebeat.inputs:
- type: logpaths:- /usr/local/apache-tomcat-11.0.8/logs/localhost_access_log.*.txt#output.console:
# pretty: true# 将数据写入到ES集群
output.elasticsearch:# 指定ES集群地址hosts: ["http://10.0.0.91:9200","http://10.0.0.92:9200","http://10.0.0.93:9200"]# 指定ES的索引名称index: zhu-tomcat# 禁用索引的生命周期，否则自定义索引名称无效
setup.ilm.enabled: false
# 定义索引模板
setup.template.name: "zhu-tomcat"
# 定义索引模板的匹配模式
setup.template.pattern: "zhu-tomcat*"
# 如果索引模板已经存在是否覆盖
setup.template.overwrite: false
# 配置索引模板
setup.template.settings:# 指定分片数量index.number_of_shards: 3# 指定副本数量index.number_of_replicas: 0
启动Filebeat
filebeat -e -c /etc/filebeat/config/06-tomcat-to-es.yaml
Kibana查看数据
🌟Filebeat多实例
如果在工作中需要启动多个Filebeat实例，则可以使用" --path.data"参数指定不同的数据目录，若目录不存在则会自动创建
如果工作中Filebeat停止可以使用kill命令操作来停止服务
启动实例一
filebeat -e -c /etc/filebeat/config/04-nginx-to-es.yml
启动实例二
filebeat -e -c /etc/filebeat/config/05-tomcat-to-es.yaml --path.data /tmp/xixi
查看进程信息
ps -ef | grep filebeat
🌟Filebeat采集多种业务日志
编写Filebeat配置文件
vim /etc/filebeat/config/06-multiple_input-to-es.yaml
filebeat.inputs:
- type: logpaths:- /var/log/nginx/access.log*tags: "nginx"
- type: logpaths:- /usr/local/apache-tomcat-11.0.8/logs/localhost_access_log.*.txttags: "tomcat"output.elasticsearch:hosts: ["http://10.0.0.91:9200","http://10.0.0.92:9200","http://10.0.0.93:9200"]# 根据条件判断，将数据写入不同的索引indices:# 指定索引的名称- index: "zhu-contains-nginx-%{+yyyy.MM.dd}"# 指定匹配条件when.contains:tags: "nginx"- index: "zhu-contains-tomcat-%{+yyyy.MM.dd}"when.contains:tags: "tomcat"setup.ilm.enabled: false
setup.template.name: "zhu-contains"
setup.template.pattern: "zhu-contains*"
setup.template.overwrite: false
setup.template.settings:index.number_of_shards: 3index.number_of_replicas: 0
启动实例
filebeat -e -c /etc/filebeat/config/06-multiple_input-to-es.yaml
kibana出图展示
🌟Filebeat采集docker日志
安装Filebeat
dpkg -i filebeat-7.17.29-amd64.deb
编写Filebeat配置文件
vim /etc/filebeat/docker-to-es.yaml
filebeat.inputs:
- type: containerpaths: - '/var/lib/docker/containers/*/*.log'# 添加处理器。
processors:# 添加docker的元数据信息。- add_docker_metadata:# 找本地的套接字文件。host: "unix:///var/run/docker.sock"output.elasticsearch:hosts: ["http://10.0.0.91:9200","http://10.0.0.92:9200","http://10.0.0.93:9200"]index: zhu-dockersetup.ilm.enabled: false
setup.template.name: "zhu-docker"
setup.template.pattern: "zhu-docker*"
setup.template.overwrite: false
setup.template.settings:index.number_of_shards: 6index.number_of_replicas: 0
启动实例
filebeat -e -c /etc/filebeat/docker-to-es.yaml
kibana查询
🌟Filebeat排除不必要的行exclude_lines
编写Filebeat配置文件
vim /etc/filebeat/docker-to-es.yaml
filebeat.inputs:
- type: containerpaths: - '/var/lib/docker/containers/*/*.log'# 排除不必要的行。exclude_lines: ['.*notice','.*entrypoint','.*listen']# 添加处理器。
processors:# 添加docker的元数据信息。- add_docker_metadata:# 找本地的套接字文件。host: "unix:///var/run/docker.sock"output.elasticsearch:hosts: ["http://10.0.0.91:9200","http://10.0.0.92:9200","http://10.0.0.93:9200"]index: zhu-dockersetup.ilm.enabled: false
setup.template.name: "zhu-docker"
setup.template.pattern: "zhu-docker*"
setup.template.overwrite: false
setup.template.settings:index.number_of_shards: 6index.number_of_replicas: 0
启动Filebeat实例
filebeat -e -c /etc/filebeat/docker-to-es.yaml
Kibana出图展示
🌟Kibana分析容器的相关指标
创建可视化
选择基于聚合
选择指标
选择docker
计数显示记录的日志总数
显示容器的数量
🌟Filebeat模块应用案例
启用模块
filebeat modules enable nginx tomcat
修改nginx的模块文件
vim /etc/filebeat/modules.d/nginx.yml
- module: nginxaccess:enabled: truevar.paths: ["/var/log/nginx/access.log*"]error:enabled: truevar.paths: ["/var/log/nginx/error.log*"]ingress_controller:enabled: false
修改tomcat的模块文件
vim /etc/filebeat/modules.d/tomcat.yml
- module: tomcatlog:enabled: truevar.input: filevar.paths:- /usr/local/apache-tomcat-11.0.8/logs/localhost_access_log.*.txt
修改Filebeat的配置文件
vim /etc/filebeat/config/07-modules-to-es.yaml
# 启用Filebeat模块
filebeat.config.modules:# 指定模块的路径path: ${path.config}/modules.d/*.yml# 是否支持热加载配置reload.enabled: trueoutput.elasticsearch:hosts: ["http://10.0.0.91:9200","http://10.0.0.92:9200","http://10.0.0.93:9200"]index: zhu-modules-xixisetup.ilm.enabled: false
setup.template.name: "zhu-modules"
setup.template.pattern: "zhu-modules*"
setup.template.overwrite: false
setup.template.settings:index.number_of_shards: 3index.number_of_replicas: 0
启动Filebeat实例
filebeat -e -c /etc/filebeat/config/07-modules-to-es.yaml
🌟基于Filebeat的模块分析nginx访问日志
Filebeat模块配置
vim /etc/filebeat/modules.d/nginx.yml
- module: nginxaccess:enabled: truevar.paths: ["/root/access.log*"]error:enabled: falsevar.paths: ["/var/log/nginx/error.log*"]ingress_controller:enabled: false
编写Filebeat配置文件
vim /etc/filebeat/config/08-modules_nginx-to-es.yaml
filebeat.config.modules:path: ${path.config}/modules.d/nginx.ymlreload.enabled: trueoutput.elasticsearch:hosts: ["http://10.0.0.91:9200","http://10.0.0.92:9200","http://10.0.0.93:9200"]index: zhu-modules-efk-nginxsetup.ilm.enabled: false
setup.template.name: "zhu-modules"
setup.template.pattern: "zhu-modules*"
setup.template.overwrite: false
setup.template.settings:index.number_of_shards: 3index.number_of_replicas: 0
启动Filebeat实例
filebeat -e -c /etc/filebeat/config/08-modules_nginx-to-es.yaml
Kibana出图分析指标
wc -l /root/access.log
kibana统计全球用户分布图
kibana统计带宽
kibana统计PV
kibana统计IP
Kibana统计设备类型
kibana统计操作系统占比
kibana仪表盘Dasboard制作
