大数据系列 | 日志数据采集工具Filebeat的架构分析及应用
- 1. Filebeat的由来
- 2. Filebeat原理架构分析
- 3. Filebeat的应用
- 3.1. 安装Filebeat
- 3.2. 实战采集应用程序日志
1. Filebeat的由来
在介绍Filebeat之前，先介绍一下Beats。Beats是一个家族的统称，Beats家族有8个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、CPU及I/O等资源的消耗比较高。相比Logstash，Beats所占用的系统CPU和内存几乎可以忽略不计。
目前Beats家族中有8个成员，如图所示：
Filebeat是日志文件的轻量级采集工具。Filebeat监视你指定的日志文件或位置，收集日志事件，并将它们转发给Elasticsearch或Logstash。
Filebeat和Logstash是有一定渊源的。Logstash是在JVM中运行的，资源消耗比较大，所以Logstash的作者后来又用Go语言写了 一个功能较少但是资源消耗也较小的轻量级工具Logstash-forwarder。Logstash的作者只有一个人，后来他加入了Elastic公司，Elastic公司有一个专门的Go语言团队正在开发一个开源项目Packetbeat。参考Packetbeat项目的命名格式，Logstash的作者将 Logsta
