目录

一、准备阶段

二、实验阶段

1.配置kibana主机

2.配置elasticsearch主机

3.配置logstash主机

4.配置/etc/filebeat/filebeat.yml

三、验证

1.开启Filebeat

2.在logstash查看

3.浏览器访问kibana

---

一、准备阶段

1.准备四台主机kibana、es、logstash、filebeat

2.在四台主机分别安装kibana、elasticsearch、logstash、filebeat

3.在elasticsearch、logstash两台主机安装java

4.在filebeat主机安装nginx

二、实验阶段

1.配置kibana主机

（1）修改kibana主机的hosts文件

        vim /etc/hosts

（2）修改/etc/kibana/kibana.yml文件

• 开启端口和定义服务监听地址

• 开启节点

• 定义 Elasticsearch 节点地址

• 开启并定义 Kibana 系统数据的存储索引名称

• 修改kibana语言

2.配置elasticsearch主机

（1）修改elasticsearch主机的hosts文件

        vim /etc/hosts

（2）修改/etc/elasticsearch/elasticsearch.yml文件

• 开启集群名称和节点配置

• 开启监听

• 开启候选节点名称

（3）启动elasticsearch

3.配置logstash主机

（1）修改logstash主机的hosts文件

        vim /etc/hosts

（2）将 Logstash 的可执行文件路径映射到系统的通用可执行目录中

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

（3）在/etc/logstash/conf.d/下随机 vim 一个 后缀.conf的文件（名称任意起）

• 配置该文件

input {
        file {
                path => "/var/log/messages"
                start_position => "beginning"
        }
        beats {
                port => 5044
        }
}
filter {
  if [host][name] {
    mutate { add_field => { "hostname" => "%{[host][name]}" } }
  }
  else if [agent][hostname] {
    mutate { add_field => { "hostname" => "%{[agent][hostname]}" } }
  }
  else {
    mutate { add_field => { "hostname" => "%{host}" } }
  }
}
output {
  if [hostname] == "logstash" {
        elasticsearch {
                hosts => ["192.168.33.134:9200"]
                index => "system-log-%{+YYYY.MM.dd}"
        }
  }
  else if [hostname] == "filebeat" {
        elasticsearch {
                hosts => ["192.168.33.134:9200"]
                index => "filebeat-log-%{+YYYY.MM.dd}"
        }
  }
  stdout {
        codec => rubydebug
  }
}

4.配置/etc/filebeat/filebeat.yml

• 开启日志

• 关闭elasticsearch

• 开启logstash

三、验证

1.开启Filebeat

systemctl start filebeat

2.在logstash查看

logstash -f /etc/logstash/conf.d/sys.conf 

3.浏览器访问kibana

四、添加收集nginx的日志

1.修改Filebeat主机的/etc/filebeat/filebeat.yml文件

• 添加nginx日志

2.重启filebeat，开启nginx

3.修改logstash主机/etc/logstash/conf.d/pipline.conf文件

input {
        file {
                path => "/var/log/messages"
                start_position => "beginning"
        }
        beats {
                port => 5044
        }
}
filter {
  if [host][name] {
    mutate { add_field => { "hostname" => "%{[host][name]}" } }
  }
  else if [agent][hostname] {
    mutate { add_field => { "hostname" => "%{[agent][hostname]}" } }
  }
  else {
    mutate { add_field => { "hostname" => "%{host}" } }
  }
}
output {
  if [hostname] == "logstash" {
        elasticsearch {
                hosts => ["192.168.33.134:9200"]
                index => "system-log-%{+YYYY.MM.dd}"
        }
  }
  else if [hostname] == "web1" {
    if "system" == [tags] {
         elasticsearch {
                hosts => ["192.168.33.134:9200"]
                index => "web1-log-%{+YYYY.MM.dd}"
         }        
    }
    if "nginx-access" in [tags] {
         elasticsearch {
                hosts => ["192.168.33.134:9200"]
                index => "web1-nginx-access-log-%{+YYYY.MM.dd}"
         }        
    }
    if "nginx-error" in [tags] {
         elasticsearch {
                hosts => ["192.168.33.134:9200"]
                index => "web1-nginx-error-log-%{+YYYY.MM.dd}"
         }        
    }
  }
  stdout {
        codec => rubydebug
  }
}

4.收集日志

logstash -f /etc/logstash/conf.d/pipline.conf 

5.浏览器访问kibana