简介
Beats 是轻量级(资源高效,无依赖性,小型)和开放源代码日志发送程序的集合,这些日志发送程序充当安装在基础结构中不同服务器上的代理,用于收集日志或指标(metrics)。这些可以是日志文件(Filebeat),网络数据(Packetbeat),服务器指标(Metricbeat)或 Elastic 和社区开发的越来越多的 Beats 可以收集的任何其他类型的数据。
Filebeat是Elastic Beats。Beats 建立在名为 libbeat 的 Go 框架之上,该框架用于数据转发,是用于转发和集中日志数据的轻量级传送程序。 作为服务器上的代理安装,监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或Logstash等。
安装与配置
实例注意格式对齐
filebeat.inputs:
- type: log
enabled: true
paths:
- /usr/local/logs/access.log
fields:
level: debug
review: 1
# 将fields中变量放在根目录
fields_under_root: true
# ============================== Filebeat modules ==============================
path.data: /home/filebeat/data #指定data目录
path.logs: /home/filebeat/logs #指定logs目录
# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:
hosts: ["192.168.1.64:9333"]
# ------------------------------ Logstash Output -------------------------------
output.logstash:
hosts: ["127.0.0.1:5044"]
配置简介
tar -zxvf filebeat.tar.gz
# 其中zxvf含义分别如下
# z: gzip 压缩格式
# x: extract 解压
# v: verbose 详细信息
# f: file(file=archieve) 文件
cd filebeat
./filebeat -e -c filebeat.yml
#filebeat.yml 默认配置文件:主要包括一下模块
###---------------
#Filebeat inputs:输入模块
#其他包括屏蔽、自定义字段、字符集等配置
#!- type: log
#! enabled: true !启用配置选项:默认fasle 需改true
#! paths:
#! - /var/local/nginx/logs/access.log
#Filebeat modules:Filebeat配置模块
#指定logs/data等
#Elasticsearch template setting:Elasticsearch模板配置
#General:一般配置项
#tip:可以添加默认标、签字段等
#Dashboards:仪表盘配置
#将示例仪表板加载到Kibana索引。
#Kibana:Kibana配置
#仪表板通过Kibana API加载
#Elastic Cloud:Elastic云配置
#https://cloud.elastic.co/
###---------------
#Outputs:输出模块
#Elasticsearch Output
#Logstash Output
#Processors
#Logging
#X-Pack Monitoring: X-Pack监控
#X-pack监控组件使您可以通过Kibana轻松地监控ElasticSearch
#Instrumentation: 仪器仪表
#Migration: 迁移配置
启动
- filebeat -e -c filebeat.yml
- -e :控制台输出
- -c :指定配置文件
其他
filebeat.yml 格式严格,注意对齐