ELK之filebeat

filebeat是beat之一,logstash 和filebeat都具有日志收集功能,filebeat更轻量,占用资源更少,但logstash 具有filter功能,能过滤分析日志。一般结构都是filebeat采集日志。然后发送给logstash,利用filter功能过滤分析,然后存储到elasticsearch中

简介

Beats 是轻量级(资源高效,无依赖性,小型)和开放源代码日志发送程序的集合,这些日志发送程序充当安装在基础结构中不同服务器上的代理,用于收集日志或指标(metrics)。这些可以是日志文件(Filebeat),网络数据(Packetbeat),服务器指标(Metricbeat)或 Elastic 和社区开发的越来越多的 Beats 可以收集的任何其他类型的数据。

Filebeat是Elastic Beats。Beats 建立在名为 libbeat 的 Go 框架之上,该框架用于数据转发,是用于转发和集中日志数据的轻量级传送程序。 作为服务器上的代理安装,监视您指定的日志文件或位置,收集日志事件,并将它们转发到Elasticsearch或Logstash等。

安装与配置

实例注意格式对齐

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /usr/local/logs/access.log
  fields:
    level: debug
    review: 1
  # 将fields中变量放在根目录
  fields_under_root: true  

# ============================== Filebeat modules ==============================
path.data: /home/filebeat/data   #指定data目录
path.logs: /home/filebeat/logs	 #指定logs目录

# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:
  hosts: ["192.168.1.64:9333"]
# ------------------------------ Logstash Output -------------------------------
output.logstash:
  hosts: ["127.0.0.1:5044"]

配置简介

tar -zxvf filebeat.tar.gz
# 其中zxvf含义分别如下
# z:   gzip            压缩格式
# x:   extract          解压
# v:   verbose        详细信息
# f:   file(file=archieve)    文件
cd filebeat
./filebeat -e -c filebeat.yml
#filebeat.yml 默认配置文件:主要包括一下模块
###---------------
#Filebeat inputs:输入模块
    #其他包括屏蔽、自定义字段、字符集等配置
    #!- type: log  
    #!  enabled: true  !启用配置选项:默认fasle 需改true 
    #!  paths:
    #!    - /var/local/nginx/logs/access.log
#Filebeat modules:Filebeat配置模块
	#指定logs/data等
#Elasticsearch template setting:Elasticsearch模板配置
#General:一般配置项
	#tip:可以添加默认标、签字段等
#Dashboards:仪表盘配置
	#将示例仪表板加载到Kibana索引。
#Kibana:Kibana配置
	#仪表板通过Kibana API加载
#Elastic Cloud:Elastic云配置
	#https://cloud.elastic.co/
###---------------
#Outputs:输出模块
	#Elasticsearch Output
	#Logstash Output
	#Processors
	#Logging
	#X-Pack Monitoring: X-Pack监控
		#X-pack监控组件使您可以通过Kibana轻松地监控ElasticSearch
	#Instrumentation: 仪器仪表
	#Migration: 迁移配置

启动

  • filebeat -e -c filebeat.yml
    • -e :控制台输出
    • -c :指定配置文件

其他

filebeat.yml 格式严格,注意对齐

Licensed under 京ICP备17003353号-3