你头疼的ELK难题，本文几乎都解决了

不推荐的原因：

• filter设置multiline后，pipline worker会自动降为1;
• 5.5 版本官方把multiline 去除了，要使用的话需下载，下载命令如下：

/usr/share/logstash/bin/logstash-plugin install logstash-filter-multiline 

示例：

filter { 
  multiline { 
    pattern => "^20.*" 
    negate => true 
    what => "previous" 
  } 
}  

5、logstash filter中的date使用

日志示例：

2018-03-20 10:44:01 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59 

date使用：

date { 
                match => ["InsertTime","YYYY-MM-dd HH:mm:ss "] 
                remove_field => "InsertTime" 
        } 

注：match => ["timestamp" ,"dd/MMM/YYYY H:m:s Z"]

匹配这个字段，字段的格式为：日日/月月月/年年年年 时/分/秒 时区，也可以写为：match => ["timestamp","ISO8601"](推荐)

date介绍：

就是将匹配日志中时间的key替换为@timestamp的时间，因为@timestamp的时间是日志送到logstash的时间，并不是日志中真正的时间。

6、对多类日志分类处理(重点)

在filebeat的配置中添加type分类：

filebeat: 
  prospectors: 
    - 
      paths: 
        #- /mnt/data/WebApiDebugLog.txt* 
        - /mnt/data_total/WebApiDebugLog.txt* 
      fields: 
        type: WebApiDebugLog_total 
    - 
      paths: 
        - /mnt/data_request/WebApiDebugLog.txt* 
        #- /mnt/data/WebApiDebugLog.txt* 
      fields: 
        type: WebApiDebugLog_request 
    - 
      paths: 
        - /mnt/data_report/WebApiDebugLog.txt* 
        #- /mnt/data/WebApiDebugLog.txt* 
      fields: 
        type: WebApiDebugLog_report 

在logstash filter中使用if，可进行对不同类进行不同处理：

filter { 
   if [fields][type] == "WebApiDebugLog_request" {   #对request 类日志 
        if ([message] =~ "^20.*- task report,.*,start time.*") {   #删除report 行 
                drop {} 
        } 
    grok { 
        match => {"... ..."} 
        } 
} 

（编辑：吕梁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!