ELK-logstash配置fileter插件之date简单介绍(五)

date过滤器用于解析字段中的日期,然后使用该日期或时间戳作为日志存储时间(@timestamp).也可以通过target选项自定义例如syslog的时间格式:Apr 17 09:32:01,可以使用MMM dd HH:mm:ss来解析示例:将按照指定的格式,解析事件中date字段。将解析出来的内容替换到@timestamp filter { date { ...

继续阅读 »

ELK-logstash配置fileter插件之grok(四)

grok插件可以使用正则将非结构化的日志,解析成结构化日志。并且还可以使用内部预定义的正则。预定义的正则: https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns在线调试工具: https://grokdebug.herokuapp.com/一、基本使用1.使用内置正则格式:%{NUMBE...

继续阅读 »

ELK-logstash配置管道input(三)

所有input插件均支持的参数add_field: 在事件中添加属性。格式{"name" => "zhangsan" "age" => "11"}codec: 指定编解码器,默认plainenable_metric: 是否启用指标日志,默认trueid: 配置插件ID。如果没有指定ID, Logsta...

继续阅读 »

ELK-logstash配置文件(二)

logstash.ymllogstash全局属性、启动、执行相关配置node.name: 节点的描述名称,默认是主机名path.data: Logstash插件及用于持久化的目录,默认LOGSTASH_HOME/datapipeline.id: pipeline的id,默认mainpipeline.java_execution: 使用java执行引擎,默认falsepath.logs: 日志...

继续阅读 »

ELK-logstash安装和简介(一)

一、二进制安装# 下载 wget https://artifacts.elastic.co/downloads/logstash/logstash-6.8.9.tar.gz # 安装 tar xf logstash-6.8.9.tar.gz mv logstash-6.8.9 /usr/local/ # 启动 /usr/local/logstash-6.8.9/bin/logstash ...

继续阅读 »

ELK-filebeat配置处理器(八)

您可以在配置中定义processors,以便在事件发送到配置的output之前对其进行处理,比如删除,添加字段等等。一、定义处理器处理器可以定义在全局或者一些input中,还可以使用一些条件判断作出不同选择processors: - <processor_name>: when: <condition> <parameters>...

继续阅读 »

ELK-filebeat配置output(七)

filebeat支持的output有很多种,这里介绍三种配置。es,logstash,kafka。ElasticsearchLogstashKafkaRedisFileConsoleCloud一、Elasticsearch示例output.elasticsearch: hosts: ["https://localhost:9200"] index: "f...

继续阅读 »