处理的是nginx日志，场景是不同业务域名有一套独立的access.log和error.log，需求是通过filebeat采集后推送到不同的kafka，配置文件如下： filebeat.prospectors:-type:logenabled:truepaths:-/home/work/log/...
2018-06-13 1144℃ 矢量比特 7 喜欢
在elk集群搭建过程中，为了极大程度的利用服务器资源，kafka、zookeeper、logstash规划混跑在了同一组服务器上。随着业务量的增加，要频繁增加调整kafka的topic，出现问题时还要去服务器敲命令查...
2018-05-24 3472℃ 矢量比特 36 喜欢
网络属于基础资源，每当收到告警时总难免要先看一下网络有没有问题，即时没有收到网络方面的通告，业务开发也难免怀疑是网络抖动导致，每次找网络部门查，查多了也伤感情，在...
2018-05-24 420℃ 矢量比特 3 喜欢
实时日志分析作为掌握业务情况、故障分析排查的一个重要手段，目前使用最多最成熟的莫过于ELK方案，整体方案也有各种架构组合，像(Rsyslog/filebeat/...)->Elastic->Kibana、(Rsyslog/filebeat/...)->Redis...
2018-04-15 9754℃ 矢量比特 148 喜欢
logstash在整个日志分析方案中起到了数据清洗的作用，在向es推数据时一个很重的细节是timestamp的设定，如果按照流时间走默认值，是不利于后期的分析的，所以需要通过各种方式将日志...
2017-12-13 2057℃ 矢量比特 4 喜欢
