处理的是nginx日志，场景是不同业务域名有一套独立的access.log和error.log，需求是通过filebeat采集后推送到不同的kafka，配置文件如下： filebeat.prospectors:-type:logenabled:truepaths:-/home/work/log/...
2018-06-13 1013℃ 矢量bit 7 喜欢
在elk集群搭建过程中，为了极大程度的利用服务器资源，kafka、zookeeper、logstash规划混跑在了同一组服务器上。随着业务量的增加，要频繁增加调整kafka的topic，出现问题时还要去服务器敲命令查...
2018-05-24 3225℃ 矢量bit 34 喜欢
实时日志分析作为掌握业务情况、故障分析排查的一个重要手段，目前使用最多最成熟的莫过于ELK方案，整体方案也有各种架构组合，像(Rsyslog/filebeat/...)->Elastic->Kibana、(Rsyslog/filebeat/...)->Redis...
2018-04-15 9550℃ 矢量bit 146 喜欢
logstash在整个日志分析方案中起到了数据清洗的作用，在向es推数据时一个很重的细节是timestamp的设定，如果按照流时间走默认值，是不利于后期的分析的，所以需要通过各种方式将日志...
2017-12-13 1903℃ 矢量bit 3 喜欢
业务中通过rsyslog监控本地文件收集了一些redis和mc的慢日志，推到elk集群分析，这些日志一天一个文件，每晚零点5分通过计划任务用软连接的方式将新的文件固定到指定文件下，但是最...
2017-06-13 1038℃ 矢量bit 12 喜欢
