处理的是nginx日志，场景是不同业务域名有一套独立的access.log和error.log，需求是通过filebeat采集后推送到不同的kafka，配置文件如下： filebeat.prospectors:-type:logenabled:truepaths:-/home/work/log/...
2018-06-13 1144℃ 矢量比特 7 喜欢
在elk集群搭建过程中，为了极大程度的利用服务器资源，kafka、zookeeper、logstash规划混跑在了同一组服务器上。随着业务量的增加，要频繁增加调整kafka的topic，出现问题时还要去服务器敲命令查...
2018-05-24 3472℃ 矢量比特 36 喜欢
实时日志分析作为掌握业务情况、故障分析排查的一个重要手段，目前使用最多最成熟的莫过于ELK方案，整体方案也有各种架构组合，像(Rsyslog/filebeat/...)->Elastic->Kibana、(Rsyslog/filebeat/...)->Redis...
2018-04-15 9754℃ 矢量比特 148 喜欢
logstash在整个日志分析方案中起到了数据清洗的作用，在向es推数据时一个很重的细节是timestamp的设定，如果按照流时间走默认值，是不利于后期的分析的，所以需要通过各种方式将日志...
2017-12-13 2057℃ 矢量比特 4 喜欢
随着日志量的增加，es在不停的调整，结构层面的冷热数据分离、master和client节点的分离并引入部落节点，es集群层面的index优化、flush优化、merge优化、内存熔断优化，系统层面的GC、文...
2017-08-16 2011℃ 矢量比特 36 喜欢
