发展到现在，每天的日志量在15个亿左右，并引入了spark选手，业务越重，压力越大，es的index和search的优化一直是面临的最大考验，每次不合理的search带来index的延迟，甚至集群某些节点...
2017-07-08 2123℃ 矢量比特 7 喜欢
业务中通过rsyslog监控本地文件收集了一些redis和mc的慢日志，推到elk集群分析，这些日志一天一个文件，每晚零点5分通过计划任务用软连接的方式将新的文件固定到指定文件下，但是最...
2017-06-13 1135℃ 矢量比特 14 喜欢
ES老集群用的2.4.1版本，跑的比较好就一直没动，最近看资料ES5.X已经稳定，并且性能有较大提升，心里就发痒了，但由于业务要保持高可用的属性，就得想一个平滑升级的方案，最后想到了多实...
2017-04-10 834℃ 矢量比特 11 喜欢
日志是supervisor打出来的python日志，且把不同格式的日志打印到了同一批文件里，需求是把带post和ERROR关键字的日志分离，并进入两个不同kafka的topic队列，目前的情况是rsyslog已经收集了nginx的访问日志，不能相互影响，就是说不能直接用if判断做分离，...
2017-04-10 599℃ 矢量比特 6 喜欢
基于一线工作中的积累和认识，早就想写一篇数据题材的文章了，因为各种事情一直拖了又拖，其实就是拖延癌在作祟，再就是文笔差、落字慢，脑袋里框架清晰可到了指尖却敲不出几...
2017-03-29 2224℃ 矢量比特 27 喜欢
