logstash在整个日志分析方案中起到了数据清洗的作用，在向es推数据时一个很重的细节是timestamp的设定，如果按照流时间走默认值，是不利于后期的分析的，所以需要通过各种方式将日志...
2017-12-13 1903℃ 矢量bit 3 喜欢
随着日志量的增加，es在不停的调整，结构层面的冷热数据分离、master和client节点的分离并引入部落节点，es集群层面的index优化、flush优化、merge优化、内存熔断优化，系统层面的GC、文...
2017-08-16 1962℃ 矢量bit 36 喜欢
站在新浪的讲台上做分享，发博留念，感觉很棒。进入互联网行业做应用运维至今，深感技术和行业变化之快，但也深知万变不离其宗的道理，凡事儿以人为本，道法自然而术变万千，...
2017-08-09 898℃ 矢量bit 16 喜欢
发展到现在，每天的日志量在15个亿左右，并引入了spark选手，业务越重，压力越大，es的index和search的优化一直是面临的最大考验，每次不合理的search带来index的延迟，甚至集群某些节点...
2017-07-08 1995℃ 矢量bit 6 喜欢
业务中通过rsyslog监控本地文件收集了一些redis和mc的慢日志，推到elk集群分析，这些日志一天一个文件，每晚零点5分通过计划任务用软连接的方式将新的文件固定到指定文件下，但是最...
2017-06-13 1038℃ 矢量bit 12 喜欢
plog是一个用python写的流式计算分析框架，适用于轻量级流式数据的分析场景，大数据场景下大家自然想到使用spark等方案。 拿当前的业务场景看，需要对机器上nginx的流日志进行状态码、...
2017-05-17 1705℃ 矢量bit 18 喜欢
ES老集群用的2.4.1版本，跑的比较好就一直没动，最近看资料ES5.X已经稳定，并且性能有较大提升，心里就发痒了，但由于业务要保持高可用的属性，就得想一个平滑升级的方案，最后想到了多实...
2017-04-10 809℃ 矢量bit 11 喜欢
基于一线工作中的积累和认识，早就想写一篇数据题材的文章了，因为各种事情一直拖了又拖，其实就是拖延癌在作祟，再就是文笔差、落字慢，脑袋里框架清晰可到了指尖却敲不出几...
2017-03-29 2173℃ 矢量bit 27 喜欢
