很多同学在做监控告警、异常侦测中专注于软件本身的数据，而忽略了TCP连接状态的监控，其实 TCP连接本质上真实反应了服务器和服务本身的队列情况，是最灵敏的服务阴晴表 。 现在...
2017-10-21 1112℃ 矢量比特 17 喜欢
随着日志量的增加，es在不停的调整，结构层面的冷热数据分离、master和client节点的分离并引入部落节点，es集群层面的index优化、flush优化、merge优化、内存熔断优化，系统层面的GC、文...
2017-08-16 2011℃ 矢量比特 36 喜欢
发展到现在，每天的日志量在15个亿左右，并引入了spark选手，业务越重，压力越大，es的index和search的优化一直是面临的最大考验，每次不合理的search带来index的延迟，甚至集群某些节点...
2017-07-08 2123℃ 矢量比特 7 喜欢
业务中通过rsyslog监控本地文件收集了一些redis和mc的慢日志，推到elk集群分析，这些日志一天一个文件，每晚零点5分通过计划任务用软连接的方式将新的文件固定到指定文件下，但是最...
2017-06-13 1135℃ 矢量比特 14 喜欢
plog是一个用python写的流式计算分析框架，适用于轻量级流式数据的分析场景，大数据场景下大家自然想到使用spark等方案。 拿当前的业务场景看，需要对机器上nginx的流日志进行状态码、...
2017-05-17 1796℃ 矢量比特 18 喜欢
