发展到现在，每天的日志量在15个亿左右，并引入了spark选手，业务越重，压力越大，es的index和search的优化一直是面临的最大考验，每次不合理的search带来index的延迟，甚至集群某些节点...
2017-07-08 2123℃ 矢量比特 7 喜欢
业务的系统结构是nginx+php-fpm，服务器是12核cpu、16G的内存，工作中cpu、内存、io、网络利用率都不高，但QPS就是跑不上去，超过800就会有少量错误并且性能下降，push瞬间服务就会抖动。排除了依...
2017-06-16 1891℃ 矢量比特 16 喜欢
业务中通过rsyslog监控本地文件收集了一些redis和mc的慢日志，推到elk集群分析，这些日志一天一个文件，每晚零点5分通过计划任务用软连接的方式将新的文件固定到指定文件下，但是最...
2017-06-13 1135℃ 矢量比特 14 喜欢
通过tcpdump抓包，然后拿到wireshark分析已成为常用的技术手段，wireshark人性化的界面和功能设计，为包分析提供了诸多便利条件。不过调整后的显示也会为看包人员带来一些误解，拿一个...
2017-05-23 619℃ 矢量比特 17 喜欢
plog是一个用python写的流式计算分析框架，适用于轻量级流式数据的分析场景，大数据场景下大家自然想到使用spark等方案。 拿当前的业务场景看，需要对机器上nginx的流日志进行状态码、...
2017-05-17 1796℃ 矢量比特 18 喜欢
