记录一次带宽一直被跑满导致无法访问的客户服务器排查记录

前言

上面这张图片其实就是答案，但是我没转的过来弯，搞了一个小时才确定原因

初诊

起因是客户服务器一直被跑满宽带，机房说都跑超标准的三倍了，我就帮客户看看啥原因
刚开始宝塔都是进不去的，因为带宽一直被占用，我就用ssh连接上了机器然后用ifstat
命令查看带宽使用情况

可以看到上行带宽跑的很猛，一直在往外输送数据
然后我就关mysql 关nginx 分别看一下是哪里的问题

开始犯浑

在确定是nginx的问题我直接判定是被攻击了，DD不至于这么少的量肯定是CC，然后问客户有套CDN，他说套了，我就纳闷了套了还能被CC到源站，然后我都问出是不是没做缓存了，他说没有缓存了我居然没去排查是不是没缓存一直在请求图片，我直接排查是不是有其他挖矿程序去了

但是根据nethogs命令提供的数据来看确实是80端口在一直被跑带宽

然后我就不知道在搞啥一直关nginx一直开，试图想找到恶意ip段拉黑

犯浑结束

我让客户关掉CDN直接解析到源站，然后观察网站日志

然后就看到了震惊的一幕，这张图一直是404是因为那张图我已经删了，之前他一直在用不同的IP请求这个图，客户开CDN没做图片缓存策略造成的