这次攻击事件已经过去将近两个月的时间,之前一直想写下来和大家分享,不过由于种种原因未能如愿,呵呵~首先我说一下这次攻击事件对我的一个提醒就是——在遭遇网络攻击的情况下,“发散性思维”是非常重要的!
网络设备连接顺序如下:ISP-防火墙-上网行为管理-核心交换机-内网。
详细过程:
1、A日这天,按时来到公司,经过了例行的机房点检和设备、服务状态、日志查看后,一切如常!却不知一场突如其来的内网攻击即将到来。
中午9时许,某同事突然发现网络阻塞严重,页面打开极为缓慢,紧接着外网中断,所有外网无法访问、所有internet发布无法访问,所有与分公司vpn中断,而内网一切正常。
首先想到的是防火墙,进入防火墙管理界面查看,防火墙CPU负载满满的100%标红(一般防火墙CPU负载超过80%就会出现丢包情况),怀疑防火墙死机,于是果断重启防火墙,经历了将近15分钟的等待,防火墙重启完毕,OK,一切恢复正常,可是还没有来得及呵呵笑两声,防火墙CPU又飙升至100&,又回到重启前的状态。
完了!防火墙硬件可能故障了,赶紧联系厂商工程师协助解决。紧接着防火墙下线,可是空负载重启之后,防火墙一切正常,于是立即查看防火墙日志信息,发现了两台内网的机器中了木马,于是果断排查,很快找到了那两台机器,立即断网,无话可说,充装系统!
防火墙立即上线,这下好了,外网可以访问了,但是负载仍在85%以上。与此同时,服务器方面也进行了一次快速排查,没有发现异常情况。
2、终于松了一口气,最起码公司业务可以继续进行了。此时已到了午饭时间~饭后,顺着防火墙往下查看,发现上网行为管理设备session高达70W(平时高峰期不到20W)防火墙亦如此。
怀疑遭受了DDOS攻击(此时尚以为攻击源来自外网),由于上网行为管理设备带有简单防火墙功能,求助厂商后,由厂商工程师进行了远程操作,打开了防DDOS功能。
可是网络状态依然如常,没有任何恢复。由于担心下班之后客户端关机无法查找攻击源,继续查看日志信息,终于发现了某一异常外网IP,果断进行ACL策略配置,可惜收效甚微。不知不觉的,已经快到了下班时间,
此时领导提议,是否攻击源来自内网,一下提醒了我等,抱着试试的心态在核心交换立马配置镜像端口进行sniffer抓包,好家伙,这一抓不要紧,总算找到了根源,sniffer显示,在10秒中的抓包中,发现内网大量伪装IP连接一个越南的IP,找到根源,配置ACL,应用核心交换总出口!阿弥陀佛,一切终于恢复了正常!
找到了攻击源,正准备逐步排查,叮铃铃下班时间到了,客户端关机下线了,sniffer再也抓不到了!
3、B日来到公司,守了一整天,攻击客户端消失了,估计被杀软给干掉了!如果诸位午饭以为此事已经结束,NO NO NO !什么都想到了,只是没有想到上网行为设备厂商工程师把我们给坑了一把:
当时厂商工程师开启了DDOS防护功能,在网络恢复正常时候,联系工程师进行了恢复,只是那位兄台忘记了自己的一项配置,具体名称忘记了,描述下来就是“所有内网至外网protocol全部deny”,而且此项配置是在设备重启之后生效,而恰恰就是B日下班后我们升级了上网行为管理设备software版本,晚上回去看完新闻联播进行了重启,当时也没有VPN到公司查看,收到重启OK短信之后就去看我的《公主嫁到》了!
4、C日来到公司(IT一般都早到)我的妈妈咪呀!A日情形再现,不过这次影响较小,只是邮件发布和与分公司VPN中断!
可气也!可恼也!继续折腾吧,查看后一切都正常,网络设备正常,服务器正常,内网正常。那是不是邮件前端服务器出了问题,没事,我们有虚拟机备用的,调整到虚拟机上,不管用!VPN重配,不管用!
折腾了一天,更换服务器,查看日志,专人蹲守机房sniffer抓包,终于到了下班的时间,还没有找到原因,好不甘心啊!是不是防火墙和上网行为管理设备厂商工程师修改了之后忘记了呢?于是让一位同事打电话过了去,咿呀呀!这可把防火墙厂商工程师给气坏了,电话那头可是有点咆哮的味道了,哥们大热天的顶着将近40度高温跑过来出谋划策,最后被怀疑了一把,确实够委屈的呀!立马赔礼道歉。
另一方面上网行为管理厂商工程师信誓旦旦的说都恢复了原样!下班了已经,我说再查看一下上网行为管理设备吧,一条一条查看于是就找到了方才说的哪一项了,打电话过去,人家说没有开启这个呀,抱着死马当作活马医的心态,我把此选项XX掉了!这次倒不用重启,丫立马生了效!
5、事后分析,当公司内部肉鸡发起攻击之后,目的应该是为了使得目标主机无法工作。
公司内网核心交换对于此小流量转发毫无压力,因此就顺利的通过了内网核心网络,而安全设备一般是针对来自外部的DDOS攻击进行防范,遇到匹配数据则直接进行丢弃,但是由于此次攻击来自内部,安全设备对于来自trust端口的数据无法判断是正常数据还是攻击,于是就行了放行,并且按照处理正常数据的方法处理了大量的数据流,最终导致了崩溃。