浅淡网络运维的紧急故障处理及对策

　　确定其他人的症状相同

　　只是从自己的机器对网络和服务做出判断并不够客观，也不够严谨。前面我们已经大致的推测出故障原因，在这一节我们尝试对这个推测进行证明。

　　要记住这一点：可重复的结果才是基本可靠的结果。

　　为了证实测试结果的可重复性，我们需要从不同的网络起点重复相同的测试步骤。

　　让我们以公司的实际场景来阐述分析故障的思路。目前随着网络技术的成熟，网络架构也趋于稳定，一般的全省级的公司网络拓扑示意图如图三：当然，实际工作中，地市分公司下面，根据业务需要，还会有县级的办公网络、营业网点，实际广域网络会达到三层。

　　1、要保障全省骨干网络运行安全，在总部核心区域会采用双核心路由器和双核心交换机的冗余架构，做到核心设备和线路的冗余，并保证网络业务调整的弹性;

　　2、服务器区根据业务运行安全考虑，也将进行分区，不同业务区域的服务器接入不同的服务器交换机，双线上联到核心交换机。

　　3、地市公司采用路由器和省公司联网，公司在线业务系统重要性较高的情况下，地市分公司到总部会采用租用不同运营商的线路，做双线上联。

　　4、，公司的办公室电脑通过接入交换机接入局域网。接入交换机上可根据办公业务区域划分VLAN，增加内网安全性。

　　图三

　　在这种网络环境下，将一般骨干网出故障的情况降到最低，但是实际工作中，还是有不少网络用户会反映这样那样的网络问题：例如我们自己的计算机客户端不能访问ERP系统，并且Ping不通ERP系统的IP地址，那么我们会据此推测ERP系统的服务器失去响应了;如果在自己电脑上还能ping通其它服务器IP地址，或访问其它服务(譬如WEB方式访问OA正常)，那ERP系统的服务器失去响应了可能性大大加强;最后，如果在我隔壁办公室的同事也出现了同样的问题，我们就有更大的把握说ERP系统确实出现了问题;如果其它反之，如果其他人一切正常，只有我自己无法访问ERP系统，那么很大的概率是自己的计算机出现了问题。

　　确定服务中断是软件还是硬件所致

　　如果某个服务出现中断，大致上的原因一般为网络链路、网络设备、服务器等硬件问题或者服务器操作系统、应用系统等软件问题。我们可以使用ping这个操作系统自带的命令行工具来对这两种原因进行区分。

　　判断原则：Ping不通服务的IP地址属于硬件故障，能ping通则为软件故障。

　　Ping不通服务的IP地址属于硬件故障，能ping通则为软件故障。但是如果设置了服务器不对Ping做出响应的话，这时候可以使用nmap来探测目标设备。有关nmap的资料可参阅《浅议广域网中主机发现与管理：http://stlzy.blog.51cto.com/69882/641250

　　其他人和我一样吗?其它系统和疑似故障系统一样吗?

　　只是从自己的机器对网络和服务做出判断还是不够客观的，我们还需要更严谨的论证。前面我们已经大致的推测出故障原因，在这一节我们尝试对这个推测进行证明。

　　判断原则：可重复的结果才是基本可靠的结果。

　　让我们以几个假设来掩饰解决故障的思路。

　　假设1：总部A用户Ping不通服务器a而B用户可以。

　　因为A与B用户访问服务器a走过的是同样的网络路径，都是经过接入交换、核心交换、服务器交换，所以问题出在甲用户的自身。

　　假设2：总部A用户可以访问服务器a而不能访问服务器b，B用户有同样的故障现象。

　　因为A与B用户访问服务器a、b走过的是同样的网络路径，所以一般可以证明是服务器b本身问题或者是服务器b接入交换机硬件设备或上下行网络链路问题。

　　假设3：某个分公司E用户与F用户不能访问任何一台服务器，而总部A、B和分公司C、D四个用户没问题。

　　因为该分公司E、F用户访问任何一台服务器都要经过分公司接入交换2和联网路由2，所以应该联网路由2是关键节点，联网路由2本身的物理故障、联网路由的协议、或者网路由2和核心路由网络链路故障都是首先排除范围。

　　假设4：某个分公司C用户发现无法访问服务器a，询问后得知其他用户故障现象相同。

　　由于每个用户访问服务器a的路径不同，所以越靠近终点的网络路径和网络设备可疑性最大。从图三来看节点是服务器a的接入交换机这节点可能性最大，为较严重故障。

　　确定断点在何处

　　根据前面的排查，已经可以基本的确定是不是服务器的问题。如果是网络的问题，那么我们还要确定出断点才行。现在，我们要使用ping和tracert这两条命令完成这项工作。

　　假如我们事前已经对网络的拓扑很了解，并且知道一些关键节点的IP地址，那么我们只需要参考由近至远的原则逐个ping这些IP地址就可以知道断点的位置了。可是我们日常要访问的服务有很多，怎样才能知道数据怎样从我自己的计算机流向某个服务器的呢?Tracert命令就是为了解决这个问题的。只要Tracert某个域名或者IP地址，它就会把经过的设备的IP地址按照先后顺序显示在屏幕上。如果从某一行开始就不再显示IP地址，那么它的前一行的IP就是你尝试访问的目标所能到达的最后一台设备的IP地址。

　　建议在平时网络正常的时候就Tracert一些经常访问服务器的IP地址，记录下来正确的步骤是怎样的。等日后服务出现中断时可以用来比较路由有没有发生变化。