数据中心布线考虑因素

　　“历史会重演”的古语千真万确。如果我们没有从历史中吸取教训，则注定会重蹈覆辙。如今的许多数据中心就是历史上点对点布线做法的牺牲品。

　　直接连接“点对点”(即从交换机到服务器、服务器到存储、服务器到其他服务器等)由于种种原因导致问题多、价格昂贵。在最好的数据中心生态系统中，一个基于标准的结构化布线系统将为当前和未来的设备以最多的可用选项提供功能性和伸缩性。柜顶(ToR)和列末(EoR)设备如今有了安装选项，它们应是一种补充，而不是替代一个结构化布线系统。ToR和EoR设备的放置均很大程度地依靠点对点电缆，这些连接电缆通常为光纤跳线以及双芯同轴电缆组件或多股软跳线，来连接网络或存储设备端口到服务器。

　　数据中心正在以一种颇具周期性的方式不断发展。数据中心(原来的电脑室)刚刚建成时，计算服务是通过一个大型机(虚拟)环境来提供的。最终用户的简易终端使用同轴或双芯同轴总线来实现点对点连接。进入基于PC和Intel的服务器平台后，需要新的连接。我们已经经历几代可能的布线选择：同轴(粗电缆网、细电缆网)3、4、5、5e、6类。如今，推荐用于数据中心的支持10G的铜缆是6A、7和7A信道，用于多模电子设备的是OM3激光优化多模光纤，用于更长范围的电子设备的是单模光纤。

　　在有些数据中心中，在活动地板下或头顶通道中仍然可以找到原来点对点安装的每种系统的样品。到如今，这些线“从”哪个点“到”哪个点都成了谜，使得电缆的排除(废弃电缆的移除)变得困难重重。在这个问题上更加棘手的是缺乏命名约定。如果电缆双端均带标签，这些标签可能已不再有意义了。例如，一根电缆可能贴上“Unix排，1号柜”。数年后，Unix排可能已经被更换，而新的人员可能不知道Unix排在哪里。

　　在一个数据中心中结构化布线系统有两个标准：TIA 942和ISO 24764草案，后者定于在2009年9月颁布。

　　这些标准是根据需要而制定的。两个数据中心的标准都明文规定，布线的安装应考虑数据中心在使用寿命中的发展。对单个或少数信道的移动、添加和更改，与作为整个多信道安装项目的一部分相比，价格比较昂贵。对于较大的项目，最终用户可以从项目定价、规模经济和每个信道较低的人工价格中受益。而单一信道通常更加昂贵，因为要派专人来运行，而且停机的风险也随着不断的移动、添加和更改而增加。即使对通道和空间预先作了适当地规划和估算尺寸，但还是可能由于定期添加的额外信道而变得难以控制和溢出。

　　电缆线路通道有问题的数据中心，通常是由于规划不当造成的。扩充、添加新的信道时只考虑需要，而没有考虑通道容量。在某些情况下，通道无法适应数据中心寿命期内的扩充或最大容量。过满的通道还会造成气流的问题，在有些情况下，布线由于重力负载而出现变形，对这些信道的传输性能产生了不利的影响。对于点对点系统来说，随着时间推移，线缆的堆积往往发展成为意大利面条状，这些问题尤其突出。同样地，没有进行旧电缆的移除的数据中心随着更新、更高性能的系统的安装，也同样遭遇凌乱不堪的通道。

　　图1交换机端口和服务器之间没有结构化布线系统的ToR接线的情况。机架2到机架3的连接表明了点对点服务器到交换机的连接，也是没有结构化布线系统。虽然这些系统的支持者对其减少了布线需要，抵消初期成本的作用赞誉有加，但通过进一步检查，会发现到最后并没有真正的节省。

　　图1 柜顶视图

　　如使用一个中央的KVM交换机，集中的结构化布线系统无论如何都需要共存，尽管第一天的信道数量较少。较新的电子设备可能有不同的信道最小/最大长度，这就产生了对新信道的需求。随着电子设备的更新扩充，结构化布线系统可能需要添加回到数据中心，以支持未来的设备选择，这样就完全否定了初始的点对点的节省的效果。

　　由于在初期对通道、空间和信道未作规划，以后再添加结构化布线系统将花费更多，而且只能在现场工作环境安装，也就增加了人工成本和停机的可能性。当添加通道和空间时，消防系统和照明系统可能需要被移动，以适应增加的头顶通道系统。楼层空间可能需要增加，机柜可能需要移动，以便让新的通道可以以一种非阻塞的方式排列，使气流可正常流通。

　　进一步检查会发现，除了之前所述的局限点外，ToR和点对点方法还有一些其他缺点。在上面机架1或机架2或机架3的情况中，交换机端口专用于一个特定机柜中的服务器。这可导致端口的超额配置。假设机架/机柜1对于整个机架来说只需要26个服务器连接。但还是需要一个48端口的交换机(ToR交换)或48端口刀片(点对点服务器到交换机)专用于该机柜，这意味着多买了22个端口，而且还需要为这些不使用的端口的维护付费。

　　若全部48个交换机端口都被使用时，则发生了更大的问题。当添加哪怕一台新的服务器时，也需要再购买一台48端口的交换机。这种情况下，假设新的服务器需要两个网络连接，46个端口的超额配置将添加到机柜。即使在空闲状态，这些多余的端口也会消耗电源。机柜添加两个电源。额外的交换机和端口也增加了更多的维护和保修费用。

　　对10GBase-T，许多ToR技术(点对点连接)有布线长度的限制。最长长度从2~15m不等，而且比结构化布线信道更昂贵。短信道长度会限制设备的位置，使其处于较短的电缆范围内。如果通过结构化布线系统，10GBase-T最高可支持到100m的6A、7和7A类布线，并允许在数据中心内有更多的设备放置选择。

　　1 Any-to-All结构化布线系统

　　Any-to-all背后的概念很简单。铜和光配架被安装在每个机柜中，而且与安装在中央配线区的铜配架是相对应的。所有光纤运行到同一中央配线区的机柜/机架的一部分，这使任何设备都可通过一根铜跳线或一根光纤跳线连接到任何其他设备。信道的固定部分保持不变。通道和空间预先规划，以便适应布线容量要求。虽然这种方法可能要求更多的预先布线，它对数据中心的整个使用寿命具有显着的好处。这些信道是无源的，不会发生因添加额外的有源设备所导致的重复发生的维护费用。如果规划正确，结构化布线系统将持续至少10年，可支持2或3代有源设备。而对点对点系统来说，在结构化布线系统生命周期内(至少10年)，通常会因为额外的设备需求而进行多次更换/升级。因此，在点对点系统中，设备更换成本，还不包括持续的维护费用，早已超出了初期由于使用较少的布线而节省的费用(如图2所示)。

　　图2　设备排中的机架/机柜—中央配线区

　　红线(光纤连接)全部连接到同一地点的中央配线区，这让任何需要光纤连接的设备可连接到任何其它光纤设备端口。例如，如果一个机柜有一个交换机，在初期需要为SAN提供光纤连接，但是后来需要改为光纤交换机连接，改变这种连接所需的只是中央配线区的光纤跳线的变更。铜缆部分也同样如此，虽然有些数据中心把铜连接按功能，或基于铜长度和通道要求分为较小的分区。和光纤一样，任何铜端口可连接到中央配线区域或分区内任何其他铜端口。

　　布线标准的编写是为了支持2~3代有源电子设备。“any-to-all”配置确保了使用高性能的光纤和铜布线时信道的固定部分一旦运行即保持基本不变。结果，承包商将减少因为MAC工作到现场的次数，因为信道已经存在了。设备配置时间将更快，因为不需要设置新的布线信道。它们只是通过一根跳线连接即可。预定义的通道和空间将不会影响冷却气流或变得满溢，因为它们已为安装好的布线规划了适当的尺寸。请牢记，标准建议布线应适应其发展，不仅需要支持初期的连通性要求，还要考虑预计的未来连通性增长需要。

　　对于中央配线，交换机端口不会专用于可能不需要它们的机柜;因此，有源端口可得到充分利用，因为任何端口可连接到中央配线区的任何其他端口。由于在信道另一端的配线架上标上了位置(根据标准)，所以也增强了管理和文件编制。在机柜中的接插线和跳线变得更整洁，外观更漂亮，所以更易于管理。相比之下，对于点对点布线，贴标签仅限于贴在电缆组件两端。

　　通过高性能的铜和光纤结构化布线基础架构，布线的更新循环降至最小，因为相同的布线信道可以支持几代电子设备。由于所有交换机端口都可利用起来，所需的交换机和电源的数量就减少了。所有这些都对数据中心的绿色节能有帮助。

　　为了进一步解释“any-to-all”情况对电源和交换机端口的影响，与第1节中的点对点、ToR情况进行对比，那时专用于单一机柜(ToR)的48个端口现在可根据要求通过中央配线区分到任意几个机柜中。如果用户需要独立的的LAN网段，可使用VLAN或地址分段来屏蔽，使其他网段看不见这独立的网段。

　　如使用冗余交换机，其数量将翻倍入表1所示。

　　表1

　　2 其他电源要求

　　机柜中设备服务真正的限制是电源。目前在美国，一个机柜平均供电约6kW，其趋势正向18~20kW容量的机柜靠拢。随着交换端口达到充分利用，机柜的供电可能无法处理一台新服务器的负载和额外的交换机。这可能意味着机柜需要新的电源。所需电源的整体情况应在采用前进行检查。可能无法从一个设施的立场来为两台设备提供足够的额外电源(冗余配置中为4个电源)。据Uptime Institute称，他们的一位客户证明了对新的刀片服务器的2200万美元的投资，在进行了他们需要运行的5400万美元的必要电源和冷却要求升级后，变成了7600万美元。

　　在德州仪器公司的Bob Mammano写的《提高电源效率，全球前景》中，“如今全球有100多亿个电子设备电源在使用，仅在美国就有31亿个以上。”这些电源的平均效率只提高10%，就可每年减少电源流失300亿千瓦小时，每年节约30亿美元，相当于建造4~6家新的发电厂。像在ToR配置中，有大量的交换机和服务器，所以需要数量更大的电源，这将使升级到更有效的电源变得更为困难，因为数量庞大的电源增加了更换成本。在一个any-to-all方案中(中央交换、中央配线)，所需的电源数量较少，因此升级的成本也更低。

　　虚拟化正在许多数据中心实施，以减少服务器电源的数量，和增加设备的运行效率(处理时的千瓦/字节或每嵌入瓦特IT-PEW的IT生产率)。虚拟化还减少了服务器数量和支持它们所需的“楼层面积”。这还降低了冷却房间所需的电力负荷。在ToR配置中，增加电源的数量就抵消了虚拟化的节省效果。而且，随着服务器的退役，所需的交换机端口将减少，这就增加了超额配置的端口数量。在any-to-all方案中，可能存在未用的光纤或铜缆，但是这些是无源的，不需要电源，没有重复发生的维护/保修费用，并可在未来被其他设备所用。

　　电源的效率只是电源功率的一个因素。为了有效地检查所有的交换机与服务器的连接，处理负荷的百分比、不同负荷下的电源效率、整体通信所需的冷却以及所需的电压，也必须在整个数据中心的电源和效率中作为因素考虑。根据Uptime Institute报告，今后3年中为服务器提供电源和冷却所需的花费将等于服务器硬件价格的1.5倍。持续到2012年的未来计划显示这种增加即使在最好的情况下也将达到将近3倍，最差的情况为22倍4。

　　每个端口、网络、存储、管理等对于一台服务器的整体电源要求有帮助。根据2006年12月20日签署的根据公共法109-431进行的美国政府数据中心能力研究，大约50%的数据中心的耗电是为电力和冷却，29%为服务器消耗，只有5%用于网络设备。其余部分分为存储(非常多变的因数)、照明和其它系统。从网络的立场来看，不同基础架构之间(如SFP+、10GBase-T和光纤)的端口消耗或电力消耗有很大差异。制造商汇报的许多电力统计没有显示整个交换机消耗，而只是汇报基于单个端口的消耗的用电，不包含交换机的其余部分以及信道另一头服务器网卡所需的较高的电力，使某个特定的基础架构听起来很吸引人。例如，一个交换机可能耗电只有不到1W，但是服务器网卡需要的可能是15W ~24W。

　　Tolly Group实验室的Kevin Tolly说，“计划进行电力研究并在其RFP文件中包含电力效率的公司在响应文档中分析苹果与桔子的对比时可能遇到困难。这是因为数字可以通过不同的方式来汇报。缺少一个标准的测试方法使我们有一个统一的RFP项目。”在Tolly Group测试时，交换机的功能性可能由于某些交换机将处理从ASIC芯片卸载到以更高功率运行的CPU上，而出现不同的功率负荷。边缘交换机(即ToR配置中所用的那些)在CPU中处理了更多的指令，造成了测试不当时无法看到功率峰值。统一RFP的目标是为了向最终用户提供一些测试方法，以审核和比较不同的基础架构和制造商。

　　交换机端口的耗电在大多数情况下，远比该信道的另一端的服务器网卡的消耗低得多。对10GBase-T，不管交换机和服务器电源要求如何，原来的10GBase-T芯片都需要每端口10W ~17W的功率。由于用户对10G以太网铜连接的需要，以及缺乏大批量可以使用结构化布线系统来支持的低功率的10GBase-T的相应产品，根据某些厂商提供的一些10G以太网的短连接(2~15m)方案，使得用户只能采用如图1所示，在机架中或机架附近，采用点对点的短连接来支持10G以太网。不管怎样，现在为10GBase-T生产的每一新版本的硅比起原来的每端口10W ~17W功率要求明显低得多，使得情况发生了迅速的变化。所以，对于那些为了支持10GBE铜缆连接已经采用了部分点对点配置的用户，如果配置一套共存的结构化的any-to-all布线系统，随着一些低功率的10GBase-T新技术的出现，将来只需简单地通过跳线连接即可实现10G以太网连接。

　　Tolly 和Uptime Institute等提供了端对端功率和不同的功率效率矩阵。它们不仅针对设备的耗电，还针对所需的冷却。厂商的功率研究可能无法提供实现该技术所需的完整概念。

　　3 冷却的考虑因素

　　冷却要求是关键的考虑因素。数据中心中不佳的设备布局选择可削减50%的可用性。冷却要求常常表示为一个功率函数，但是设备的不正确放置可对最好的冷却计划造成巨大的破坏。点对点系统会锁定设备的放置。

　　在图3中，我们可以分别看到地板下以及一半柜高处测得的温度。若能将设备放在对电力和冷却来说最合理的地方，即可省去购买额外的PDU簧片，在某些情况下，热点可进行补充或成排冷却。在点对点配置中，放置的选择局限于有开放的交换机端口的机柜，以避免购买额外的交换机，而不是作为数据中心中的生态系统决策的一部分。这可导致热点。热点可在同一冷却区对相邻的设备产生有害的影响。Any-to-all结构化布线系统使设备可放置在对电源和冷却最合理的地方来减少热点，而不是被ToR限制锁定。根据Uptime Institute报告，机架顶部1/3空间中设备的故障率是下面2/3部分的设备故障率的3倍。在结构化布线系统中，无源部件(布线)放置在上面的位置，把下面温度较低的空间留给设备。如果数据中心对设备没有足够的冷却，将交换机放在一个ToR位置可能使它们由于高温而过早出现故障，因为活地板下面的冷空气将随着其上升而变热。

　　图3　地板下以及在机柜高度所测的温度

　　总之，虽然有些情况下点对点柜顶或列末连接看起来不错，但是应对设施和网络进行一次整体的研究，包括设备总成本、端口利用，但随着时间推移的维护和电力成本，然后再做最好的决定。

　　西蒙已经开发了一些产品来协助数据中心人员规划具有高伸缩性、灵活性、易维护的系统来出色地支持各代设备连同ToR机架系统。西蒙的VersaPOD是这类创新的一个绝佳的例子。

　　VersaPOD系统(如图4所示)利用连成一排的机柜之间的一个中央的Zero-U配线区。这个空间可进行铜和光配架以及19″机架安装PDU的各种组合。如客户将交换机安装在一个机柜的顶部，角落的柱子应凹进，允许机柜到机柜的连接，并允许交换机支持多个服务器机柜，提高交换机端口的利用率。这可降低所需的交换机的数量，同时为铜和光纤提供多样的高密度配线选择，因此更节能。