康宁：大型IT/服务提供商数据中心的结构化布线设计

7/11/2018,作者： Dave Kozischek，康宁光通信市场应用经理，康宁光通信中国数据中心，王坚译，“结构化布线”被定义为建筑物或园区基础设施通信布线，包括许多标准化的被称为子系统的更小元素（因此是结构化的）。为了使其有效，结构化布线是以这样的方式组织的，即单独的光纤易于定位、移动、增加和变更,更易于管理，并且布线周围有充足的空气流动。

   也许没有比数据中心更需要有效结构化布线的环境。因不容忍停机或网络故障，数据中心的所有者和运营者是致力于使用结构化布线的主要目标客户资源之一。原因很清楚：即使因更倾向云服务外包而越来越少的传统数据中心，例如一些IT服务提供商仍然有物理结构支持云，而这些结构需要结构化布线。

幸运的是，什么是有效的结构化布线不是开放的解释，相反的，在ANSI / TIA-942-B标准中标题为“数据中心电信基础设施标准”有清楚的解释，在这篇白皮书中，我们将探讨在数据中心中充分利用结构化布线的标准和关键的考虑因素—无论其大小如何。

考虑今天运营的不同类型的数据中心：

   自用型数据中心：也称为企业数据中心，这些设施是由大公司私自拥有的。该公司设计、建设和运营自己的设备，还可以为云服务或音乐流媒体提供服务获取利润。

   整租型数据中心：由IT服务提供商（也称为云服务提供商）拥有，这些数据中心从事销售空间的业务。企业不需要建立自己的设施，而是在整租型设施中购买空间和部署数据中心基础设施。

   主机托管数据中心：这些设施像整租型数据中心一样，但是企业只租一个机架、机柜或笼区。IT服务提供商是运行基础设施的提供商。

专用托管数据中心：IT服务提供商在这些数据中心运营和租用服务器容量，但每个企业客户都控制自己的专用服务器。

共享主机数据中心：在这些设施中，企业客户在IT服务提供商的服务器上购买空间。这些服务器在企业客户之间共享。
 
如今，在这些行业中，这些不同类型的数据中心如何投资于其基础设施正在发生重大转变。LightCounting和福布斯的报告称，云/ IT服务提供商的投资在上升，企业IT的投资在下降，如图1所示。

这一转变的进一步证据体现在戴尔Oro服务器投资报告中，其中最大的一部分是用于安装云类型的设备。见图2。



随着企业越来越多地决定将部分或全部基础设施外包给IT服务提供商，结果不足为奇：取而代之的是更少的自建大型设施的数据中心。见图3。

 
   这些超大规模、多租户数据中心结构化布线的要求可能不同于过去企业拥有设施的较小的单租户的安装，但TIA-942提供指导。

   TIA-942总是推荐有交叉连接和互连区域的星型结构。这个标准定义了五种不同的交叉连接和互连区域：主配线区（MDA）、中间配线区（IDA）、水平配线区（HDA）、区域配线区（ZDA）和设备配线区（EDA）。 

   这些区域代表从机架和机柜到路由器、交换机和其他组件的主要区域的完整网络。TIA-942还提供了冗余定义的指导下，他们的排名分为四个等级，称为评级。等级1是最小冗余的最低层。等级4提供在数据中心结构化布线最高冗余，通常部署在大型IT服务提供商的数据中心。本标准所涵盖的其他基本内容包括区域架构和能效指南。有关标准主题的简介，请参见表1。


当涉及结构化布线时，标准涉及主干和水平布线，如图4所示。每个分布区域或正方形，都是有一个接入面板。各个区域需要多少的光纤取决于网络的速度、网络的架构、超额认购和交换机的配置。让我们看看这些考虑下的几个例子来说明它们是如何影响数据中心的光纤数量。

 
   表2显示了当数据中心网络速率从10G迁移到100G时如何影响光纤数量计算的。左边是物理架构，有四个机架或机柜，每个机柜或机架上有一个架顶的交换机和一个列头的交换机。接下来是TIA-942推荐的星型结构布线的逻辑结构，最后最右边的是网络速率。10G需要2芯光纤的支持；40G可以通过2芯或8芯的光纤运行；而100G需要2芯、8芯甚至20芯的光纤，这取决于收发器的情况。所以你看，取决于网络的速率，一个端口需要少则2芯光纤或者多达20芯光纤。提要：网络速率会影响光纤数量计算。检查路由（以太网IEEE和存储方面的光纤通道ANSI）以获得每端口光纤数量的详细信息。

 
现在让我们看看网络的逻辑结构是如何影响数据中心的光纤芯数的。表3中的示例，每个结构的速率都是用8芯传40G连接每个交换机。点对点结构是最简单的，逻辑上是一个星型结构，物理上也是用8芯光纤连接每个机柜构成一个星型结构。一个完整的网状结构将每个交换机连接到其他交换机，同样的5个交换机相互需要用32芯光纤连接。这个逻辑网格在交叉连接处物理地被“线缆”连接，需要32芯光纤来完成。本例中的最后一个架构是脊叶结构，其中每个脊交换机（交换机1和2）必须连接到每个叶交换机（交换机3-5）。在具有相同五个交换机的相同物理配置中，脊叶逻辑结构需要16芯光纤。因此，根据数据中心的体系结构，它可以为每个机柜连接使用8芯、16芯或32芯光纤。重点：架构冗余增加了光纤数量。

 
接下来，让我们考虑超额认购对光纤芯数的影响。简单地说，超额认购是交换机的输入与输出通道的比值。在图4的示例中，星型架构在物理上和逻辑上使用恒定的10G网络速度。显示的变量是超额认购率。该示例显示了一个4:1的超额认购率，24个10G通道输入，其中6个通道输出；中间的示例显示，24个10G通道输入12个通道输出，为2:1的比率；底部示例是1:1的比率，每个交换机的输入和输出都是 24个10G通道。根据超额认购率，所有其他变量保持不变，所需的每个交换机的光纤芯数可以是12, 24或48芯。重点：超额认购率越低，光纤数量越高。最终，超额认购率是网络输入/输出交换需求的函数，也就是说，光纤芯数也是由这一需求驱动的。
 
 
最后，看看网络交换机配置如何驱动光纤芯数。使用固定的架构，并在机架上的所有服务器上运行10G速率，我们重新配置交换机右侧发生的事情。在表5中，所有下行的通道是10G；两个40G端口中是四通道小形状可插拔的40G光收发器（QSFP），即8芯 MTP连接；他们分成四个10G端口实现多达16个端口，两个40G端口用于上行，或2 x 8 = 16芯。在中间，我们看到同一个交换机，所有四个40G端口回到核心交换机-相当于8 x 4 = 32芯光纤。最后一个场景显示，10G的均等分布于上行和下行，40G端口在16×10G端口拆分为10G，增加的10G端口使其总计达到64芯光纤。重点：只需决定如何配置交换机，就影响在这些情况下的光纤芯数从16, 32到64芯。

 
请注意，此交换机配置仅针对这些服务器的以太网侧。如果服务器有一个光纤通道网络和/或用于无线宽带技术（InfiniBand）高速计算的端口，光纤芯数将继续攀升。

此外，我们已经研究了四个变量如何独立地增加数据中心所需的光纤芯数，因此想象混合变量可以在驱动光纤芯数方面的影响甚至更高。改变网络的运行速度会影响光纤芯数，当然，但是改变速度和架构呢？或者改变速度和超额认购率？已经相对较高光纤芯数甚至会更高。

剩下的问题是如何连接这种类型的数据中心。典型地，今天越来越大的数据中心扩展到不同的位置，像如图5所示企业园区。

室内光缆通常在每个建筑物内使用，通过室内/外通用光缆和过渡接头盒进行连接。见表6。
 

当涉及部署方法时，有三个考虑要素：
预端接光缆：通常用于室内高密度布线，这些主干在工厂用8或12芯光纤MTP连接器端接。他们是理想的用于MDA到HDA或EDA的安装，涉及桥架走线方式和地板走线，其中整个光纤芯数被部署运行在每个链接的末端的单一位置。见图6。


尾缆：这些半预连接的组件在工厂一端用MTP连接器端接，以便于高光纤芯数的部署，同时在另一端不端接，以匹配小导管或允许现场长度变化。在建筑安装中经常使用尾缆，对于管道太小而不能拉拽和在订购之前不能确定线缆路径的情况是理想的。请参阅图7。

散状光缆：此部署选项需要两端的终端连接，通常使用MTP光学连接器。散状电缆是最好的部署，需要中心拉拽安装和极高的光纤芯数（如1728芯光纤或更高）。见图 8。




   将所有这些信息付诸实践，下面的例子说明了四路脊交换机是如何布线的以及由此产生的光纤芯数。表8来自思科的大规模可扩展的数据中心白皮书，展示了Nexus 7000交换机。基于制造商的建议，有48个叶交换机，32个端口下行到服务器和32个端口返回到矩阵。在这个例子中，我们使用两个Cisco 3064交换机在每一个24个机柜的顶部创建一个“A” 矩阵和一个“B” 矩阵。图9显示了这些建议如何转化为逻辑架构。


   如图10和表9所示，思科的脊叶结构指导提供了一个四路脊交换机与48个叶交换机。从机架开始逆向作业，每个叶交换机向外有32个端口，转换为每个交换机所需64芯光纤。在每个机架上有两个交换机，每个机柜需要128芯光纤来支持这种结构。这个设计要求10G和1:1的超额认购，如前所述，我们将使用可被12整除的光纤芯数来继续做这个例子。


当谈到布线这个场景时，我们有不同的选项。它们不一定都是不错的选项，就像图11所描绘的那样，使用跳线超过3000条。最好是将跳线合并成48、72芯光缆，如图12所示。甚至更好的是选项3：使用高芯数主干，每个576芯光纤，使我们从3000个跳线降到六个576芯主干光缆。请参阅图13。




   为了理解为什么有些选项比其他选项更好，让我们探讨它们在数据中心中的初始安装和不可避免的移动、添加和变更时相对容易的使用（这意味着花费精力）。表10说明了一切。


   高芯数主干案例的探讨是它们对数据中心不动产的有价值影响-布线的途径。TIA569提供计算以了解布线中桥架/管道/走线槽占的百分比以及推荐的最大填充率不超过25%的建议。它可能不是直观的，事实上，50%填充率实际上消耗了整个路径，因为线缆之间的空间是方程的一部分。  考虑到这一点，参照图14，使用3000个以上的跳线的第一个选项根本不是一种选择。然而，第二个布线选项（48个 72芯光纤主干）在4×6英寸桥架中工作，但在4×4英寸桥架中就不太好。两个桥架尺寸都可以很容易地容纳六个576芯光纤主干选项。


结论
高芯数的主干光缆最适合今天的数据中心。只信靠12和24芯光纤主干连接每个机柜的日子不会再多了；现在，我们在关注那些规模和光纤芯数日益增长来支持更高速度的数据中心，更大的超额认购率、冗余结构，创新的交换机配置。很明显，大型设施是新的标准；企业IT客户将继续从小型租户单一设施运营商转向外包全部或部分数据中心基础设施。幸运的是，有成熟的结构化布线方法和多年经验解决数据中心挑战的全球制造商以及TIA-942持续提供指导的保证。