康宁：IT服务数据中心的设计浅析

10/13/2017,作者，康宁光通信企业网亚太区市场经理  马锐，随着云计算技术安全性稳定性的大幅提高，越来越多的企业开始使用第三方云服务来处理各种数据业务需求。因此，云服务对网络基础设施的投入在未来几年将会迅速增加，成为数据中心市场发展的主要驱动力。相比较而言，传统企业IT基础设施费用则呈现出逐年下降的趋势（如图1所示）。



   用于第三方IT服务的云数据中心与传统企业数据中心对比，具有很多新的特点。云数据中心需要更高的带宽，更低的时延，更大的网络规模和更快的升级频率等。2016年大约全球80%的40GbE光传输设备销售额来自互联网云服务企业。从2017年开始由于云数据中心的驱动100GbE光传输设备需求迅速增长。预计到2022年云服务对以太网收发器的需求将达到全球市场的70%（如图2所示），并且在2018年后开始带动200GbE和400GbE的销售。相对而言，传统企业对以太网收发器的需求将会保持平稳，并将长期以10GbE网络为主。本文中我们将根据IT服务类用户的需求特点对数据中心光纤类型的选择，传输方式的选择和布线结构的选择进行浅析。



光纤类型的选择
   在数据中心以太网设计中，光纤类型的选择需要根据数据中心对传输速率，传输距离等的需求进行综合考虑。目前云计算数据中心已经普遍部署40G乃至100G以太网来支持日益增长的数据业务需求。多模光纤系统因技术成熟度高，总体成本较低等优点，仍旧被大多数数据中心所采用。然而业界普遍认为传统的OM3/4多模光纤主要用来支持100m-150m的短距离传输。因此为了延长多模光纤在高速网络中的传输距离，相关国际标准组织正式命名了基于波分复用技术的OM5多模光纤。



   面对三种多模光纤，数据中心设计人员应该根据数据中心的实际需求进行选择。在表1中我们列出了不同光纤类型使用不同收发器时能够支持40G/100G以太网的最大传输距离。目前因只有40G SR4和100G SR4是IEEE正式发布的国际标准，因此使用其他收发器类型的传输距离均为企业测试结果。根据表1数据可以看出在不使用SWDM收发器的前提下，OM5光纤与OM4光纤支持的40G/100G最大传输距离相同。而且通过使用eSR4收发器的并行通信方式，OM4光纤可以支持550m(40G)和300m(100G)的最大传输距离，均长于使用SWDM收发器下的OM5光纤的传输距离。因此在数据中心传输距离需要超过150m时OM5光纤并非唯一选择。此外，康宁根据对过去三年部署的OM3和OM4数据中心通道长度的统计发现，大约95%已部署OM3系统90%已部署OM4系统长度在100m以内（如图3所示）。总体来说OM3/OM4光纤能够满足90%的40G/100G数据中心连接需求。对于少数需要支持300m传输的数据中心，则可以使用OM4/eSR4或OM5/SWDM的组合方式。
                                                              


传输方式的选择
   近年来云数据中心的发展持续驱动对高速数据传输的需求。传统上我们一直在使用加快光源开关速率的方式在单一通道内增加串行传输速率，例如从1G增加到10G。但随着对更高速率网络需求的大幅提升，传统的串行传输方式已经无法满足数据中心发展的需要。目前能够支持40G/100G网络的传输方式主要可分为两类，一类是基于WDM技术的串行传输方式，一类是通过在多根光纤上同时传输数据的并行传输方式。我们在表2中简述了两种传输方式的优缺点和主要应用环境。



   与选择光纤类型类似，选择哪种传输方式主要根据数据中心部署速率，传输距离以及整体预算等进行综合考虑。目前大多数已部署的40G/100G数据中心均采用并行传输方式。主要原因有如下几点。首先，采用并行传输可以满足绝大多数40G/100G数据中心对传输距离的要求。此外，并行传输使用的收发器可以利用现有收发器的市场规模优势降低成本。例如40G收发器只需使用4个相同的10G光源和光组件，既有产品市场规模大，成熟度高，相应的价格较低。如果使用40G波分复用收发器，则需要使用多个不同波长的光源，新波段的光源因处于产品生命周期的早期，成本较高。

   并行传输方式被广泛使用的另一个主要原因是并行传输支持端口分支应用。使用并行传输方式的40G/100G光收发器既可以传输一路40G/100G信号，又可以同时传输4路独立的10G/25G信号。这种方式给用户带来的一个最显著的好处就是可以在相同的空间内提高10G/25G端口的密度。我们以40G网络为例来具体说明使用端口分支方式如何提高端口密度。

   常规的带有QSFP收发器端口的40G交换机板卡可以提供36个40G端口。如果我们使用端口分支的方式将一个40G端口分支为4个10G端口，则36个40G端口可以支持4×36=144个10G链路。比较而言，常规的带有SFP+收发器端口的10G交换机板卡可以提供48个10G端口。如果需要达到同样的10G端口数，则需要部署3个48口10G交换机。目前全球已出货的40G QSFP交换机大概有一半应用于10G端口分支。采用这种方式不但可以提高10G端口密度3倍左右，而且每个10G端口能耗可以降低60%，成本可以降低30%-45%。而且当数据中心未来需要升级为全40G网络时，无需重新购买40G收发器和交换机就可以平滑升级。同样的方式也适用于100G乃至未来的200G/400G网络（如图4所示）。因此，在可以预见的未来，并行传输方式仍将被大多数高密度数据中心所采用。
 


布线结构的选择
   为了应对高速增长的数据处理需求，尤其是逐渐增加的数据中心内服务器之间东西向的数据传输需求，云数据中心开始采用有别于传统三层交换网络结构的新型网络来提高效率，降低时延。其中如图5所示的脊叶(Spine-leaf)两层网络结构近来被越来越多的云数据中心所采用。这种网络结构需要每一个脊交换机与每一个叶交换机相连，从而提高路由效率。随着云数据中心规模的不断增大，不但在一个数据中心内部需要大量的布线连接，而且在一个园区内的不同数据中心之间也需要大量的布线连接。数据中心内和数据中心之间的全交叉互联需求给布线结构的设计以及安装测试等都带来了新的挑战。
 


   我们以图6所示的网络示意图为例来分析使用不同布线方案对用户的影响。如表3所示，我们对比三种不同的布线方式，LC跳线端到端直连，72芯MTP预端接光缆连接MDA和HDA配线区，576芯MTP预端接光缆连接MDA和HDA配线区。通过对比我们可以发现，方案2和方案3采用结构化布线，预端接MTP光缆连接MDA和HDA配线区的方式相比较方案1跳线直连可以大大减少安装，标识，测试以及故障查找的工作量，从而降低安装测试和维护的成本，并且可以大量节省时间满足云计算数据中心对快速部署快速交付的要求。此外，在网络需要迁移增加和变更时，方案1需要重新在两层交换之间安装端到端的长跳线，工作量大安装难度高。而方案2和方案3只需在MDA或HDA配线区使用短跳线配置即可。
 


 （10G网络，4个脊交换机，48个叶交换机，每个叶交换机带32个服务器，收敛比1：1。）



   使用MTP预端接光缆的结构化布线方案对比LC跳线端到端直连的另一个优点是可以大量节省线槽资源（如图7所示）。对于服务于第三方的云计算数据中心来说，空间的节省就代表着成本的节省。在部署高密度的数据中心时，使用预端接方案，特别是使用高芯数预端接光缆可以有效节省线槽资源。不但便于安装铺设，更有利于整个数据中心系统的空气流动从而降低日常运行时的制冷成本。