康宁：数据中心互连部分光纤部署的机遇与挑战
发布时间：2019-07-25 08:38:46 热度：1793
7/25/2019,作者：康宁光通信 David Hessong and Derek Whitehurst，翻译：王坚。数据中心互连应用已经成为网络领域中一个重要且快速增长的部分。本文将探讨这种增长的几个原因，包括市场变化、网络架构变化和技术变化。
数据的巨大增长推动了数据中心园区的建设，尤其是超大型数据中心的建设。现在，一个园区里的几栋建筑都必须用足够的带宽连接起来。为了保持单个园区内数据中心之间的信息流动，需要多大带宽？每个数据中心今天可以以高达200 Tbps的容量向其他数据中心传输，而未来需要更高的带宽（见图1）。
图1. 概念园区布局。DCI要求和距离是独一无二的。带宽需求可高达100 Tbps甚至200 Tbps。
是什么推动了园区建筑之间如此巨大的带宽需求？
首先，东西向通信量的指数增长受到设备对设备通信的支持。第二个趋势与采用更平坦的网络架构有关，例如脊叶网络或CLOS网络。其目标是在园区内拥有一个大型网络结构，因此需要在设备之间建立大量的连接。
传统上，数据中心构建在由核心交换机、汇聚交换机和接入交换机组成的三层拓扑结构上。虽然成熟且广泛部署，但传统的三层体系结构已不再满足超大规模数据中心园区环境不断增加的工作负载和时延需求。作为响应，今天的超大型数据中心正在迁移到脊叶架构（见图2）。在脊叶架构中，网络分为两个阶段。脊阶段用于聚合数据包并将其路由到最终目的地，叶阶段用于连接主机端和负载平衡连接。
理想情况下，每个叶交换机都会扇出到每个脊交换机，以最大限度地提高服务器之间的连接，因此，网络需要高进制脊核心交换机。在许多环境中，大型脊交换机连接到更高级别的脊交换机，通常称为园区或聚合离子脊交换机，以将园区中的所有建筑连接在一起。由于这种更平坦的网络结构和采用高进制交换机，我们期望看到网络变得更大、更模块化和更可扩展。
图2.脊叶结构以及高进制交换机需要数据中心结构中的大量互连。
如何以最具成本效益的方式提供最佳的连接？
业界已经评估了多种方法，但普遍的模式是在大量的光纤上以较低的速率传输。要使用此方法达到200 Tbps，每个数据中心互连需要超过3000芯光纤。当您考虑将每个数据中心连接到单个园区中的每个数据中心所需的光纤时，密度很容易超过10000芯光纤！
一个常见的问题是，何时使用DWDM（密集波分复用收发器）或其他技术来增加每根光纤的吞吐量，而不是不断增加光纤的数量？目前，长达10公里的数据中心互连应用通常使用CWDM (粗波分复用) 1310nm收发器，与DWDM系统的1550nm传输波长不匹配。因此，在数据中心之间使用高芯数光缆来支持大规模互连。
下一个问题是，何时通过添加一个多路复用器单元将1310nm收发器替换为接入交换机中的可插入式DWDM收发器？答案是，对于园区内的数据中心互连链路，DWDM何时或是否成为一种经济有效的方法。
为了推算这种转换的可行性，我们需要查看DWDM收发器的价格，并与现有收发器进行比较。基于对整个链路的价格建模，目前的预测是，在可预见的未来，基于光纤丰富的1310nm体系结构的连接将继续占据低成本优势（见图3）。PSM4（8芯光纤）替代方案已被证明对小于2公里的应用具有成本效益，这也是提高光纤数量的另一个因素。
图3. 可插拔式DWDM收发器与100G CWDM4。
如何选择合适的光纤？
既然我们已经确定了对极端密度网络的需求，那么了解构建这些网络的最佳方法是很重要的。这些网络在布线和硬件方面都提出了新的挑战。例如，使用松套管光缆和单芯光纤熔接是不可扩展的或不可行的。如果使用松套管设计安装1728芯光纤，假设每个接头4分钟，则熔接时间将超过100小时。如果使用带状光缆配置，则熔接时间将降至20小时以下。尽管20小时仍然对熔接来说需要大量时间，但与单芯光缆类型相比，它节省了大量时间。
同时，传统的光缆缆设计安装在常用的2或4英寸管道中时也面临着巨大的挑战。新的光缆和带状设计已经进入市场，在相同的横截面积上，光纤容量基本上翻了一番。这些产品通常分为两种设计方法：一种方法使用具有更紧密可封装子单元的标准矩阵带，另一种方法使用具有中心或槽芯设计的标准电缆设计，具有可相互重叠的松散结合的网络设计带（见图4）。
图4. 不同的带状电缆设计，适用于极端密度应用。
利用这些新的光缆设计，可以在相同的管道空间中实现更高的光纤密度。图5说明了如何使用不同的极端密度类型的新光缆组合，使网络所有者能够实现超大型等级数据中心互连所需的光纤密度。
图5. 采用极端密度光缆设计，使同一管道空间的光纤容量翻倍。
当利用这些新的带状光缆设计时，网络所有者需要考虑硬件和连接选项，这些选项可以充分处理和扩展这些非常高的光纤数量。它可以很容易地压垮现有的硬件，在建立完整的网络时，有几个关键领域需要考虑。
需要安装多少建筑物内部光缆才能连接到1728至3456芯光纤建筑物外部光缆？如果您目前在内部建筑环境中使用288根光纤带状光缆，您的硬件必须能够充分容纳12至14根光缆。您的硬件还必须管理288个单独的带状熔接。在本应用中使用任何单芯光缆和单芯光纤熔接方法都是不可行或不可取的，因为准备时间长，光纤管理难度大。
另一个可能具有挑战性的领域是追踪光纤以确保正确熔接。由于必须追踪和布线的光纤数量巨大，光缆打开后，需要立即对光纤进行充分标记和分类。为了避免损坏任何光纤，应优先确保在加载到硬件中时将带状堆叠捆绑在一起并加以保护。在大多数安装中，导致重新准备光缆的错误是可以控制的。在极端密度网络的情况下，一个错误可能会对项目的完成产生严重的影响，并且可能只需要因为一个点而延迟一周。
极端密度网络的未来将如何发展？
目前最重要的因素是光纤数量是否会在3456芯处停止，或者如果我们看到这些数量会更高。当前的市场趋势表明，芯数要求甚至超过5000芯。为了保持基础设施仍能扩大规模，缩小光缆尺寸的压力将加大。随着光纤封装密度已经接近其物理极限，以有意义的方式进一步减小光缆直径的选择变得更具挑战性。
一种逐渐流行的方法是使用涂层尺寸从通常的250um减小到200um的光纤。纤芯和包层尺寸保持不变，因此光学性能没有变化。但是，这种尺寸的减小，当延伸到光缆中数百到数千芯光纤时，可以大大减少光缆的总横截面积。这项技术已经在一些光缆设计中得到应用，并被制造商用于微型松套管光缆。
另一个重要的问题就是如何最好地提供数据中心互连连接，以连接距离远得多且不在同一物理园区中配置的位置。在典型的数据中心园区环境中，典型的数据中心互连长度不超过2公里。这些相对较短的距离使一根光缆能够在没有任何熔接点的情况下提供连接。然而，随着数据中心也被部署在大城市周围以减少延迟时间，距离正在增加，可以接近75公里。在这些应用中使用极端密度光缆设计会降低预算，因为在长距离内连接大量光纤的成本较高。在这些情况下，更传统的DWDM系统将继续是首选，以40G及更高的速度运行使用更少的光纤。
我们可以预计，随着网络所有者为即将到来的光纤密集型5G产品的推出做准备，对极端密度光缆的需求将从数据中心环境迁移到接入市场。在不压垮现有管道和建筑内部环境的情况下，开发能够有效扩展以达到所需光纤数量的产品将继续是行业的挑战。
David Hesson康宁全球数据中心市场开发经理，Derek Whitehurst康宁公司全球应用营销总监。
数据的巨大增长推动了数据中心园区的建设，尤其是超大型数据中心的建设。现在，一个园区里的几栋建筑都必须用足够的带宽连接起来。为了保持单个园区内数据中心之间的信息流动，需要多大带宽？每个数据中心今天可以以高达200 Tbps的容量向其他数据中心传输，而未来需要更高的带宽（见图1）。
图1. 概念园区布局。DCI要求和距离是独一无二的。带宽需求可高达100 Tbps甚至200 Tbps。
是什么推动了园区建筑之间如此巨大的带宽需求？
首先，东西向通信量的指数增长受到设备对设备通信的支持。第二个趋势与采用更平坦的网络架构有关，例如脊叶网络或CLOS网络。其目标是在园区内拥有一个大型网络结构，因此需要在设备之间建立大量的连接。
传统上，数据中心构建在由核心交换机、汇聚交换机和接入交换机组成的三层拓扑结构上。虽然成熟且广泛部署，但传统的三层体系结构已不再满足超大规模数据中心园区环境不断增加的工作负载和时延需求。作为响应，今天的超大型数据中心正在迁移到脊叶架构（见图2）。在脊叶架构中，网络分为两个阶段。脊阶段用于聚合数据包并将其路由到最终目的地，叶阶段用于连接主机端和负载平衡连接。
理想情况下，每个叶交换机都会扇出到每个脊交换机，以最大限度地提高服务器之间的连接，因此，网络需要高进制脊核心交换机。在许多环境中，大型脊交换机连接到更高级别的脊交换机，通常称为园区或聚合离子脊交换机，以将园区中的所有建筑连接在一起。由于这种更平坦的网络结构和采用高进制交换机，我们期望看到网络变得更大、更模块化和更可扩展。
图2.脊叶结构以及高进制交换机需要数据中心结构中的大量互连。
如何以最具成本效益的方式提供最佳的连接？
业界已经评估了多种方法，但普遍的模式是在大量的光纤上以较低的速率传输。要使用此方法达到200 Tbps，每个数据中心互连需要超过3000芯光纤。当您考虑将每个数据中心连接到单个园区中的每个数据中心所需的光纤时，密度很容易超过10000芯光纤！
一个常见的问题是，何时使用DWDM（密集波分复用收发器）或其他技术来增加每根光纤的吞吐量，而不是不断增加光纤的数量？目前，长达10公里的数据中心互连应用通常使用CWDM (粗波分复用) 1310nm收发器，与DWDM系统的1550nm传输波长不匹配。因此，在数据中心之间使用高芯数光缆来支持大规模互连。
下一个问题是，何时通过添加一个多路复用器单元将1310nm收发器替换为接入交换机中的可插入式DWDM收发器？答案是，对于园区内的数据中心互连链路，DWDM何时或是否成为一种经济有效的方法。
为了推算这种转换的可行性，我们需要查看DWDM收发器的价格，并与现有收发器进行比较。基于对整个链路的价格建模，目前的预测是，在可预见的未来，基于光纤丰富的1310nm体系结构的连接将继续占据低成本优势（见图3）。PSM4（8芯光纤）替代方案已被证明对小于2公里的应用具有成本效益，这也是提高光纤数量的另一个因素。
图3. 可插拔式DWDM收发器与100G CWDM4。
如何选择合适的光纤？
既然我们已经确定了对极端密度网络的需求，那么了解构建这些网络的最佳方法是很重要的。这些网络在布线和硬件方面都提出了新的挑战。例如，使用松套管光缆和单芯光纤熔接是不可扩展的或不可行的。如果使用松套管设计安装1728芯光纤，假设每个接头4分钟，则熔接时间将超过100小时。如果使用带状光缆配置，则熔接时间将降至20小时以下。尽管20小时仍然对熔接来说需要大量时间，但与单芯光缆类型相比，它节省了大量时间。
同时，传统的光缆缆设计安装在常用的2或4英寸管道中时也面临着巨大的挑战。新的光缆和带状设计已经进入市场，在相同的横截面积上，光纤容量基本上翻了一番。这些产品通常分为两种设计方法：一种方法使用具有更紧密可封装子单元的标准矩阵带，另一种方法使用具有中心或槽芯设计的标准电缆设计，具有可相互重叠的松散结合的网络设计带（见图4）。
图4. 不同的带状电缆设计，适用于极端密度应用。
利用这些新的光缆设计，可以在相同的管道空间中实现更高的光纤密度。图5说明了如何使用不同的极端密度类型的新光缆组合，使网络所有者能够实现超大型等级数据中心互连所需的光纤密度。
图5. 采用极端密度光缆设计，使同一管道空间的光纤容量翻倍。
当利用这些新的带状光缆设计时，网络所有者需要考虑硬件和连接选项，这些选项可以充分处理和扩展这些非常高的光纤数量。它可以很容易地压垮现有的硬件，在建立完整的网络时，有几个关键领域需要考虑。
需要安装多少建筑物内部光缆才能连接到1728至3456芯光纤建筑物外部光缆？如果您目前在内部建筑环境中使用288根光纤带状光缆，您的硬件必须能够充分容纳12至14根光缆。您的硬件还必须管理288个单独的带状熔接。在本应用中使用任何单芯光缆和单芯光纤熔接方法都是不可行或不可取的，因为准备时间长，光纤管理难度大。
另一个可能具有挑战性的领域是追踪光纤以确保正确熔接。由于必须追踪和布线的光纤数量巨大，光缆打开后，需要立即对光纤进行充分标记和分类。为了避免损坏任何光纤，应优先确保在加载到硬件中时将带状堆叠捆绑在一起并加以保护。在大多数安装中，导致重新准备光缆的错误是可以控制的。在极端密度网络的情况下，一个错误可能会对项目的完成产生严重的影响，并且可能只需要因为一个点而延迟一周。
极端密度网络的未来将如何发展？
目前最重要的因素是光纤数量是否会在3456芯处停止，或者如果我们看到这些数量会更高。当前的市场趋势表明，芯数要求甚至超过5000芯。为了保持基础设施仍能扩大规模，缩小光缆尺寸的压力将加大。随着光纤封装密度已经接近其物理极限，以有意义的方式进一步减小光缆直径的选择变得更具挑战性。
一种逐渐流行的方法是使用涂层尺寸从通常的250um减小到200um的光纤。纤芯和包层尺寸保持不变，因此光学性能没有变化。但是，这种尺寸的减小，当延伸到光缆中数百到数千芯光纤时，可以大大减少光缆的总横截面积。这项技术已经在一些光缆设计中得到应用，并被制造商用于微型松套管光缆。
另一个重要的问题就是如何最好地提供数据中心互连连接，以连接距离远得多且不在同一物理园区中配置的位置。在典型的数据中心园区环境中，典型的数据中心互连长度不超过2公里。这些相对较短的距离使一根光缆能够在没有任何熔接点的情况下提供连接。然而，随着数据中心也被部署在大城市周围以减少延迟时间，距离正在增加，可以接近75公里。在这些应用中使用极端密度光缆设计会降低预算，因为在长距离内连接大量光纤的成本较高。在这些情况下，更传统的DWDM系统将继续是首选，以40G及更高的速度运行使用更少的光纤。
我们可以预计，随着网络所有者为即将到来的光纤密集型5G产品的推出做准备，对极端密度光缆的需求将从数据中心环境迁移到接入市场。在不压垮现有管道和建筑内部环境的情况下，开发能够有效扩展以达到所需光纤数量的产品将继续是行业的挑战。
David Hesson康宁全球数据中心市场开发经理，Derek Whitehurst康宁公司全球应用营销总监。
