40G以太网：一场不容错过的“盛宴”

6/25/2012,从3Mbps到现在最高的标准IEEE 802.3ba 支持40/100G速度，成长的空间以万来计算。我们暂且忽略在这过程中的种种，且来看看今天异军突起的40G网络吧。现在，40G产品已经开始量产，首批用户已开始试水这些产品，但大量的部署还没有开始。40G以太网在现在和不远的未来，都会对用户产生深远的意义。这个时刻表在10G以太网网卡集成到服务器的时候，已经被无限迫切地拉到眼前。从设备角度来看，核心交换机高密40GE单板（至少20*40GE）已经是大势所趋，尤其在数据中心交换机领域，40GE时代已经到来，华为技术专家表示。

越来越有意思的40G以太网市场

    40G以太网从诞生之初就颇为有趣，与百兆、千兆到万兆的以太网以10为阶梯升级不同，它是10G以太网的四倍，并且是与100G以太网标准同时推出。这似乎是给了网络厂商和用户一个选择：到底是40G还是100G？这在当时是一个问题，在随后的几年时间里仍然是一个问题。从不久之前《网络世界》做的100G市场和应用状况调查来看，目前100G的应用尚处于萌芽阶段，在运营商领域刚刚开始崭露头角，在企业网中实际应用还是星星之火，国内尚未有实例。与此对应的是40G网络市场的风生水起。从现在的市场情况来看，Extreme和戴尔可谓占了天时，但其他厂商的发布也并没有晚多少。思科、瞻博网络、阿尔卡特朗讯、H3C、锐捷等厂商都陆续发布了产品，新兴厂商Arista和Mellanox解决方案也特征鲜明。最近的消息是华为在刚刚落幕的Interop 2012上发布了CloudEngine系列数据中心交换机，性能参数惹人注目。之前选择100G以太网作为主攻对象的厂商也已经陆续推出了自己的40G以太网产品，而一些尚未发布40G产品的厂商似乎也开始酝酿。从分歧到认可，40G以太网的发展可谓颇为曲折。

    另外一件有意思的事情是在去年年底发布的40G以太网市场数据，从上榜名单来看，也颇值得玩味。40G以太网市场是不是市场洗牌的新机会？恐怕很多人的心里都在打鼓。据去年12月Dell'Oro发布的第一份40G市场报告显示，在2011年第三季度，Extreme占据了40G模块化以太网交换机市场的最大份额。供应商中仅戴尔和Extreme在三季度就取得了模块化40G产品的收益。当然，发布时间的早晚之分，市场尚未成长是形成这个数据非常重要的原因，因此它还不足以说明全部情况。但这种数字已经让人很有遐想的空间。

    此外，从IDC的数据来看，2011年全球以太网交换机收入达到210亿美元，其中第四季度收益为60.06亿美元，同比增长5.5%，环比增长1.2% 。10G以太网市场的销售非常亮眼，同比增长26.5%，而同期的端口发货量的增长则高达一倍多。但增长更为迅速的却是40G以太网，2011年第四季度达到12000端口。因此，40G产品虽然实际数量并不占优势，但是成长的曲线却非常动人。可以预想到在不远的将来，数据中心交换机厂商将会加大40G以太网市场的拓展力度。

    40G以太网，这是一场任何厂商都不愿意错过的“盛宴”。

盘点40G以太网产品

    站在现在这个时间点上，40G交换机已经不在再新鲜。那产品盘点从哪里开始呢？不如就从在去年Dell'Oro报告中提到应用最多的Extreme开始吧。

    Extreme的40G以太网产品包括核心层和汇聚层。核心层的产品是BlackDiamond 8900系列和BlackDiamond X8产品，汇聚层的产品是Summit X670系列和Summit X650系列。重头戏是在Interop 2011上重点推荐的BlackDiamond X8和Summit X670系列。BlackDiamond X8可支持线速192个40GbE端口，或线速768个10GbE端口。可以提供每插槽1.28 Tbps带宽或每交换机20+Tbps交换容量。Summit X670系列包括两个型号：Summit X670V和Summit X670。其中，Summit X670V通过配置可选的VIM-40G4X扩展模块，可支持额外的4个40G QSFP+接口。使用这个扩展模块，可以在连接48个服务器端口的同时使用最多4个40G端口来上连。

    为戴尔（Force10）赢得40G市场的产品主要是Z9000和S4810。其中，Z9000产品可支持32端口40 GbE QSFP+，或借助分支光缆实现128端口10 GbE SFP+。S4810这款产品48端口的10GbE产品，同时提供4个40GbE上行端口。非常值得一提的是，Z9000的40G端口设备的最大功率不到800W。另外S4810的10G端口最大功率也只有220W。这在数据中心强调高能效、节能减排的今天,显得尤为有意义。

    思科作为行业内举足轻重的厂商，其在40G以太网的发布并不靠前。事实上，直到今年一季度，思科才宣布扩展交换机的40/100G功能。其中，Catalyst 6500交换机系列新增了Catalyst 6900系列40G以太网接口模块，该模块允许交换机支持44个40G端口。Nexus 7000则提供两种模块：两个端口的100G以太网卡，以及提供32个无阻塞100G以太网端口。此外两个端口的40G以太网模块可以为交换机提供96个无阻塞40G以太网端口。目前，这些升级产品还在陆续上市中。虽然上市时间并不靠前，但思科方案非常全面，整个方案不仅包括交换机，而且包括布线产品、网卡产品。思科的UCS服务器M3版本也包括有40G的网卡。除此之外，Nexus 3016作为一款定位为超级时延交换机，其本身也已经有16个40G的端口。

    网络老牌劲旅阿尔卡特朗讯在40G产品的发布上尽管没有占得先机，但涨势良好。“现在全球很多国家和行业已经开始试用我们的40G产品。40G在2011年底按计划面市，完成了我们在2011年中获取Interop数据中心大奖的创新架构中40G高速并行互连的POD蓝图，实现了我们对市场和业界的承诺。”阿尔卡特朗讯数据中心及云网络亚太区市场战略及市场开发总监张宇峰这样表述：“在板卡方面，阿尔卡特朗讯的产品主要有OS-HNI-U6和OS-QNI-U3两种。其中，OS-HNI-U6是混合板卡，支持2 x 40G + 4 x 10G或1G (10G/1G 取决于用户选用的Tranciever类型)；OS-QNI-U3是纯40G板卡，支持3 x 40G。”

    作为网络新秀的Arista在2011年年初，也推出了40G系列产品：DCS 7050S-64、DCS 7050T-64和DCS7050Q-16。其中，DCS 7050S-64 具有4个40GbE QSFP+端口和48个10GbE SFP+端口，可以作为中小型数据中心主干(Spine)或接入(Leaf)交换机。DCS 7050T-64具有4个40GbE QSFP+端口和48个1G/10GBase-T端口，可以作为中小型数据中心1/10GbEBase-T 服务器接入(Leaf)交换机。 DCS7050Q-16具有16个40GbE QSFP+端口和8个10GbE SFP+端口，可以作为中小型数据中心主干(Spine)交换机。

    此外，留下40G接口为未来升级扩容留出足够的空间是很多厂商的做法。目前，H3C已经在S10500、S7500E、S5820V2产品上支持40G接口。“后续到2013年，H3C会在更多的产品系列上支持40G，包括100G端口。” H3C解决方案部副部长卢国强说。

    锐捷网络的40G发布是在2011年1月，主要是RG-S12000系列和S6200系列，其中RG-S12000有十槽位和六槽位作为选择（S12010和S12006）。RG-S6200-48XS固化了32 个万兆SFP+光口，包含1个扩展槽。1个扩展槽可以容纳16口SFP+万兆模块或4口40G模块。整机可支持48口万兆或 32口万兆+4口40G线速。

    Mellanox是从InfiniBand转而进入以太网的。在40G的问题上，“Mellanox提供了完整解决方案，包括芯片、网卡、交换机、线缆和软件产品。” Mellanox亚洲区技术总监宋庆春对Mellanox的一揽子解决方案非常自信：“Mellanox已经在全世界部署了大量的高速 InfiniBand大型系统，积累了大量的部署经验，40GE以太网的部署对于Mellanox会较轻松。”目前，Mellanox已经出货的网卡有单端口PCIe3.0 40GE网卡MCX313A-BCBT和双端口PCIe3.0 40GE网卡MCX314A-BCBT。在交换机产品上，提供36端口40GE交换机SX1036，以及48端口10GE和12端口40GE交换机SX1024。谈到为什么会设计这么多品类的产品，宋庆春指出：“40GE采用的是4个10G的通道同时传输数据，如何避免四个传输通道的串扰，确保信号传输的品质，需要从网卡、线缆、交换机和软件四个层面来保证。”

    瞻博网络的QFabric在刚刚推出之时，曾造成业界一片哗然，完全一层的网络设计给很多人带来了灵感。当时与QFabric战略同时发布的QFX3500是一款48端口10G的ToR交换机，有4个40G的上联端口。

    华为在本月发布的CloudEngine系列交换机在Interop 2012上赢得了非常多的好评。CloudEngine系列包括CE12800核心交换机、CE6800和CE5800 柜顶交换机。其中CloudEngine 12800系列核心交换机整机最大支持48Tbps交换容量，支持每槽位2Tbps的带宽。整个系列支持网络虚拟化，支持计算、存储、网络融合等。

端口之外的升级和突破

    就产品比较而言，端口密度是一个最容易看到的比较项，另外一些特征却并不明显，但是非常重要。随着网络的发展，网络融合与简化成为大势所趋。相较于10G以太网，40G以太网在这些方面的显然要有所突破。

    “与传统的网络产品相比，BlackDiamond X8不只是在端口密度和交换性能上有非常大的突破。事实上，BlackDiamond X8在架构的创新和优化上有突破性进展。比如，BlackDiamond X8是没有背板的，每个线卡直接和矩阵进行交换，这就使得速度非常快，时延很低。” Extreme Networks网络顾问苏和这样说。此外，BlackDiamond X8在新技术支持上还包括存储融合技术，如数据中心桥接(DCB)，实现LAN-SAN融合，用于iSCSI、NFS、CIFS，以及支持FSB功能的FCoE等。模块化ExtremeXOS操作系统则保证了弹性和智能虚拟化方面的能力。

    事实上，DCB、TRILL、SPB，以及FCoE、802.Qbg等特性并不是某一家的专利，而是一些正在起草或者已经通过的网络标准。应用对网络的要求是多方面的，速率只是其中之一。当然，是最容易识别的一个要求。虚拟化、云计算的趋势对网络的简化以及融合提出了更高的要求，现在新的网络架构不断涌现，但是开放、大二层、网络融合是基本的共识。笔者曾写过一篇《网络群雄逐鹿架构未来 》，盘点了现在主流厂商的架构，这里就不再赘述。

    这些新增的网络特性与40G并没有必然的联系，但是却是40G及更高的100G产品比较中不可或缺的选项，因为这些特征往往与云计算及数据中心相关。

部署40G：你不得不考虑的那些事儿

    40G网络设备已经呈现，但在实际选择和部署过程中，用户要搭建一个网络需要考虑的还有很多。比如，自己在面对10G、40G以及未来的100G网络时应该如何选择？再比如，在实际部署过程中还要考虑配套系统的情况，布线、电源和机柜都需要与之进行匹配。

    什么样的用户会选择40G网络呢？事实上，“最重要的因素还是用户网络实际的业务需求，根据目前的流量情况选择适当的接口带宽。另外用户也要充分考虑网络未来的升级扩容能力。” 卢国强的回答从当下和未来的角度进行了阐释。拿什么作为界定的标准呢？

    “一般我们看的是万兆端口的密度，在接入层万兆端口密度提升以后，核心层采用40G连接是数据中心发展的必然趋势。” 锐捷网络有限公司产品营销部数据中心产品经理蒋波这样说。Arista国际销售区域副总裁Mark Foss则从几个方面给出了比较细致的解答：“首先，要看网络带宽的需求；其次要考虑组网的实际情况，设备间互联距离如果小于150米，可以考虑40GbE/100GbE，若互连距离大于150米以上，那么目前还是主要考虑采用10GbE；再次要考虑布线的灵活性，为了布线方便、简洁，可以首先考虑10、40或100GbE。同时，还要考虑互连采用双绞线、双同轴电缆还是光纤。如要采用现有双绞线布线系统连接服务器，就可首先考虑采用10GbE。最后，端口密度以及每个端口的平均投资也是不可忽略的内容。”

    在Mark的总结中提到了布线，针对不同的距离和灵活性的要求给出了并不相同的建议，这是什么原因呢？布线领域的专业厂家是最有发言权的。“目前，10G以太网的光纤和铜缆传输标准都已经发布，但是就40G以太网传输而言，现在是只有光纤标准而没有铜缆标准。”美国西蒙公司大中国区技术部经理陈宇通这样说。从布线的发展来看，一般来说，铜缆标准总是落后于应用标准和光纤标准的。历史上的10G就是如此。现在国际布线组织TIA和ISO都已经成立了铜缆工作组来进行标准的研究工作。TIA的名称是TIA 568-C.2-1，ISO的名称是ISO 11801-99-X，TIA标准提到的是100欧姆支持下一代布线规范，但是并未明确40G还是100G，而ISO则明确是在40G传输领域。在前文中多次提到的QSFP+，实际上是短距离传输的一种选择。一般来说，是用来连接ToR交换机的，也就是距离不超过一个机柜。“QSFP+和SFP+正好弥补了现在的双绞线支持真空期”。陈宇通这样认为。当然，现在也有人认为未来QSFP+和SFP+会取代现在的双绞线布线。在不久之前Intel发布的一份预测显示，QSFP+和SFP+的出货在逐渐下降，而双绞线在逐渐上升，到2013年，QSFP+与SFP+与10GBase-T会基本持平。

    既然布线的情况是这样，用户应该如何选择呢？“短距离可以选择QSFP+和SFP+等，长距离可以考虑光纤。多模光纤OM3标准支持100米，而OM4的标准则是150米，单模光纤则不会遇到传输距离的问题。”陈宇通这样建议。但针对现在高密度、高性能、更长距离、更高速传输等要求，MPO/MTP会是比较合理的选择。

    布线问题不能忽视，物理基础设施的升级更为重要。显然，数据中心供电和制冷系统的可靠性是整个IT系统正常运转的前提。“在很多低密度的数据中心中，单个机柜的功率密度一般低于3KW，随着虚拟化的普及，高密度设备应用单位机柜的功率密度已经提升至5~8KW，有些数据中心机房的功率甚至可以达到30~50KW。例如：天津天河一号超算中心单个机柜的功率就达50KW，如果依靠传统的高架地板下送风，物理基础设施架构显然无法满足需求。”施耐德电气大中华区战略市场总监谢卫刚用数字简单而直接表明了现在的问题。“采用水平送风，紧靠热源的制冷，对于低密度机房中的高密度部署采用热通道遏制系统，摒弃传统的高架地板模式是比较切实的方案。”这是来自数据中心物理基础设施厂商的中肯建议。而高效、绿色节能也已经成为数据中心解决方案的一项重要指标。

从一个案例谈开去

    现在都有哪些客户开始使用40G了呢？“Dell  Force10 目前在全球和中国有大量的成功部署案例, 主要应用在Web2.0、高性能计算、云计算中心、运营商高密度数据交换等行业应用。”戴尔大中华区网络高级市场经理姚鑫浩这样说。事实上，戴尔并不是特例，Web2.0、高性能计算、云计算中心、运营商高密度数据交换这些用户群已出现在所有厂商的用户名单中。

    我们不妨从一个实际的案例说起：位于南京的中国石化石油物探技术研究院网络。在新扩容的网络中，它使用了三台Extreme的BlackDiamond X8，这三台设备之间是用两条40G进行链路捆绑，互联带宽80Gbps。和其他集群之间则采用多个10G捆绑，和比较大的集群用8个10G捆绑。所以大节点之间的链路互联带宽为80Gbps。与需求不断增长的用户类似，物探院原本网络中存在各个厂商的各种产品，在做扩容的时候，第一个需要面对的问题就是如何把过去的网络、存储等都整合到同一个架构上来，这往往也是一个网络优化的过程。“在实际操作中，我们发现三台X8上的结构是非常类似的，每个上面都有计算、存储和管理节点。于是，我们就考虑把资源进行整合，计算资源移在一起形成计算云。另外把一些提供给多个集群使用的共享存储整合到一起，形成存储云。这样的好处是资源的合理调配，并不相互影响，形成一个整体的云解决方案。”苏和介绍说。

    在这个案例中，有几个方面值得关注。首先，是原有网络在扩容时，不同品牌产品之间的互通需要整体的方案。其次，扩容并非是线性的简单扩展，往往伴随着的是网络结构的优化。而这部分优化功能对网络而言更为重要。

    网络传输的发展可谓是“一笔一万里，一划一重天，日新月异在发展”。在其背后是业务需求的发展，更是人们对更高效生活的诉求。40G网络只会是一个里程碑，如同100M、1000M和10G一样。但是，伴随着每一块里程碑的确定，IT给生活带来的却是越来越大的惊喜。