数据中心基础设施中的40G和100G

10/19/2012,现在服务器和交换机日渐成熟，使用直插电缆(DAC)、有源光缆(AOCs)和光收发器的40G 互连将耀世登场。数据中心基础设施终于迎来了它新一轮重要升级周期。

10G 面临很多问题
    一旦服务器升级，架顶式（top-of-rack）交换机的上行链路需要更高速度。但是从1G 到10G的过渡过程中充满坎坷。过去，服务器供应商自带 1GbE RJ-45  LAN-on-motherboard 是免费的。但是 现在一个双端口 10GBASE-T价格不菲。Cat5e 差不多是免费的，互连绝过去绝不是一个严重的成本问题，而现在却是。服务器公司出售 10G端口，可以安在可插拔的“子卡”上，这样断了后续市场竞争者的后路，并垄断着高价格。子卡可以和1G、10GBASE-T、2-4 SFP+ 端口和双端口QSFP合用。将来还会跟100GCXP和CFP/2搭配使用。由于服务器公司在10G/40G升级上赚了大笔的钱，大家会问这样一个问题：“服务器公司是否会回到LOM 模式，购买者将不需要付钱？”我们的回答：会的。但是只是在过渡到40G之前！10GBASE-T在高功耗、尺寸和成本上都有问题，所以，当10GBASE-T厂商在开发28-nm版本之时，使SFP+ DAC乘虚而入。这使整个行业格局发生了很大变化。但是DAC也有它的问题。由于它电连接两个不同的系统，不是所有的SFP+端口是相同的。LightCounting 预计2012年会有100万 10GBASET端口使用SFP+DAC，大约是50万个链路—几乎是一个使用1GBASE-T大数据中心的所有链路。SFP+DAC 将会连接大约250万-350万个端口，连接服务器和架顶式交换机，距离小于7米。 SFP+AOCs近期有望浮出水面。而光收发器则典型地用来连接交换机，连接距离一直可达100米。LightCounting预计2012年10GSFP+SR和 LR光收发器的出货量大约是6百万个。

    服务器-交换机的链路从1G更新到10G, 使得交换机上行链路要增加到40G，来连接TOR（Top Of Rack）交换机到EOR（End Of Row）交换机直到汇聚交换层。数据中心运营商刚从经济危机的阴霾中站起，预算仍然紧张。"递增式升级"是运营商的投资策略。增加“必需的”10G/40G链路是目前的投资。尽管“100G”似乎得到展会和媒体的高度关注，但是40G却是未来2-3年赚钱的产品。数据中心才开始需要4~6G,甚至还没有到10G。所以，很多数据中心仍然处于过度、“必需要才升级”的状态。尽管Google、Facebook、Microsoft 等所谓的10亿美元超级数据中心使万人瞠目，但是它们并不代表数据中心主流。

    为追逐收发器商机，多个收发器供应商抢先提供传输距离小于50米的40G QSFP SR 收发器和Ethernet  AOC。目前已经有10家厂商宣布进入该领域，还有更多供应商正在计划加入进来！技术壁垒门槛低、成本敏感的Internet数据中心（尤其在中国的）很可能出现大宗购买。LightCounting 预计收发器行业会实行传统的割价战：“让我们都开出跳楼价，看谁能挺到最后流血倒地而死。”因此，40G SR 收发器很可能从今年的$250跌到明年与OEM完全兼容的$190以下的价格。我们甚至看到“插上-希望它能工作plug & hope they-play”的收发器，价格是$65—一分价钱一分货！OEM 的Ethernet AOC 价格低于$190—这是一条包括尾部和光纤部分的整个链路的价格！但是在25G传输，多模光纤的传输距离看上去像25米。相似的情况， 在电路板上，其传输距离在10G是10-12英寸，在25G 缩小到4-6英寸, 会使EOMs变得很抢手，用于mid-board, 把机架内部的电子器件连接起来。

    40G QSFP MSA 得天独厚，配合多模光纤可以支持短距离（SR）--100米，与双芯单模光纤配合，可以支持10km—一切都在同一个QSFP 交换机端口内。像ColorChip, Sumitomo和其它别的公司生产LR4QSFP. Opnext, NeoPhotonics, Finisar, InnoLight 等生产更大的 CFP。QSFP 可以每线卡插36-44个端口，而CFP在32W只能插2个。在LightCounting 我们亲切地称“紧凑煎锅”， 它虽然在电信很普及，但是却不在数据通信中！OEM价格从$2,000到$3,000不等，取决于数据中心或电信的需求。

    数据中心亟需上万个100G 中等传输长度的链接来支持来自信息爆炸式需求。行业会议上对此大肆鼓噪。这些流量需求来自服务器虚拟化、大数据、智能手机、平板电脑甚至软件界定的网络（SDN）。大型核心交换机公司主要把10-Channel CXP 用于多模（multi-mode ）方面， 与收发器和AOC共同协作。在为4x25G 的25G传输中，多模噪声尖峰有可能造成威胁，使多模收发器的距离降到25-50米，可能会需要FEC和/或均衡化来达到125米。这会使25-125米距离的收发器价格升高。与2km SMF收发器的价格拉近。

长距离100G的问题
     超过100米的100G产品证明相当难以实施，这听起来令人沮丧。并且比起先预期开发的时间要长。IEEE 40G/100G 高速调研组在七月份开过会。把调研时间又延迟了6个月来解决技术问题。对于更长距离的产品，工程师们艰苦钻研，试图把所有的光器件和电子器件放入一个MSA组件中，并满足所有的功耗、尺寸、电和光的指标。这是可以实现的，但是以多大成本和功耗来实现仍然是一个未决问题。CFP/2不是唾手可得的！Molex和TE Connectivity 支持zCXP——还是CFP/2, 所以有很多争论围绕着是zCXP还是CFP/2 适用于下一代，不过专家估计市场上这两种产品都有。硅光子公司如Luxtera、Kotura、LightWire/Cisco 声称他们能够把它放入一个QSFP! IEEE 小组制定正确的25-28G 产品速率通用规范，这至关重要。因为它是很多协议的独一汇合点-Infiniband EDR 在26G、Ethernet在25G、SAS 4.0 在24G、Fibre Channel 在28G 和电信在28G。这样的结果是将会使得将来产品单位体积（unit volume）变得很多，因为线路速率除了Ethernet以外，还跨越数据中心中的很多协议。

    目前，对于传输距离100米-600米，还没有经济上行得通的100G解决方案（除非是或许可以用2个40G和2个10G收发器）。 当数据中心变的更大的时候，这是一个热点，也是IEEE争论的焦点。 每额外增加1米，会使收发器OEM价格从CXP的 $1,000 窜到电信中心CFP的$16,000! 通常声称传输2公里的，其实只能传输400-600米， 在一个有损耗的数据中心环境下， 用插线面板和脏的连接器，只能得到4-5 dB，10公里链接就需要6dB。下一代激光器和代替SiGe的CMOS 电子器件正在开发中，但是，CMOS电子更难开发。

    40G 和100G是数据中心的两个主要的“形式”。短距离收发器（SR4），使用多模光纤，可以传输大约100米。使用单模光纤，长距离收发器（LR4）可以传输100米到10公里。这个所谓的、还没有正规术语的“nR4”正在问鼎2km 4dB问题。 SR 收发器在数据中心通常用来连接计算机丛 和各种交换机层。数个SR收发器与OM4光纤合用，可以传输大约300米。 但是在125-200米， 转换使用单模光纤, 收发器和光纤能带来利益回报；甚至在25G传输，也能带来收益。

    40G通常在QSFP 或 QSFP MSA中， 通常以4个 10G 通道布放。SR 收发器使用8个多模光纤（一个对应一个方向）、VCSEL 激光器和QSFP MSA。 LR 4收发器使用边发射激光器、多路传输4个10G 通道到两个单模光纤上，这个单模光纤可以在CFP MSA 中传输10km, 不久也可以在CFP/2和QSFP 28 MSA上达到这个距离了。在40G，SR4和LR4 都可以用于同一个QSFP交换机接口，没有任何问题——只要插入，就可以运行——可以达到1米—10公里，没有任何问题。（但是在100G还不行）
    100G SR10使用20个多模光纤、VCSELs和CXP MSA。100G LR4 使用CFP和2根单模光纤。虽然承诺传输100米， 但是SR10 CXP 收发器通常用来连接大型汇聚层和核心交换机，距离小于50米，因为，当距离变的更长时， 20 根多模光纤会很很贵， 因为多模光纤比单模光纤贵大约3倍。 只有在2012年，数个收发器公司陆续宣布开发出CXP 100G SR 收发器。而40GQSFP 收发器和AOCs自从2008年就问世了。再往后， 4x25G QSFP SR收发器有可能惊现于10x10G CXP 收发器市场。
结论
   未来几年，Intel的Romley 新服务器架构和其后的硅光子技术、PCIExpress 3.0、10G上行链路到架顶式（Top-of-rack）交换机，40G上行链路等技术应用于交换基础设施。40G是未来3年赚钱之所在。但是人人都可以看到与mid-board 光器件一起，100G将是下一个技术热潮。IEEE将会解决技术问题。100G基础设施将会在2014年末量产。大家要清楚地认识这个问题，因为100G将会持续很久。
    由于数据中心基础结构发展进化到新模式，收发器互连也跟着进步。人们说：盈利不大的时候，改变线速和MSA, 迷惑每个人，而后，大清洗，再周而复始。    

    加速到25G会使这个行业大洗牌，因为这个技术变得越来越复杂。低成本制造行不通了。跳跃到25G ASICs 会使很多前面板（front panel）收发器转变为安装在mid-board处的嵌入式光模块.（EOM），这也改变这个行业的运作模式和游戏规则。
    Brad Smith 是高速互连市场调研公司LightCounting的资深副总裁。本文是刚刚出版的“数据中心中40G和100G互连”和“嵌入式光模块”报告中的节选。