腾讯程传胜《400G技术发展与测试》（开放数据中心峰会精彩分享）
发布时间：2018-10-24 09:51:45 热度：3594
10/24/2018,2018年10月16-17日，由开放数据中心标准推进委员会（ODCC）主办，百度、腾讯、阿里巴巴、中国电信、中国移动、中国信息通信研究院和英特尔等承办的“2018开放数据中心峰会”在北京国际会议中心举行。
在2018开放数据中心峰会新技术与测试分论坛，来自腾讯的网络架构师程传胜做了题为《400G技术发展与测试》的精彩演讲,PPT及原文如下：
谢谢郭总，大家中午好！我叫程传胜，来自腾讯，很高兴跟大家做技术分享。今天我分享的题目是400G技术发展与测试，这个题目很大，我结合在腾讯数据中心的发展和腾讯的工作来做这个技术分享，内容分三个方面：腾讯数据中心400G时代来临、400G光模块几点应用技术选择、数据中心光模块测试。
从外部环境来看，400G相关技术的相关规范已经制订或者在落地，包括光模块的规范，定义了400G—SR16、FR8、LR8，IEEE802.3bs等等。
第二个外部条件，400G光模块产品的落地，有部分光模块已经落地，在2019年Q2大部分光模块都会达到量产的状态。从外部条件来看，规范已经定义好了，我们的产品即将落地，400G光模块的测试设备已经准备好了，400G落地已经准备好了。
腾讯数据内部光模块的演进趋势：2013年腾讯开始部署万兆交换机，对比成本发现25G光模块比较贵，25G光模块加上25G光交换机的成本大于25G电交换机，所以万兆时代选择电交换机。2017年腾讯开始小规模上25G交换机，对25G来讲双绞线搞不定，所以25G这一代我们选择光交换机。在server选择25gAOC。
根据腾讯自研交换机的发展趋势还有400G业界的发展，预计在今年Q2会有400G交换机样品研发成功，在2019年年底会做一些400G光模块相关的测试，2020年底或者2021年初应用400G的光模块。外部环境协议标准落地，内部交换机还有使用环境已经准备好了，对腾讯来讲400G的时代已经来临。
400G光模块的几个方案选择：第一个是多模400G的选择，目前呼声比较高的是SR8和SR4.2，只从应用角度来讲SR4.2占优势，但是我们还要考虑其他关键因素，VCSEL芯片资源，对910激光器来讲，业界能生产成功910激光器的厂家就一到两家，激光器的资源不是很丰富。系统架构稳定性，SR4.2用了两款激光器还有分光的元器件，它的光模块架构比SR8复杂一点，要考虑到整个光模块架构的稳定。从理论上来讲，OM3和OM4的光纤在910光波下能传40米或者70米，但是OM3和OM4光纤设计之初为850纳米光波设计，在OM3和OM4光前应用不能得到保障和可靠性。综合成本比SR8大的多，SR4.2布线的优势没有大于SR8的成本优势，短期来说倾向于选择SR8的方案来做400G刚开始的应用。
400G模块封装OSFP、QSFP—DD，综合来讲，400G的选择QSFP DD，TOR交换机喜欢用48+8的架构，对于QSFP48+8摆不下，400G光模块功耗小于14瓦的情况下，散热无论从仿真还是实际测试结果都是可以胜任的，QSFP—DD和OSFP，我们选择QSFP—DD的组装。
400G SR8 MPO接口选择，MP016线头的排列是一排，MPO24是两排，我们选择MP016生产的时候，光纤只是左右对齐就可以，对MPO24除了左右对齐还有上下对排，所以我们选择16。
数据中心光模块测试：数据中心光模块的特点，测试光模块时候考虑的点，分四个因素。光模块的因素、交换机的因素、网络架构因素和数据中心的因素，对数据中心光模块来讲，腾讯2017年开始启动数据中心光模块自采工作，2018年上半年开始数据中心光模块的自采。数据中心光模块自采给我们带来成本的下降和灵活性的同时，也带来很重的测试。数据中心光模块种类多，厂家多，我们选择三个光模块厂家给我们供货的话，实际评估四到五家做差额的选择。实际情况我们测试的时候肯定多于4—5家。数量多，腾讯预计2019年服务器的规模会大几十万，映射到AOC要一百多万条AOC，对光模块来讲有几十万个光模块。积累三年的量在线规模可以达到一两百万支，给我们测试的担子是比较重的。自主运营，自采光模块带来的问题是说光模块出来问题，要我们自己来解决定位。
数据中心交换机的因素，机型太多，1U、2U、4U、8U、16U交换机，测试的时候都要覆盖到这些形态。有各个厂家的交换机，有的厂家用思科或者自研的芯片或者新兴的芯片，我们测试的时候每个芯片也都要覆盖到。网络架构采取CLOS Fabric整个网络成本的占比大概到50%左右。数据中心环境好，温度维持在18—30度，湿度40%—60%，数据中心比较分散，全国各地都有分布，综合数据因素的应用，对数据中心光模块的测试来讲集中在以下几点。前面两个研发测试和出厂测试，这个是光模块厂家需要保证的，除非出了重大的纰漏问题我们一般不干涉，拆开光模块做一些白盒的分析，看各个厂家的组装工艺、焊接工艺等等。信号质量的测试，光模块插在具体的交换机上，交换机端口发出的信号是实际芯片发出的高速信号，综合了交换机使用的环境包括交换机内部的电源还有始终的噪声，还有一些走线长度、衰减等等，同一个插口上插不同厂家的光模块，看光电信号的情况还有其它的指标，来看不同的厂家对恶劣信号的恢复和兼容性情况，来做一个光模块信号方面的对比。
环境类的测试，主要集中在气侯环境类的测试，光模块的工作温度是0—70度，我们进行气侯环境温度测试的时候测的比较严酷，最主要超过光模块的功能方案做测试的目的是为了考察各个厂家光模块正常工作的边界。
对接测试，ABCD四个同型号同类型的光模块俩俩测试，这个测试也是实际环境中的实际情况。实际当中不会区分哪个厂家和哪个厂家，这个测试也帮助我们发现不少的对接问题。有如此多种类的光模块和如此多中流的交换机作为载体做对接，只有国内的大型互联网数据中心才有这个场景。可能对某些交换机厂家来讲，它会对接比较多的光模块，但是可能没有其它厂家的交换机来做对接。对光模块厂家来讲，搜集不全其它的友商光模块做对接测试，这个工作一定是由我们数据中心来完成的。
数字诊断测试，结合环境类测试在不同环境下会监测和测试数据诊断的准确性。
历遍测试，考虑到每一款光模块在不同交换机上的应用，可能应用到光模块的场景都测试到。
我们不喜欢PCN，并不是说我们不接受PCN，刚才讲了光模块的测试涉及到方方面面和各种组合，每次PCN对我们来说都是一次比较大的挑战和非常大的工作量。从历史经验来讲，PCN也有可能会引来一些莫名其妙。出现问题反映比较快，刚才讲到数据中心分布在全国各地，光模块的量特别大，如果出现问题的时候希望厂商反应比较快，将问题缩小到最小范围。数字诊断必须有，也可以重新增加。对现在使用100G光模块，所有光模块有五个基础的数字诊断，我们也建议在不增加功耗成本不降低性能的情况下，酌情增加一些数字诊断，供我们运维平台做更多的采集数据。
可以降低测试的标准，厂家和我们合作依据数据中心使用的特点，在工况测试的时候降低测试标准，从而可以降低光模块的成本。
减少寿命，OFC上有声音说数据中心大概三年换一代，对腾讯来讲我们交换机的寿命是五年，光模块前面的架构演进可以看到，光模块的迭代大概是五年一次。我们建议光模块的寿命设计按照五年来设计，这个前提是不减少性能的情况下，可以通过减少寿命的设计来降低成本。
降低光模块的温度范围，如果用在数据中心，数据中心温度的范围是18—30度，加上十几度温升，最高温度不超过55度、60度，可以降低光模块的温度范围。
可以定制参数，比如400G Power Budger等，3DB，结合数据中心线没有这么长，降低3DB或者3.5DB，减少参数的范围来降低我们的光模块成本。
我的分享就是这些，谢谢！
PPT如下
来源开放数据中心委员会
在2018开放数据中心峰会新技术与测试分论坛，来自腾讯的网络架构师程传胜做了题为《400G技术发展与测试》的精彩演讲,PPT及原文如下：
谢谢郭总，大家中午好！我叫程传胜，来自腾讯，很高兴跟大家做技术分享。今天我分享的题目是400G技术发展与测试，这个题目很大，我结合在腾讯数据中心的发展和腾讯的工作来做这个技术分享，内容分三个方面：腾讯数据中心400G时代来临、400G光模块几点应用技术选择、数据中心光模块测试。
从外部环境来看，400G相关技术的相关规范已经制订或者在落地，包括光模块的规范，定义了400G—SR16、FR8、LR8，IEEE802.3bs等等。
第二个外部条件，400G光模块产品的落地，有部分光模块已经落地，在2019年Q2大部分光模块都会达到量产的状态。从外部条件来看，规范已经定义好了，我们的产品即将落地，400G光模块的测试设备已经准备好了，400G落地已经准备好了。
腾讯数据内部光模块的演进趋势：2013年腾讯开始部署万兆交换机，对比成本发现25G光模块比较贵，25G光模块加上25G光交换机的成本大于25G电交换机，所以万兆时代选择电交换机。2017年腾讯开始小规模上25G交换机，对25G来讲双绞线搞不定，所以25G这一代我们选择光交换机。在server选择25gAOC。
根据腾讯自研交换机的发展趋势还有400G业界的发展，预计在今年Q2会有400G交换机样品研发成功，在2019年年底会做一些400G光模块相关的测试，2020年底或者2021年初应用400G的光模块。外部环境协议标准落地，内部交换机还有使用环境已经准备好了，对腾讯来讲400G的时代已经来临。
400G光模块的几个方案选择：第一个是多模400G的选择，目前呼声比较高的是SR8和SR4.2，只从应用角度来讲SR4.2占优势，但是我们还要考虑其他关键因素，VCSEL芯片资源，对910激光器来讲，业界能生产成功910激光器的厂家就一到两家，激光器的资源不是很丰富。系统架构稳定性，SR4.2用了两款激光器还有分光的元器件，它的光模块架构比SR8复杂一点，要考虑到整个光模块架构的稳定。从理论上来讲，OM3和OM4的光纤在910光波下能传40米或者70米，但是OM3和OM4光纤设计之初为850纳米光波设计，在OM3和OM4光前应用不能得到保障和可靠性。综合成本比SR8大的多，SR4.2布线的优势没有大于SR8的成本优势，短期来说倾向于选择SR8的方案来做400G刚开始的应用。
400G模块封装OSFP、QSFP—DD，综合来讲，400G的选择QSFP DD，TOR交换机喜欢用48+8的架构，对于QSFP48+8摆不下，400G光模块功耗小于14瓦的情况下，散热无论从仿真还是实际测试结果都是可以胜任的，QSFP—DD和OSFP，我们选择QSFP—DD的组装。
400G SR8 MPO接口选择，MP016线头的排列是一排，MPO24是两排，我们选择MP016生产的时候，光纤只是左右对齐就可以，对MPO24除了左右对齐还有上下对排，所以我们选择16。
数据中心光模块测试：数据中心光模块的特点，测试光模块时候考虑的点，分四个因素。光模块的因素、交换机的因素、网络架构因素和数据中心的因素，对数据中心光模块来讲，腾讯2017年开始启动数据中心光模块自采工作，2018年上半年开始数据中心光模块的自采。数据中心光模块自采给我们带来成本的下降和灵活性的同时，也带来很重的测试。数据中心光模块种类多，厂家多，我们选择三个光模块厂家给我们供货的话，实际评估四到五家做差额的选择。实际情况我们测试的时候肯定多于4—5家。数量多，腾讯预计2019年服务器的规模会大几十万，映射到AOC要一百多万条AOC，对光模块来讲有几十万个光模块。积累三年的量在线规模可以达到一两百万支，给我们测试的担子是比较重的。自主运营，自采光模块带来的问题是说光模块出来问题，要我们自己来解决定位。
数据中心交换机的因素，机型太多，1U、2U、4U、8U、16U交换机，测试的时候都要覆盖到这些形态。有各个厂家的交换机，有的厂家用思科或者自研的芯片或者新兴的芯片，我们测试的时候每个芯片也都要覆盖到。网络架构采取CLOS Fabric整个网络成本的占比大概到50%左右。数据中心环境好，温度维持在18—30度，湿度40%—60%，数据中心比较分散，全国各地都有分布，综合数据因素的应用，对数据中心光模块的测试来讲集中在以下几点。前面两个研发测试和出厂测试，这个是光模块厂家需要保证的，除非出了重大的纰漏问题我们一般不干涉，拆开光模块做一些白盒的分析，看各个厂家的组装工艺、焊接工艺等等。信号质量的测试，光模块插在具体的交换机上，交换机端口发出的信号是实际芯片发出的高速信号，综合了交换机使用的环境包括交换机内部的电源还有始终的噪声，还有一些走线长度、衰减等等，同一个插口上插不同厂家的光模块，看光电信号的情况还有其它的指标，来看不同的厂家对恶劣信号的恢复和兼容性情况，来做一个光模块信号方面的对比。
环境类的测试，主要集中在气侯环境类的测试，光模块的工作温度是0—70度，我们进行气侯环境温度测试的时候测的比较严酷，最主要超过光模块的功能方案做测试的目的是为了考察各个厂家光模块正常工作的边界。
对接测试，ABCD四个同型号同类型的光模块俩俩测试，这个测试也是实际环境中的实际情况。实际当中不会区分哪个厂家和哪个厂家，这个测试也帮助我们发现不少的对接问题。有如此多种类的光模块和如此多中流的交换机作为载体做对接，只有国内的大型互联网数据中心才有这个场景。可能对某些交换机厂家来讲，它会对接比较多的光模块，但是可能没有其它厂家的交换机来做对接。对光模块厂家来讲，搜集不全其它的友商光模块做对接测试，这个工作一定是由我们数据中心来完成的。
数字诊断测试，结合环境类测试在不同环境下会监测和测试数据诊断的准确性。
历遍测试，考虑到每一款光模块在不同交换机上的应用，可能应用到光模块的场景都测试到。
我们不喜欢PCN，并不是说我们不接受PCN，刚才讲了光模块的测试涉及到方方面面和各种组合，每次PCN对我们来说都是一次比较大的挑战和非常大的工作量。从历史经验来讲，PCN也有可能会引来一些莫名其妙。出现问题反映比较快，刚才讲到数据中心分布在全国各地，光模块的量特别大，如果出现问题的时候希望厂商反应比较快，将问题缩小到最小范围。数字诊断必须有，也可以重新增加。对现在使用100G光模块，所有光模块有五个基础的数字诊断，我们也建议在不增加功耗成本不降低性能的情况下，酌情增加一些数字诊断，供我们运维平台做更多的采集数据。
可以降低测试的标准，厂家和我们合作依据数据中心使用的特点，在工况测试的时候降低测试标准，从而可以降低光模块的成本。
减少寿命，OFC上有声音说数据中心大概三年换一代，对腾讯来讲我们交换机的寿命是五年，光模块前面的架构演进可以看到，光模块的迭代大概是五年一次。我们建议光模块的寿命设计按照五年来设计，这个前提是不减少性能的情况下，可以通过减少寿命的设计来降低成本。
降低光模块的温度范围，如果用在数据中心，数据中心温度的范围是18—30度，加上十几度温升，最高温度不超过55度、60度，可以降低光模块的温度范围。
可以定制参数，比如400G Power Budger等，3DB，结合数据中心线没有这么长，降低3DB或者3.5DB，减少参数的范围来降低我们的光模块成本。
我的分享就是这些，谢谢！
PPT如下
来源开放数据中心委员会
