CFCF2021 | 京东云陈琤: 光模块在光互联部署中的问题及展望
发布时间:2021-07-09 00:15:22 热度:2113
7/09/2021,光纤在线讯,6月23~25日,在CFCF2021光连接大会上,京东云高级架构师陈琤发表《数据通信光互联运维实践与展望》的主题报告,分享了数据中心光互联光模块使用过程中的问题以及解决方案,以及京东云如何看待未来光互联的发展。
陈琤表示:数据中心光互联在25G/100G大规模部署中遇到的问题,为下一代数据中心光互联的规划部署提供了丰富的经验。同时表示数据中心发展的方向一在于高吞吐量,二要求架构灵活,易扩展;三则是整个网络设备、系统开放化,即:硬件解耦,并进一步开放控制软件与硬件的解耦。这就要求光模块面向高速率、低功耗、高密度、低成本以及标准化。
现网环境中的光互联故障与运维
从数据中心现网光链路的故障及运维经验来看,部署数据中心光互联的主要问题归结为四类:
1、兼容适配。
主要是分为两类,一类是光模块与设备兼容性的问题,另外是光模块之间的互联互通问题。由于网络协议过于宽泛,不同厂家角色不同,模块厂家跟设备厂家对同样协议的理解也会产生一些偏差,而这些偏差到互联网手里组合到一块用之后就会出现一些兼容性的问题。
2、 FEC信号纠错
从25G、100G的网络架构里面引入了25G NRZ的调制,在短波包括两公里以内的CWDM的模块上面都需要在电学上面用FEC补偿光学上面造成信号的恶化。利用误码仪将信号提前FEC纠错。 首先就是我们提高对模块pre-FEC的要求,更重点的一点需要光器件与光模块供应商共同探讨解决。
3、硬件失效
在部署初期,通常会遇到较多的MA失效情况,特别是400G和200G模块,由于PAM4调制对端面的污损或者是反射更敏感,会导致MPI急剧的恶化,这个对真正的部署中造成的影响比较多。另一个是光模块中的激光器引起的失效,第三是环境气体的腐蚀引起的失效。
4.IIC总线故障/数值诊断故障
比较典型的案例就是IIC访问集中出现在初始化阶段,模块有初始化时间,如果对IIC做一些非常规的操作,有可能会导致模块访问的问题,处理不好会对模块造成错误的触发。随着400G模块进入大量部署的阶段,要求光模块厂商做到固件在线升级。
京东云认为未来的400G部署过程中的成本、运维风险值得探索
2015年,京东云主要采用10G 服务器,Server-TOR更多使用10G AOC,2017年转为25G AOC,并在2021年引入25G DAC与AOC并存。而在当前京东云依然以25G服务器存续量较大的情况下。首先将考虑Fabric层和spine层采用PAM4技术的400G光互联,然后在接入层会保持之前的NRZ的使用。到了下一步服务器带宽进一步提升的时候,会考虑400G在上面汇聚层我们会用100G的点对点的互联。
然而,新的光互联技术带来新的挑战,京东云认为400G 光互联部署尤其是PAM4技术面临着三大问题:第一,DSP作为信号处理将带来功耗及成本的挑战,采用PAM4信号处理,DSP还是CDR的解决方案?二是,Fan-out方案下的部署和运维风险;三是监控及运维下沉到光链路。
总结来说,光互连带宽的主要驱动力是服务器接入带宽以及数据中心网络规模的发展。200G/400G的大规模部署取决于网络规模以及综合成本,新的网络架构的落地还需要更多探索。
陈琤表示:数据中心光互联在25G/100G大规模部署中遇到的问题,为下一代数据中心光互联的规划部署提供了丰富的经验。同时表示数据中心发展的方向一在于高吞吐量,二要求架构灵活,易扩展;三则是整个网络设备、系统开放化,即:硬件解耦,并进一步开放控制软件与硬件的解耦。这就要求光模块面向高速率、低功耗、高密度、低成本以及标准化。
现网环境中的光互联故障与运维
从数据中心现网光链路的故障及运维经验来看,部署数据中心光互联的主要问题归结为四类:
1、兼容适配。
主要是分为两类,一类是光模块与设备兼容性的问题,另外是光模块之间的互联互通问题。由于网络协议过于宽泛,不同厂家角色不同,模块厂家跟设备厂家对同样协议的理解也会产生一些偏差,而这些偏差到互联网手里组合到一块用之后就会出现一些兼容性的问题。
2、 FEC信号纠错
从25G、100G的网络架构里面引入了25G NRZ的调制,在短波包括两公里以内的CWDM的模块上面都需要在电学上面用FEC补偿光学上面造成信号的恶化。利用误码仪将信号提前FEC纠错。 首先就是我们提高对模块pre-FEC的要求,更重点的一点需要光器件与光模块供应商共同探讨解决。
3、硬件失效
在部署初期,通常会遇到较多的MA失效情况,特别是400G和200G模块,由于PAM4调制对端面的污损或者是反射更敏感,会导致MPI急剧的恶化,这个对真正的部署中造成的影响比较多。另一个是光模块中的激光器引起的失效,第三是环境气体的腐蚀引起的失效。
4.IIC总线故障/数值诊断故障
比较典型的案例就是IIC访问集中出现在初始化阶段,模块有初始化时间,如果对IIC做一些非常规的操作,有可能会导致模块访问的问题,处理不好会对模块造成错误的触发。随着400G模块进入大量部署的阶段,要求光模块厂商做到固件在线升级。
京东云认为未来的400G部署过程中的成本、运维风险值得探索
2015年,京东云主要采用10G 服务器,Server-TOR更多使用10G AOC,2017年转为25G AOC,并在2021年引入25G DAC与AOC并存。而在当前京东云依然以25G服务器存续量较大的情况下。首先将考虑Fabric层和spine层采用PAM4技术的400G光互联,然后在接入层会保持之前的NRZ的使用。到了下一步服务器带宽进一步提升的时候,会考虑400G在上面汇聚层我们会用100G的点对点的互联。
然而,新的光互联技术带来新的挑战,京东云认为400G 光互联部署尤其是PAM4技术面临着三大问题:第一,DSP作为信号处理将带来功耗及成本的挑战,采用PAM4信号处理,DSP还是CDR的解决方案?二是,Fan-out方案下的部署和运维风险;三是监控及运维下沉到光链路。
总结来说,光互连带宽的主要驱动力是服务器接入带宽以及数据中心网络规模的发展。200G/400G的大规模部署取决于网络规模以及综合成本,新的网络架构的落地还需要更多探索。