浅析扩展数据中心网络带宽方法

8/13/2014,数据中心想要向外提供服务必须要有与外部通信的网络接口，数据中心的网络入口带宽往往成为整个数据中心的业务瓶颈。中国有句俗话“要想富，先修路”，对于数据中心，修好这条信息传输的高速道路非常重要，尤其不能在出入口设卡。随着数据中心业务不断增长，内部不断进行升级和扩容，出入口的带宽也要随之提升，否则就会出现拥塞。这就像高速路本来是四排车道，突然前面就变成了两条，那么原来四条车道上的车辆就要排队从两条车道走，车速自然要降下来。在数据中心带宽建设方面，聪明的人类已经想出了多种提升网络带宽的方法，本文将一一呈现。

      网络技术经过了短短几十年的发展，单端口的网络带宽已经由当初的10M发展到了40G/100G，增长了近1万倍。10M到100G意味着，在网络设备连接的两个服务器之间传递文件，如果不考虑服务器性能因素，一个10G的视频大片，在100G带宽上传输瞬间就能完成，花费0.1秒，如果放到10M带宽上传输，则要1000秒，近20分钟。所以提升单端口的带宽也可以实现网络扩容。比如：原来数据中心的网络出口原来采用的是10G互连，现在改为40G或者100G互连，这样在不改变布线的情况下，就可以将带宽提升4~10倍，这种方式不用改变现有的网络配置，只需要更换两边可以支持40G/100G的网络设备，一般数据中心的网络总的出入口都是框式的高端路由器或交换机，直接增加一块包含有40G/100G端口的板卡就可以了，非常方便。当然，有些较老的设备未必能支持40G/100G的扩容，就需要整机更换网络设备了。

      增加支持40G/100G的端口需要数据中心购入新设备，增加数据中心运营成本。而采用链路聚合技术，则只需要增加几条网络布线，成本更低。链路聚合技术也称主干技术或者捆绑技术，其实质是将两台设备间的数条物理链路“组合”成逻辑上的一条数据通路，称为一条聚合链路，从而实现增加链路带宽的目的，几乎所有的网络设备都支持链路聚合技术。链路聚合分为二层链路聚合和三层路由口聚合两种技术，二层聚合的成员端口全部为二层以太网接口，三层聚合的成员端口全部为三层路由接口。无论是二层还是三层，实现的目的都是增加了网络带宽。通过链路聚合可以将多个端口聚合到一起，使得网络带宽成倍增长。比如数据中心原来采用的是单端口10G做出口，通过8个10G端口做链路聚合，就可以使得网络带宽达到80G，提升8倍。而这个调整过程只需要增加聚合配置，然后增加几个光模块和互连光纤就可以完成，这是一种在数据中心普遍采用的技术。

      如果通过以上两种方式完成数据中心带宽扩容，那么是多么容易的事情。但是，实际上有时我们要考虑投入的成本，以及数据中心连接的运营商网络的实际情况，有时聚合对接无法完成，所以就要再考虑其它方法。二层出口为了避免引入环路，只能通过配置不同VLAN的方式达到增加带宽的目的。比如原来的网络出口是VLAN 100，再增加一个端口，配置VLAN 101，通过配置将部分流量转移到VLAN 101中来，这样涉及数据中心内部全网络的配置整改，同时运营商部分也要配置整改，这样修改的工作量大、周期长，这样也可以实现带宽倍增的效果。由于VLAN最多可以配置4094个，比链路聚合规模更大（有的设备链路聚合最多只支持8个端口），只要配置时注意避免产生环路即可。在数据中心的新技术中，TRILL技术很好地解决了传统STP的带宽浪费的问题，并很好地增加了网络带宽。STP协议在正常工作时，会阻塞一半的网络端口，造成了网络带宽的浪费。而TRILL技术也不会，其可以实现同一个VLAN内多路径同时转发，同时还可以避免产生环路。所以二层出口若能部署TRILL技术，也可以在不同端口上部署相同的VLAN，也可以达到增加带宽的目的。这样做的好处就是数据中心内部不再需要将全部配置进行更改，工作量和风险都很小。

      三层出口可以通过等价路由的方式增加带宽，对于相同的一条路由，可以有多条路径可达，这就是等价路由。要成为等价路由的成员端口，需要让多条路由形成等价，路径开销要保持一致。形成等价路由后，三层流量可通过HASH的方式来选择具体的下一跳路由，这样确保流量均匀，避免出现单路径拥塞。实际上，由于有些流量比较单一，或者设备的HASH算法不完善，经常会出现流量不均的问题，所以当采用等价路由方式增加网络带宽时，有时还需要调整一些HASH算法或者端口来解决这些问题。另外采用等价路由的方式也要避免产生一些路由环路问题，在配置上做多加注意，尤其是运营商网络部分的配置也要随之调整。绝大多数路由环问题都是流量由数据中心转给运营商广域网络时又被转发了回来，这时的配置要做相应的调整。

      这些增加数据中心网络带宽的方法，非常简单实用，在数据中心里也都有着广泛应用。有的方法实施简单，但是成本较高；而有的方法调整复杂，但是成本较低。可以根据自己的数据中心实际情况来做选择。现在的40G/100G端口应用逐渐普及，400G的单端口技术已经在实验室中在开展，相信不久的将来也会走出实验室，这让我们有了更多机会去扩展数据中心的带宽。以太网技术的理论最高带宽单端口是1000G，这是以太网技术可以达到的最高带宽。照目前的发展速度，也许很快就会达到，到时单端口已经无法满足数据中心的高速发展，相信还会有更多增加带宽的技术出现。

来源D1Net