ChatGPT需要多少光模块：国信证券的推演
发布时间：2023-04-03 14:03:13 热度：3034
4/03/2023，光纤在线讯，国信证券今天发布的研报“通信行业 2023 年 4 月投资策略——关注 AI 基础设施投资机会”对ChatGPT带来的包括光模块在内的人工智能AI基础设施进行了推算。
该份报告的关键相关内容包括：
和传统的数据中心的区别在于，在AI常见的Infini Band fat tree 结构下，使用的交换机数量更多，且因为每个节点上行下行的端口数完全一致。
英伟达所采用的 AI 集群模型中，对应的一个基本单元为 SuperPOD。一个标准的 SuperPOD 由 140 台 DGX A100 GPU 服务器、HDR InfiniBand 200G 网卡和 170 台 NVIDIA Quantum QM8790 交换机构建而成，其中交换机速率为 200G，每个端口数为 40 个。
基于英伟达方案，一个 SuperPOD 170个交换机，每个交换机有 40 个端口，最简单方式上下各70 台服务器，依次端口互联（上下 1：1 连接）对应的线缆需求为 40×170/2=3400 根，考虑实际部署情况上调至 4000 根线缆需求。其中，铜缆：AOC：光模块比例=4：4：2，对应光模块需求数量=4000*0.2*2=1600 个，即对于一个SuperPod，服务器：交换机：光模块的用量比例=140：170：1600=1：1.2：11.4
一个类似 GPT4.0 入门级别要求的需求大约需要3750 台 NVIDIA DGX A100服务器。在此条件下的光模块需求如下表：
根据 IDC 数据，2021 年全球 AI 服务器市场规模为 156 亿美元，预计到 2026 年全球 AI 服务器市场将达到 355 亿美元；2021 年中国 AI 服务器行业市场规模为 64 亿美元。
根据 IDC 数据，数据中心场景中，200/400G 端口出货量有望快速提升，22-26 年复合增速达 62%，预计 2026年全球交换机端口出货量超 8.7 亿个，市场规模超 440 亿美元。
读完这份报告，不得不佩服券商研究员的敏锐和深入。他们从AI数据中心架构出发推演出服务器，交换机和光模块的需求量。在这个推算过程中，编辑存疑的其实只有4：4：2这个比例关系。数据中心内对光模块的使用归根到底还是和流量需求直接相关。这个比例很可能只存在在满负荷工作的情况下，而现在AI数据中心内业务流量到底如何，还是值得问问的。
该份报告的关键相关内容包括：
和传统的数据中心的区别在于，在AI常见的Infini Band fat tree 结构下，使用的交换机数量更多，且因为每个节点上行下行的端口数完全一致。
英伟达所采用的 AI 集群模型中，对应的一个基本单元为 SuperPOD。一个标准的 SuperPOD 由 140 台 DGX A100 GPU 服务器、HDR InfiniBand 200G 网卡和 170 台 NVIDIA Quantum QM8790 交换机构建而成，其中交换机速率为 200G，每个端口数为 40 个。
基于英伟达方案，一个 SuperPOD 170个交换机，每个交换机有 40 个端口，最简单方式上下各70 台服务器，依次端口互联（上下 1：1 连接）对应的线缆需求为 40×170/2=3400 根，考虑实际部署情况上调至 4000 根线缆需求。其中，铜缆：AOC：光模块比例=4：4：2，对应光模块需求数量=4000*0.2*2=1600 个，即对于一个SuperPod，服务器：交换机：光模块的用量比例=140：170：1600=1：1.2：11.4
一个类似 GPT4.0 入门级别要求的需求大约需要3750 台 NVIDIA DGX A100服务器。在此条件下的光模块需求如下表：
根据 IDC 数据，2021 年全球 AI 服务器市场规模为 156 亿美元，预计到 2026 年全球 AI 服务器市场将达到 355 亿美元；2021 年中国 AI 服务器行业市场规模为 64 亿美元。
根据 IDC 数据，数据中心场景中，200/400G 端口出货量有望快速提升，22-26 年复合增速达 62%，预计 2026年全球交换机端口出货量超 8.7 亿个，市场规模超 440 亿美元。
读完这份报告，不得不佩服券商研究员的敏锐和深入。他们从AI数据中心架构出发推演出服务器，交换机和光模块的需求量。在这个推算过程中，编辑存疑的其实只有4：4：2这个比例关系。数据中心内对光模块的使用归根到底还是和流量需求直接相关。这个比例很可能只存在在满负荷工作的情况下，而现在AI数据中心内业务流量到底如何，还是值得问问的。
