为了处理不断增长的AI工作负载，AI集群网络必须提供前所未有的吞吐量、极低的延迟，并支持微数据突发等新的流量模式。更具挑战性的是，传统依赖硬件扩容提升网络效能的路径已难以满足当前需求。AI特有的高强度与指数级扩展特性，正驱动着数据中心网络架构的全面革新。
当前，业界仍在探索未来AI 优化网络的具体形态，仍有许多悬而未决的问题。其中最重要的是：以太网在前端和后端网络中将扮演什么角色，以及数据中心运营商将以多快的速度采用下一代以太网和协议。
为了探究 AI 工作负载对数据中心网络的影响，我们需要了解其背后的运作机制。AI 处理大致可分为两个阶段：
- 训练：这一阶段聚焦于用海量数据“哺育”AI模型。模型通过对输入与输出间复杂模式及关联的深度剖析，逐步精进预测能力，实现高度准确性。
- 推理：在此阶段，AI 模型将训练应用于实践。模型接收到数据输入，随即展开分类或预测操作，输出决策或答案。
这两个阶段都需要大量计算资源，体现为专有且成本高昂的处理器单元，包括但不限于CPU、GPU、FPGA，以及其他定制化加速器。特别是对于 AI 推理而言，连接所有这些 xPU（以及服务器和存储）的网络必须提供极高的带宽、极低的延迟，并确保无数据包丢失。
目前，这些严苛要求已迫使超大规模数据中心逼近技术与效率的瓶颈。考虑到AI模型复杂度每三年增长1000倍的速度，仅仅通过扩大数据中心规模已无法满足这些需求。因此，数据中心运营商需要从根本上重新设计和构建其网络架构，以应对AI工作负载带来的挑战。
如今，运营商正在为 AI 工作负载投入大量的 xPU。他们最终需要多少xPU，以及连接xPU的网络规模，将取决于未来的 AI 应用场景。但可以预见的是，需要一种能够支持数万个xPU和万亿级密集参数的网络架构。
对于 AI 训练而言，运营商在常规的硬件更新周期内应该能较好地支持工作负载，未来几年这将推动前端网络达到800Gbps甚至更高。然而，推理则是另一回事。在这方面，他们需要可扩展的后端基础设施，能够连接数千个xPU并实现以下几点：
- 大规模：与训练相比，AI 推理每个加速器可以产生 5 倍以上的流量，并且需要 5 倍以上的网络带宽。后端网络还必须能够支持数千个并行同步作业以及更多数据和计算密集型工作负载。
- 极低的延迟：对于实时 AI 推理，每一毫秒都至关重要。这些工作负载必须通过大量节点进行，并且此流程中的任何延迟都可能会阻碍可扩展性或导致超时。根据应用的不同，此类延迟可能会导致糟糕的用户体验、昂贵的制造错误或更糟糕的结果。
- 无数据包丢失：在数据中心运行的 AI 应用程序对数据包丢失高度敏感，这会增加延迟并降低网络的可预测性。因此，AI 集群网络必须是无损的。
这些后端网络要求已经开始影响人工智能用户体验。据 Meta 称，AI 工作负载大约三分之一的时间都花在等待网络上。
面对这些极端需求，数据中心运营商和支持他们的供应商应该如何应对？为了维持当前的AI工作负载以及未来的工作负载，最佳的基础设施方法是什么？这仍然是一个悬而未决的问题。
即使在新建的后端数据中心基础设施中，也有着巨大的差异，谷歌、微软和亚马逊都采取了不同的路径。然而，根据运营商的反馈及其投资的接口类型，我们对情况有了更清晰的认识。
Dell’Oro Group 预测，在用于数据摄取的前端网络中，到 2027 年，三分之一的以太网端口将达到 800 Gbps 或更高。在后端网络中，运营商迫切需要提高吞吐量和降低延迟，发展速度更快。到 2027 年，几乎所有后端端口都将达到 800G 及以上，带宽将以三位数的速度增长。
尽管大多数运营商将继续在前端网络中使用以太网，但后端基础设施将会有所不同。根据所支持的AI应用程序，部分运营商可能会倾向于使用像InfiniBand 这样的无损技术。另一些则可能偏好标准化以太网的熟悉度和经济性，并结合诸如RoCEv2协议等技术，以实现无损和低延迟的数据流。还有一些运营商会同时使用InfiniBand和以太网。
目前而言，并没有单一的“正确”答案。除了价格和部署规模等考虑因素之外，数据中心运营商还需基于预期支持的AI工作负载，考虑多个因素，包括：
- 带宽和延迟要求
- 模型训练是在内部进行还是外包
- 标准化与专有技术的选择
- 对所考虑技术的未来路线图的适应程度
尽管未来尚存变数，但为 AI 集群开发连接解决方案的供应商不得不在紧迫的时间线内奋力推进。在市场需求的推动下，400G以太网的部署正在增加，供应商也在尽可能快地生产800G芯片组，并且1.6Tbps以太网标准的工作也在推进中。
与此同时，严格的测试将变得更加重要，并需要针对 AI 基础设施的速度和规模设计新的测试和仿真工具。供应商将需要验证新型以太网产品的能力，进行高速定时和同步测试，确保多供应商组件的互操作性等。考虑到为实验室环境构建AI集群的高昂成本，供应商还需要能够以接近真实程度模拟集群行为的工具。
值得庆幸的是，测试解决方案的发展速度与数据中心网络本身的发展速度一样快。面对AI网络未来的种种新挑战，业界已蓄势待发，准备就绪！
原创文章，作者：guozi，如若转载，请注明出处：https://www.sudun.com/ask/78310.html
