AI 存储选型实战：从 MLPerf Storage 基准到千卡集群架构演进

大模型时代，算力狂飙的背后是存储压力的暗流涌动。当千卡 H100 集群投入训练，存储系统面临的不再是简单的容量问题，而是高达 TBps 级别的读带宽与瞬时读写风暴的冲击。传统存储架构在 AI 真实工作负载下频频告急，如何科学评估并选出真正适配 AI 负载的存储系统，已成为工程团队必须跨越的鸿沟。

本文将基于 MLPerf Storage 基准测试的深度解读，剖析 AI 业务的核心存储痛点，并给出从硬件升级到软件架构演进的全面实战方案。

核心问题与挑战

AI 训练对存储的需求已从“大肚能容”转变为“极速吞吐”。随着 GPU 从 V100 升级到 A100 再到 H100，算力演进对存储带宽的需求增长远超容量增长。测试数据显示，不同 AI 模型（如 3D-Unet、ResNet50）对存储带宽的要求极高，千卡规模集群的读带宽需求轻松突破 TBps 级别。

在真实业务场景中，存储系统正面临四大核心挑战：

1. 读写风暴与延迟敏感：训练启动时全量数据加载产生瞬时读风暴，训练过程中的 Checkpoint 写入产生瞬时写风暴，GPU 对这些 IO 的延迟极度敏感，稍有卡顿便引发算力闲置。
2. 海量小文件拖累吞吐：多模态等场景产生大量小文件，元数据交互呈指数级增长，严重拖累整体数据吞吐。
3. 算存失衡与扩展瓶颈：计算资源按摩尔定律翻倍，存储性能却难以线性扩展，存储极易成为整个系统的木桶短板。
4. 全闪成本不可控：数据量爆炸性增长，若全量采用高性能全闪存储，基础设施投资回报率极低，项目难以立项。

方案与实践

解决 AI 存储瓶颈不能仅靠堆料，必须从基准评估、硬件网络、软件架构到数据生命周期进行体系化重构。

基准先行：用 MLPerf Storage 替代传统工具

传统测试工具（如 FIO、IOR、MDTest）主要测试极限带宽或纯元数据性能，无法真实反映 AI 训练的 IO 模式。MLPerf Storage 作为首个衡量 ML 工作负载存储性能的基准套件，其核心优势在于真实数据流模拟。

它在 v1.0 版本中引入了“模拟思考时间”机制——在请求下一个批次前休眠一段时间以模拟 GPU 处理当前批次的过程。除了加速器是模拟的，数据处理流程全部真实运行。通过 AU（Accelerator Unit）和 ACC 等指标，MLPerf Storage 能够精确评估存储系统在真实 AI 工作负载下的表现，为选型提供可靠标尺。

硬件与网络升级：全闪存与高速网络打底

应对 TBps 级的带宽需求，硬件底座必须升级：

• 存储介质：全面转向 PCIe 5.0/4.0 NVMe 全闪存，提供底层高并发与低延迟支撑。
• 网络互联：从传统 TCP/IP 网络升级为 NDR/HDR InfiniBand 或 RoCE 网络，消除网络层吞吐瓶颈。

软件架构演进：NAS 退场，并行文件系统与 RDMA 登场

硬件之上，软件协议栈的损耗往往是隐形杀手。传统 NAS 架构在 AI 场景下已彻底失效，必须进行软件架构的代际更迭：

• 文件系统升级：从传统 NAS 升级为并行文件系统（PFS），实现多路径并发与全局命名空间。
• 协议与传输优化：采用 RDMA 绕过内核协议栈，规避内核锁竞争与 CPU 中断开销；配合 POSIX 私有协议，进一步降低通信延迟，实现软硬协同的性能跃升。

架构弹性扩展：分布式 MDS 破局元数据瓶颈

面对海量小文件，单一元数据服务器（MDS）是致命瓶颈。必须采用分布式 MDS 集群架构，将元数据分散到多个节点并行处理。同时，存储集群必须具备随计算规模线性扩展的能力，确保存储性能与算力增长同频共振。

成本控制：冷温热数据分级

针对全闪成本不可控的痛点，需建立数据分级策略。识别训练生命周期中的冷、温、热数据，将热数据留在全闪层保障吞吐，温冷数据按需加载或沉淀至容量层，在保障 GPU 算力利用率的前提下实现成本最优。

原则/方法论沉淀

在 AI 存储的规划与选型中，需将以下原则作为决策锚点：

1. 基于真实业务 IO 选型：解决业务痛点的方案才是好方案。脱离真实 IO 模型的跑分毫无意义，必须像 MLPerf Storage 那样强调可重复性与真实数据流模拟。
2. 性能绝对优先：AI 存储性能永远是第一要满足的指标，其次才是扩展性与成本。没有性能，算力便是空谈。
3. 算存同步扩展：存储集群的性能扩展必须跟得上计算能力的增长，架构必须具备线性扩展能力。
4. 基准测试需穿透营销：利用统一标尺（如 MLPerf Storage Closed Division），在同等环境下横向比较，打破厂商黑盒营销。

总结与行动建议

AI 存储选型的本质是在“高性能、可扩展、成本控制”的铁三角中寻找最优解。面对 GPU 算力的狂飙，工程团队应立即采取以下行动：

• 摒弃传统评测思维：在 POC 阶段引入 MLPerf Storage 等贴近 AI 负载的基准工具，拒绝单纯的 FIO 跑分。
• 规划架构演进路线：坚定从 NAS 向并行文件系统 + RDMA + 分布式 MDS 演进，为千卡集群扫清软件栈障碍。
• 建立持续评估机制：不仅依赖单次跑分，更要建立从 POC 验证到线上巡检的存储性能持续监控体系，防患于读写风暴。

开放问题与延伸方向

1. MLPerf Storage 中 AU 指标在真实多租户混部集群中是否具备可复现性，其计算规则如何剔除网络抖动与跨作业干扰的影响？（关联正文基准测试的落地真实性，多租户干扰是生产环境必须面对的变量。）
2. 在千卡规模 H100 集群中强行追求全闪存与 NDR 网络的全量覆盖，是否会导致基础设施投资回报率极低甚至项目难以立项？（关联正文成本控制原则，极端性能与商业回报的平衡是选型时的现实考量。）
3. 分布式 MDS 虽解决了海量小文件元数据瓶颈，但在节点故障或脑裂场景下，元数据一致性保障是否会成为系统最脆弱的单点？（关联正文架构演进方案，高可用与强一致是分布式系统的永恒博弈。）
4. 采用 MLPerf Storage 作为统一标尺，能否有效打破存储厂商的黑盒营销，帮助用户在采购周期内快速筛选出真正适配 AI 负载的架构？（关联正文方法论沉淀，统一基准的核心价值在于降低选型试错成本。）
5. 面对 AI 训练中的 Checkpoint 写风暴，能否跳出传统文件系统范式，采用内存级持久化存储或计算存储融合架构来根本性化解 I/O 瞬时冲击？（关联正文读写风暴痛点，架构创新是突破传统 IO 天花板的潜在方向。）
6. 在“性能、扩展、成本”铁三角中，当业务处于不同阶段（如模型探索期与大规模训练期）时，如何动态调整这三者的优先级权重？（关联正文选型原则，不同业务阶段的资源约束差异巨大。）
7. 数据分级策略在冷热数据流转时，温冷数据按需加载的延迟是否会反噬 GPU 的计算效率，导致所谓的成本优化以牺牲算力利用率为代价？（关联正文数据分级策略，隐性代价需在架构设计时量化评估。）
8. 针对多模态训练中的海量小文件，从传统 NAS 向并行文件系统迁移时，POSIX 兼容性损耗和语义缺失具体会引发哪些数据管道环节的报错或阻塞？（关联正文软件升级方案，工程落地的细节决定迁移成败。）
9. 既然 AI 数据预处理消耗大量 I/O，能否将数据解码与增强操作下推至存储节点执行，从而释放主存储带宽与计算节点 CPU？（关联正文算存失衡问题，计算下推是打破数据搬运墙的激进思路。）
10. RDMA 与私有 POSIX 协议的组合不仅降低了 CPU 开销，还规避了内核协议栈锁竞争，这种软硬协同优化是否是突破传统分布式存储天花板的最合理路径？（关联正文软件架构演进，软硬协同是当前性能榨取的主流解法。）
11. 综合上述基准测试与业务痛点，企业应如何建立一套从 POC 验证到线上巡检的存储性能持续评估机制，而非仅依赖单次 MLPerf 跑分结果？（关联正文行动建议，长效运营机制比单点突破更具工程价值。）