预训练基础设施规划不能从“再加几台机器”开始。若加速卡经常等待数据、跨节点同步耗时过长，或保存检查点时训练停顿，单纯增加算力只会扩大闲置资源。更有效的做法，是先找出训练链路中最慢的一环，再验证扩容是否能带来实际吞吐提升。
先定位瓶颈，再决定是否加算力
持续记录每步耗时、加速卡利用率、显存占用、数据读取时间和网络流量。重点观察训练是否周期性变慢：若慢点与检查点保存时间吻合，应查存储；若耗时集中在多卡同步阶段，应查集合通信和网络；若设备利用率偏低且数据加载队列常为空，则先检查预处理和数据供给。
单看平均利用率容易漏掉问题。把指标按训练阶段和时间段对齐，并对比单节点与多节点表现；扩展节点后，样本处理速度若没有相应提升，就要检查通信、数据读取或任务划分，而不是继续采购设备。
存储看持续供给，不只看容量
训练数据通常以大量样本、分片文件或打包后的数据集形式读取。小文件过多会增加元数据操作和打开文件的开销；顺序读取的大文件则更依赖持续吞吐。规划时应以实际数据格式和并发读者数做测试，不要把存储设备标称速度直接当作训练可用速度。
把检查点纳入存储设计
检查点可能包含模型状态、优化器状态及训练进度，写入量会随模型和保存内容变化。先测量一次保存所需时间及其对训练的影响，再确定保存周期、保留数量和恢复流程。Lustre、BeeGFS 等并行文件系统适合评估高并发读写需求；Ceph 可提供分布式存储能力，但具体效果仍取决于部署和工作负载。它们并非可以脱离配置直接比较的“速度排名”。
网络误区：带宽大不代表同步一定快
多机分布式训练会进行集合通信。网络带宽影响大批量数据传输，时延、拥塞和拓扑也会影响同步效率。InfiniBand 常用于高性能集群互联；基于以太网的 RoCEv2 也可承载低时延通信，但需要匹配网卡、交换机与网络配置。选型时应核对节点间实际链路、超额订阅情况和通信测试结果，不能只看端口标称速率。
数据吞吐与训练通信是两类流量：前者把样本送到计算节点，后者在节点间交换训练信息。两者共用网络时，可能在高峰相互影响。可分别测量读取与集合通信，再安排网络隔离、流量优先级或存储侧缓存；具体措施取决于现有拓扑和管理能力。
按步骤做扩容验证
- 固定基线：选定代表性数据、模型配置和训练时长，记录每步耗时、样本吞吐、设备利用率、读写速度及通信等待。
- 拆分测试：分别测试数据读取、检查点写入和多节点集合通信，区分存储、网络与计算瓶颈。
- 小步扩展：先增加少量节点或优化单一环节，保持其他配置不变，比较单位时间处理量与成本。
- 验证恢复：从检查点实际恢复训练，确认保存文件可用、恢复耗时可接受，并评估故障后重训的代价。
因此，预训练基础设施规划的重点不是堆满设备，而是让数据、计算和通信协同工作。只有测量结果证明算力确实受限，扩容才更可能提效；否则，优先修复存储供给或网络同步，通常更直接。
常见问题
加速卡利用率不高，就一定是存储慢吗？
不一定。数据加载、通信等待、程序调度和计算配置都可能造成低利用率，应结合分阶段指标判断。
训练数据是否应该全部放进内存？
不必。是否缓存取决于数据规模、重复读取频率、内存容量和恢复要求，可先对热点数据或常用分片做测试。
检查点保存得越频繁越安全吗？
频繁保存能减少故障后的重训范围，但会增加写入开销。应结合故障恢复目标和实测保存耗时确定周期。
