一、ECC错误基础：什么是GPU显存ECC？为什么它如此重要？

ECC（Error-Correcting Code）是一种内存纠错技术，通过在数据位中添加冗余信息，实时检测并纠正单比特错误，同时报告多比特错误。英伟达H100/H200/H20等数据中心GPU均配备ECC保护的HBM2e/HBM3显存，ECC功能默认开启，这一设计使其能够满足企业级AI训练和推理场景对数据可靠性的严格要求。

GPU显存ECC错误的成因可分为三类：硬件故障（颗粒老化、物理损伤）、环境因素（显存工作温度超过90°C导致数据翻转）、以及电气干扰（电源纹波、信号完整性问题）。在AI集群大规模运行中，显存错误是导致训练任务中断、推理结果异常的主要原因之一，其发生频率随GPU使用时长显著增加。

二、ECC错误诊断：从nvidia-smi到DCGM的完整排查路径

第一步是识别错误类型。运行 nvidia-smi --query-gpu=ecc.errors.uncorrectable.volatile.sram,ecc.errors.uncorrectable.volatile.dram --format=csv 查看当前会话中不可纠正的ECC错误数量。若SRAM（GPU芯片内部缓存）报错，说明GPU核心die存在硬件损伤；若DRAM报错，则指向HBM3显存颗粒问题。

第二步定位具体GPU。使用DCGM（Data Center GPU Manager）的diag命令进行完整诊断：dcgmi diag -r 6 -g <gpu_index>，该测试会依次执行各类显存压力测试，并将检测到的每比特错误映射到具体的HBM通道和物理颗粒位置。维核智算的诊断脚本可在3分钟内完成8卡GPU服务器的完整诊断，并生成错误热力图。

第三步分析错误趋势。通过DCGM的长期监控数据（dcgmi stats -g <gpu> -i 300），观察ECC错误是否随GPU负载增加呈线性增长。若错误率在GPU空闲时接近零、高负载时急剧上升，说明存在散热问题或电源供电不足；若错误率在任何负载下都稳定增长，则是显存颗粒硬件故障的明确信号。

三、ECC不可纠正错误处理：什么时候必须送修？

当nvidia-smi报告"Volatile Uncorrectable ECC Errors"且数值持续增长时，必须立即将故障GPU从生产集群中移除。不可纠正的ECC错误意味着显存系统已无法自动修正数据损坏，继续运行会导致训练 checkpoint 损坏、推理结果静默错误等严重后果。

可纠正的ECC错误（Correctable ECC Errors）也需要关注：若单个GPU的可纠正错误率超过100次/小时（DCGM阈值可配置），即使GPU仍在正常工作，也应计划在下一维护窗口将其下线检修。维核智算建立了一套ECC错误阈值告警体系：Correctable < 10/hr（正常）、10-100/hr（观察）、> 100/hr（立即告警）。

显存硬件故障的修复，需在无尘环境下更换HBM3颗粒，并重新烧录GPU固件（VBIOS和白银级韧体）。维核智算已完成H100/H200系列显存维修超过200例，修复成功率达98%，修复后通过72小时满负载压力测试验证稳定性。