10年运维的变化
DC从业者
2026年03月25日 08:38
收录于文集
共84篇

 

作为一名运维老鸟,上周帮客户去新建的智算中心做上线前的巡检,刚推开机房门的那一刻我愣了足足三秒。

没有了熟悉的、震得人耳膜发疼的风扇轰鸣声,不用像以前一样进门先摸口袋里的耳塞;没有了一排排对着机柜吹的精密空调,连地面都比以前干净了太多,我做了10年数据中心运维,差点没认出来这是个机房。

回来之后我感慨了好久,原来不知不觉间,我们这行早就不是当年那个“换滤网、拍服务器、半夜被叫起来救火”的样子了。尤其是液冷时代来了之后,从配电到空调,从监控到应急,整套运维逻辑都翻了个篇。

今天就跟大家掰扯掰扯,这10年里,我们天天打交道的那些基础运维,到底变了多少。

高低压配电:从 “小电流粗放巡检”到“高电压精细管控”

10年前我刚入行的时候,师傅带我做配电巡检,教的最多的就是“看三相平不平,电流有没有超”。

那时候传统IDC的机柜,单机柜功率顶天了3~10kW,一个机柜的电流也就十几二十安,配电系统的压力很小。我们日常巡检,就是看看配电柜上的仪表,用红外枪扫一下接头的温度,只要不超温、三相平衡,基本就没什么问题。那时候的安全规范也没那么严,有时候还能直接伸手去摸一下电缆的温度,判断有没有异常。

现在呢?液冷机房的单机柜功率直接干到了15-50kW,部分AI训练集群甚至能到100kW以上,电流直接翻了好几倍。以前我们见的最多的是48V或者220V,现在直接上800V,安全风险完全不是一个量级。

现在的配电巡检,再也不是看看仪表那么简单了:

l  以前一月一次的红外测温,现在变成了每周一次,而且要重点测母排、插接箱的接头——大电流下一点点接触电阻,都能引发过热起火;

l  以前的绝缘测试一年做一次就行,现在半年就要做一次,而且要重点测高压回路的绝缘性能;

说白了,以前的配电是“够用就行”,现在的配电,是要扛得住高密度的算力冲击,一点都马虎不得。

柴油发电机组:从 “备用救火” 到 “主力保障”

说起发电机组,我印象最深的就是以前的月度测试:每月拉起来空转10分钟,看看机油、燃油够不够,一年做一次带载测试,就算交差了。

那时候发电机组就是个“救火队员”,只有市电断了才会用上,平时基本就是个摆设。我们对它的要求也低,只要能在15秒内启动,撑到市电恢复就行,至于瞬态响应、电压稳定性,没人太在意——反正就算有点波动,后端有UPS撑着,传统服务器也扛得住。

液冷时代完全不一样了。

首先是负载,以前整个机房的IT负载可能也就几千kW,现在一个液冷区域的负载就上万kW,发电机组的容量直接翻了好几倍。其次是要求,液冷机房的发电机组,标准直接提升了好几个级别——这是什么概念?就是负载突然从0跳到100%的时候,电压波动不能超过±20%,频率波动不能超过±10%,而且要在1秒内恢复稳定。

为什么要求这么高?因为AI集群的负载波动太夸张了,而且一旦断电,不仅服务器不能停,给服务器散热的 CDU(冷量分配单元)也不能停——要是冷却液突然断了,几十度的芯片几分钟就能烧穿。

现在的发电机组维护,跟以前比完全是两个活:

l  以前的带载测试测50%就行,现在要测到80%,甚至100%,就是为了验证满负载下的稳定性;

l  以前储油只要够满载跑8小时,现在要够24小时,而且还需要有可靠的自动补油装置,就怕极端情况下市电断的久,高密负载油耗快,不能半路没油;

l  以前每月空载跑10分钟,现在要每个季度全流程带载测试,就是为了防止机组长期空载,缸体积碳,真出事了启动不起来。

l  这个曾经的“备用件”,现在成了整个机房的生命线。

UPS系统:从“只管IT供电”到“冷电联动保障”

UPS 的变化,可能是最容易被忽略的。

以前我们做UPS维护,逻辑很简单:给 IT 设备供电,市电断了的时候,撑个15分钟,等发电机启动就行。日常维护就是测测电池内阻,季度做个15分钟的放电测试,看看电池衰减了没有,只要负载率在40-60%之间,就万事大吉。

那时候我们甚至有个不成文的规矩:空调、水泵这些负载,别往UPS上接,占容量,浪费。反正就算断电了,空调停一会没事,服务器撑 15 分钟没问题。

现在呢?液冷时代的UPS,是“冷电一体化”的。

刚才说了,液冷机房里,CDU是服务器的命根子——服务器靠冷却液散热,要是CDU断电了,哪怕服务器还在转,几分钟之内温度就能干到90度,直接宕机。所以现在的UPS,不仅要给服务器供电,还要给CDU、水泵、甚至漏液检测系统供电,一个都不能少。

而且现在的UPS,很多都换成了800V高压直流的,容量比以前大了一倍都不止。以前的UPS带个几十kW就顶天了,现在的 UPS,单机就能带几百kW,而且负载率能跑到70-80%,效率比以前高了不少。

现在的UPS维护,也多了好多新内容:

l  以前放电测试只测服务器的续航,现在要连CDU一起测,模拟断电的时候,冷电系统能不能一起撑到发电机启动;

l  以前电池一年校准一次就行,现在每个季度就要浅校准一次,高负载下电池衰减快太多了,晚了都发现不了;

l  还要定期做联动测试:市电断了之后,UPS能不能在10ms内切换,CDU能不能无缝跟上,会不会因为切换的波动,导致冷却液流量波动,影响服务器温度。

以前的UPS是“给服务器续命”,现在的UPS,是给整个散热系统续命。

制冷系统:从 “风冷洗滤网” 到 “液冷管水质”

这个应该是变化最大的部分,没有之一。

我刚入行的时候,制冷运维的活,说出来大家可能都不信:每月洗一次滤网,季度清一次冷凝器。就这三样,翻来覆去做。那时候的风冷精密空调,结构简单,坏了无非就是风机坏了、压缩机坏了,换个件就行。巡检的时候摸一下空调的进出风温度,看看有没有报警,就完事了。

那时候机房的噪音,全是这些空调和服务器风扇搞出来的,进机房待一小时,出来耳朵嗡嗡响半天。

现在液冷机房的制冷运维,完全是另一个世界。

首先是设备变了:没有了密密麻麻的精密空调,换成了 CDU(冷量分配单元)和闭式冷却塔。冷却液在封闭的管路里循环,  把服务器的热量带出来,通过冷却塔散出去。

这套系统的运维,跟以前的风冷完全不搭边:

l  再也不用洗滤网了,改成了定期测冷却液的水质:电导率、PH 值、浊度,每个月都要测 —— 要是电导率高了,说明冷却液导电了,万一漏了就会烧服务器;要是 PH 值不对,管路就会腐蚀,用不了两年就漏了;

l  以前最怕空调漏水,现在最怕管路漏液。以前处理漏水拿个拖把就行,现在漏了液,要先关阀门,然后测冷却液的损耗,还要排查漏点,一套流程下来比以前复杂 10 倍;

l  以前空调的维护要停机,现在 CDU 的过滤器、水泵,都能在线维护 —— 主泵坏了,备泵马上顶上去,过滤器要换,开旁通就行,完全不用停服务器,这在以前想都不敢想;

l  还有补液,以前风冷根本没这个说法,现在液冷系统一年要补 1-2 次冷却液,因为系统会有微量的损耗,补的时候还要测水质,不能随便加自来水。

最爽的是噪音,现在液冷机房的噪音不到 30dB,进去之后跟办公室一样,说话不用喊,巡检完了耳朵也不疼了,我第一次进去的时候,差点以为自己进了个假机房。

动环监控:从“事后告警”到“事前预判”

最后说说动环监控,这个东西的变化,其实是最能体现运维逻辑变化的。

10年前的动环监控,是什么样的?就是个 “报警器”:温度超过30度告警,湿度超过80%告警,市电断了告警,UPS故障告警。所有的告警都是“事后”的——等问题已经发生了,才告诉你“出事了,快来修”。

我们那时候的工作,就是盯着这些告警,半夜收到告警,爬起来去机房救火,天天跟个消防员一样。

现在的动环监控,早就不是这样了。

首先是监控的内容多了太多:

l  以前只监控温湿度、烟感、市电、UPS 状态,现在还要加:漏液传感器的状态、冷却液的流量、压力、进出液温度、CDU 的运行参数、甚至冷却液的电导率,几十个新的监控点,比以前多了一倍都不止;

l  以前的告警是 “阈值告警”,现在是AI预测告警。比如以前是温度到了35度才告警,现在AI会看过去一周的温度趋势,发现温度每天涨0.1度,提前一周就告诉你“这个机柜的冷量有点不够,要调整了”,等你调整完,根本就不会有告警;

l  还有数字孪生,现在的动环,能把整个机房1:1映射到系统里,你在电脑上就能看到每个机柜的温度、每个管路的流量,甚至能模拟 “要是这个CDU坏了,会影响哪些机柜”,提前做预案。以前出了问题,要跑遍整个机房找故障点,现在在系统上点一下,就知道问题在哪,几分钟就能定位。

现在的运维,早就不是 “出事了再救火” 了,而是 “把问题掐灭在萌芽里”。

为了方便大家快速对比,我把传统数据中心和智算中心的核心区别整理成了表格:

写在最后:我们的经验,从来都不是白来的

写完这些,我突然想起刚入行的时候,师傅跟我说:“咱们运维这行,就是靠经验吃饭,干的越久,越值钱。”

那时候我还担心,现在技术更新这么快,我们以前的经验会不会没用了?就像这次去液冷机房,我一开始还怕自己跟不上,会不会被淘汰了?

后来我才发现,以前的经验不是没用了,是升级了。以前我们管风冷的经验,让我们知道怎么控温、怎么保障稳定;以前我们管配电的经验,让我们知道怎么管高电压、大电流的安全;以前我们救火的经验,让我们知道怎么提前预判问题、怎么把故障的影响降到最低。

变的只是工具,只是技术,不变的是我们守护数据中心稳定的那颗心。这一行,永远有新的东西要学,永远有新的挑战要面对,这不就是我们做运维的乐趣吗?