AI算法本地研究,你需要台式工作站的帮忙
惠普
2023年12月08日 14:48
收录于文集
共11篇

智慧生活从点进【惠普】哔哩哔哩开始,欢迎大家!惠普哥在这里恭候多时啦,想知道更多产品背后的研发细节?想了解更多科技生活可能?

惠普哥将会定期开设科普学院栏目,为大家带来一系列惠普突破性产品技术的深度解读,揭秘产品背后的巧思与妙想,探索科技生活的更多便利与温暖。


随着以Midjourney、DALL·E 3为代表的文生图应用进入大众视野,我们已经进入到了一个全新的AIGC(AI Generated Content,人工智能生成内容)时代。用户无需了解复杂的算法知识,只需通过简单的指令(Prompt)即可完成所需内容创作,大大节约了时间、提高了效率。

在AIGC的背后,则是无数AI数据工程师利用神经网络、深度学习让算法能够通过海量数据和参数训练获得「涌现式」理解能力,进而让AI的力量能够被大众所用。

在商业领域,AI算法的应用不局限于AIGC这一个使用场景,它已经被广泛用于金融、安防、工业、科学研究等领域的预测、分析和智能处理之中。

随着越来越多的企业开始拥抱AI,企业对算力的需求也与日俱增,遍布AI算法应用的全环节:

1. 在训练开始前,需要对采集的自有数据进行整理和清洗;

2. 在训练过程中,需要大量GPU算力用于深度学习模型的训练;

3. 在评估时,也需要有足够的算力对已经成型的模型进行推理,通过正则化和交叉验证对AI进行评估和调优;

4. 在最终部署时,也需要在本地拥有足够的算力以满足企业对运行效率的要求。

基于以上这些需求,单一的依靠以云为中心的算法研究已经无法满足企业在数据安全性、开发敏捷性等方面的所需,更多需要以本地和云协同的方式,充分发挥两者的优势,实现效率与便捷兼得的高效开发体验。

为什么本地AI算法研究需要台式工作站?

虽然普通台式机可以通过加装支持AI算法训练的专业显卡「变身」训练设备,但AI算法开发人员在本地进行机器配置、训练和管理过程中仍面临很多挑战:

1、  在硬件配置阶段,无论是用于数据处理、算法研发还是边缘部署,都需要为传统台式机配置特定操作系统、搭建研发环境,因此带来较大的时间消耗;

2、  数据处理和训练阶段,算法的开发训练对硬件的显存、浮点运算能力有一定要求,这也决定了本地化训练对硬件算力的需求极高,此外,AIGC的算法训练需高强度调动硬件资源,因此需要机器保证稳定才能进一步提高工作效率;

3、  在设备管理层面,在本地对数据维护、训练、运行和部署维护会带来更多的成本支出、分散式采买硬件组件带来较高的硬件成本,导致总体拥有成本(Total Cost of Ownership)的居高不下。

惠普自1977年首次推出工作站以来,一直致力于与行业伙伴进行交流、共同商讨行业未来趋势、提前多年有针对性地研发和布局,才能让AI算法工程师提供能满足AIGC算法训练需求的定制化解决方案。

惠普究竟如何应对数据算法研发的挑战?

1、通过预装系统和简化软件部署实现更快捷部署

无论是云边端协同的AI算法开发部署,还是本地端的算法开发工作,都会涉及繁琐的系统安装和软件配置,不仅耗时,还容易出错。而惠普Z系列工作站通过提供针对性系统选装,满足了数据开发人员对开发环境的需求。

即便在本地环境,大部分AI算法训练应用依然运行在UNIX环境下。惠普通过增加可选预装的Ubuntu或WSL 2 (Windows Subsystem for Linux 2,Linux子系统)选项开发人员开机即可享受和云服务器端一样的使用体验,为开发人员的工作流程减少了不必要的时间浪费。此外,得益于Ubuntu在算法研究领域的广泛应用,用户开机即可使用包含Visual Studio Code (VS Code)、Git、PyCharm等热门开发人员工具[i]和Keras、NVIDIA RAPIDS等在内的多种开源框架,让访问资料库、语言资源和应用变得简单便捷。

此外,得益于WSL 2可在Windows下运行Linux系统,开发人员无需重启就可同时享受Windows的广泛软件资源和Linux下更为高效和完善的数据开发环境,减少系统间切换带来的等待和麻烦,也带来更为流畅的与云端协同开发体验。

2、在数据处理和训练阶段,确保AI算法开发部署高效稳定

面对AI科研、视觉处理、AIGC等应用所面临的庞大数据处理需求,算法训练对硬件运行的稳定性、以及负载能力要求颇高,机身过热、性能下降等情况将对数据处理和算法训练的效率造成很大影响。惠普通过重新设计插口和散热布局,满足AI数据开发对效率和稳定的严苛要求。

在效率层面,针对现在AI应用所需的数据集越来越大的现状,惠普通过在前置面板增加四个NVME M.2可热插拔的插槽,将普通的固态硬盘当成移动硬盘进行插拔读取,既可以避免网络传输带来的数据泄露隐患和网速波动影响,也减少了物理盘之间来回拷贝带来的漫长等待时间。

此外,惠普工作站可最多预留容纳4块专业显卡的接口与空间,以应对AIGC、AI for Science、小型模型训练推理对高GPU算力的需求,让硬件在后期更具扩展能力,可进一步扩展算法效率。在具体硬件部件和零件的采购上,惠普也严格把关,力求每一个零部件的设计都朝着长时间稳定使用的目标来进行设计研发和生产。

为应对AI单机开发所需的以天为单位的常见训练场景,惠普在重点硬件上也提供了针对性散热设计。针对CPU的散热,引入至多两组专门风扇进行散热,彼此之间的进气排气还能做到不重合交叠,不会带来循环积热,从而能让CPU的工作功率超过350W。在显卡的安装上,惠普在旗舰级机型上进一步改善了硬件布局,在显卡插槽之间额外预留了超出业界标准的散热空间,从而进一步确保这些专业显卡的散热。

解决了显卡和CPU的散热难题,惠普还对存储设备进行散热层面的优化,实现高稳定性。数据训练时,系统对内存、硬盘都会进行高负荷读取存储,也会造成存储部件发热。所以惠普硬件团队设计了专门的散热风道,让散热不再局限于平面,提高了热量的交换面积和效率。在材质上,惠普也用液态金属材质替代传统硅脂,用更好的热传导效率让热量更好、更充分地传导到散热口,实现更高效率的热量交换。

此外,惠普工程师还针对不同硬件的产热位置、产热频率,设计了对应的散热区域和配套散热设计,通过将外界的冷风针对性地引入到不同区域并快速排出,防止硬件的热量上升带来整体机身内部的热量过高。部分机型内部还加装了20个温度传感器,让BIOS能够实时感知到机箱不同区域的温度,从而可以按需调整风扇速度,确保系统高效运行,同时也能带来相对低噪的运行体验。即使在高性能下也能确保良好散热和安静运行,让您集中精力,不受干扰。

这些针对性措施组合在一起,让惠普台式工作站得以通过36万小时[ii]惠普内部稳定性测试和美国军工测试[iii],轻松适应AI算法训练以天为单位的训练节奏,大幅度减少数据整理、算法研发面临的不确定性风险。

最后,在动力方面,惠普也通过可选冗余电源设计增强了对断电等突发情况下的稳定性运行可能,更为轻松应对实验室、工厂、监控等对稳定性高的场景所需。针对算法训练需要的长期运行的工作模式,惠普首次在Z8 FURY G5上引入了可选冗余电源,最大输出1450W,可分别接入两个独立电网,确保机器在进行关键环节不会因为电网波动而导致训练任务中断;也可在需要时,通过聚合模式输出2250W功率。

3、在后期管理方面,进一步降低维护成本

针对高校、实验室等缺少运维支持的实验场景,惠普Z系列台式工作站通过模块化硬件设计和桌面台式机形态,降低了后期维护的难度。甚至,惠普在机箱背面贴有对应的硬件布局图,让ITDM无需培训也可以完成对硬件设备的维护,从而降低设备维护复杂度。

同时,针对现在越来越多的远程办公和小型团队算力共享的需求,惠普还在工作站产品线上引入HP Anyware远程协作软件提高硬件利用率。用户可以通过软件连接到异地的计算机进行管理和操作,确保本地数据不对外传输的同时,实现对算力的高强度应用,进而避免工作站闲置带来的资源浪费。

总之,无论是数据科学家进行本地化数据科学研发和训练,还是云边端三端协同的AI算法应用和部署,惠普Z系列台式工作站还有针对性地设计了从Z1到Z8多种不同硬件形态、不同硬件配置组合的工作站产品家族,从而让每一分投入都能拥有相对应的回报与产出,实现AIGC趋势下的开拓与创新。 

还想知道惠普更多的产品背后的科技与故事?欢迎关注「惠普」官方哔哩哔哩账号、关注「科普学院」专栏,我们下期见~!

*此文仅为技术分享,不代表实际承诺。文中提及的部分配置技术仅限于特定机型,具体机型配置及参数请垂询惠普官网或销售人员。


[i] 上述AI开源开发软件和工具仅供示例。HP不提供AI开源开发软件和工具。用户须遵守适用法律通过合法的供应商经由合法的渠道获得所需AI开源开发软件和工具。HP不对用户获得使用AI开源开发软件和工具提供任何保证,也不对此承担任何责任。 [ii] 数据来自惠普实验室。 [iii] 测试目的不在于证明产品符合美国国防部 (DoD) 合同要求或适合军事用途。测试结果不能保证产品未来在这些测试条件下也能发挥同样的性能。意外损坏需要使用选配的惠普意外保护金牌服务。