Pt.1 Lnv HR650X 基础配置与PVE异地集群创建教程

传说中的有为青年

2024年10月02日 20:19

如题，给国庆假期的自己找点事做，于是有了这个专栏。目的是基于HR650X和P720的PVE集群给朋友做个集群玩，实现GPT和画图串流自由。

EP1 前言与坑

配置如下：

准系统：HR650X

CPU：Gold 5120T*2

内存：海力士D4RECC 16G 2133 (超频2400）*2

存储：AN1500（PM961*2)

加速卡：TeslaK80/TeslaM40/GTX1080Ti/P104

这里解释下选择各个部件的原因。

准系统，目前笔者认为联想的准系统是强于浪潮的，最初在23年的时候用过几台5212M5，被浪潮折腾的不轻，再者目前的HR650X上限其实高于浪潮（例如笔者购买的650X是八U2准系统，799元一台）的，目前已知的HR650X注意点如下

1）左方riser卡不支持如TeslaK80类的全长计算卡，不换散热无法插入，会卡电源线。

2）BMC为公版MegaRac，但阉割了比较多的功能（例如识别计算卡进行风扇调速）但差强人意，胜过浪潮。

3）很多人关心的支持CPU问题，默认出场的IC配置为205W，确实需要改大功率才可以支持205W以上的CPU。至于步进0/1/2的ES，我查看微码后发现

上方为C35平台的全微码BIOS，下方为HR650X的BIOS，可能有些读者无法辨别微码对应的CPU架构，这里列出Intel的微码更新手册上的注释。

查询微码更新指南可知，HR650X中仅有50654/6/7的微码，这里逐一分析

0654为XeonSP一代的微码，查看修订日期可知其为步进4的微码。

0656为XeonSP二代步进5的微码，此微码针对SP二代的ES使用。

0657为XeonSP二代正式版步进6/7的微码，针对二代正式版使用。

因笔者使用Gold 5120T ，其在支持范围内，故可以直接安装CPU。

此处须知HR650X的单路版本的5/6风扇位是absent的，如果要安装双路CPU，需要将另两个风扇补全。笔者在测试时购买的风扇未到货，故暂时使用ipmi调速压低风扇转速。

之后就是HR650X的PCIE配置，此处须知HR650X的Riser配置模式，图解如下。

CPU，因为笔者的机器基数比较大，所以6133的昂贵价格会导致整机预算超出。故退而求其次，选择45一颗的Gold 5120T 14C28T的规模，单核32倍频，全核30倍频，推起规模来（14*2*2*5=280）勉强够用。接下来科普一下LGA3647P1的选购方法。

首先，LGA3647分为两种插槽，即socketP1与socketP0。前者对应Intel的融核，即众核，Phi的72x0，72x5系列。采用的芯片组为C612，这不是我们要讨论的重点，故跳过。

其次就是socketP0即一二代可扩展至强所使用的插槽。一般使用C620系列芯片组，如C621/622/627等。存在八种步进三种修订。为什么我要告诉你这个呢？因为它可以避免你选择CPU时翻车。三种修订分别为H0/M0/U0，对应核心为XCC/HCC/MCC，核心数为10/18/28。一二代可扩展至强仅存在这三种核心。其余如4C/6C/8C/12C/14C/20C/22C/24C/26C均为以上三种核心进行屏蔽而来。一般为其接近核心数进行屏蔽得到的。但也存在特例。如铂金8156/8256，4C8T，照理应该是10C的MCC吧，但并不是。铂金要支持8路的扩展能力，所以它使用的是28C的XCC屏蔽而来。

然后是步进。步进可以理解为CPU的版本，在ES工程样品中，早期步进的CPU不存在正式的名字。仅仅用QDF或是步进+核心区分。一二代可扩展至强分为0/1/2/3/4/5/6/7一共八个步进。其中0/1/2/3/4对应一代可扩展至强，也就是x1xx。5/6/7对应二代可扩展至强，也就是x2xx。看步进有一个好处，就是可以快速判断一颗CPU的灵车程度。第一代可扩展至强的测试版步进为0/1/2。其中0/1步进极其挑主板且极其不稳定。2步进挑主板，低频且存在Ring频率问题。3步进是一个特殊的步进，从此步进开始到4为第一代可扩展至强的正式版步进。但步进3只存在两颗CPU，即铂金P8124与铂金P8136，均为亚马逊定制的CPU。都需要主板支持大功率。这里引入了一个新的概念，‘大功率’。一般的主板厂商，会将主板的最大CPU功率限制在205W，这也是一二代可扩展至强零售处理器的最大TDP。但有很大一部分特殊的CPU功率是大于205W的，例如8259CL，210W，P8124，P8136，8124M，240W。当你把这些CPU安装到不支持大功率的主板时，一般会卡93或92的自检码。这是就需要对主板的供电IC进行特殊处理，即俗称的‘刷大功率’，具体方法因为暂时未公布，我也不方便多言。回到原题。之后是步进4，这是可扩展至强一代出货量最大的步进，也是市面上较为常见的步进。不存在任何问题。接下来是可扩展至强二代的步进，为5/6/7，其中5为可扩展至强二代的测试版步进，特点为不支持AVX512的扩展指令集VNNI，然后是6/7两个步进，其为可扩展至强二代的正式版步进。特别注意的是，傲腾持久性内存的支持从步进5/6/7的可扩展至强金牌以上开始，另外还有一代后缀带M的，例如8180M也可以支持。

然后是同步进下的特殊情况。即正式版与测试版组多路的情况，常见可扩展至强一代。有一大部分的ESCPU是步进4的，只是单纯没有名字罢了。这里可以将它们与同步进同修订的CPU组成多路（前提不存在类似于HPE的白名单），是可以的。插一句题外话，AMDSP4的EPYC，带锁U是可以在非解锁机器上作为第二路使用的。何尝不是AMD留下的一扇窗呢。

另外还有F后缀的100G网卡集成型号，P后缀的集成FPGA型号，CL后缀的高可用性型号，T后缀的宽温型号，这里不详细展开。

最后留下一句快速识别3647CPU的话。

看步进，看TDP，34567可购买，大于205W看主板是否支持大功率。

内存，此为便宜货，得益于HR650X的BIOS可以进行简单的超频，故超频到2400。

（16*2*5=160G)

储存，采用AN1500的原因只是为了整活，不觉得很酷吗，5800的读写速度，科技并带着些乐趣，很符合我对未来科技的幻想，站在人文与科技的交叉路口上，很难让我遵守何不扩散条约。

加速卡，这里选择了四种加速卡，K80/M40/P104/1080Ti，依次解释原因。

选择K80的原因主要是看重它双芯共24G的显存，正好拿来开VGPU给朋友爽，但是后来发现VGPU-UNLOCK不支持K80，故翻一半的车了，只能直通两个核心到虚拟机，或是在Windows下hyperV直通（过于抽象了）。

因为K80的抽象翻车，故购入M40-12G三张，主要用来跑画图和VGPU。

至于P104，是笔者在购买完M40后刷闲鱼头脑一热的产物，打算主要跑GPT，购买数量为两张，正好和三张M40-12G平均分配到五台HR650X上。

此处附带HR650X的风扇调速指南。