Nvidia BlueField2 DPU初始化,安装ubuntu系统
总想搞点奇怪的
编辑于 2024年03月25日 23:10

总结不易,转载请注明出处,谢谢!

以下为Debian 12.5下进行的操作,root权限:

export PATH=/usr/local/sbin:/usr/sbin:/sbin:$PATH

下载驱动

https://www.mellanox.com/downloads/ofed/MLNX_EN-24.01-0.3.3.1/mlnx-en-24.01-0.3.3.1-debian12.1-x86_64.tgz

解压缩

tar -zvxf mlnx-en-24.01-0.3.3.1-debian12.1-x86_64.tgz

编译到内核

./mlnx_add_kernel_support.sh -m ./

安装驱动

cd /tmp

tar -zvxf mlnx-en-24.01-0.3.3.1-debian12.5-x86_64-ext.tgz

cd mlnx-en-24.01-0.3.3.1-debian12.5-x86_64-ext

./install --skip-distro-check --without-fw-update

下载MFT工具

https://www.mellanox.com/downloads/MFT/mft-4.27.0-83-x86_64-deb.tgz

安装MFT

cd mft-4.27.0-83-x86_64-deb

./install.sh

确认状态(看到DPU网口和带外管理口即为正常)

mst start

mst status -v

update-pciids

lspci  | grep BlueField

安装DOCA

for f in $( dpkg --list | grep doca | awk '{print $2}' ); do echo $f ; apt remove --purge $f -y ; done

apt-get autoremove

wget https://www.mellanox.com/downloads/DOCA/DOCA_v2.6.0/host/doca-host-repo-debian121_2.6.0-0.0.1.24.01.0.3.3.1_amd64.deb

dpkg -i doca-host-repo-debian121_2.6.0-0.0.1.24.01.0.3.3.1_amd64.deb

apt-get update

apt install doca-ofed

确认RShim工作正常(状态为Enabled和Active即为正常)

systemctl status rshim

下载BFB

https://developer.nvidia.com/networking/blue-os-eula?mtag=bluefield_sw_drivers&mrequest=downloads&mtype=BlueField&mver=BFBs&mname=Ubuntu22.04&mfile=DOCA_2.6.0_BSP_4.6.0_Ubuntu_22.04-5.24-01.prod.bfb

安装BFB

bfb-install --bfb DOCA_2.6.0_BSP_4.6.0_Ubuntu_22.04-5.24-01.prod.bfb --rshim rshim0

SSH访问带外管理口(IP地址去DHCP服务器上找一下)

默认用户名和密码为ubuntu,会要求修改默认密码。用户名不变,始终是ubuntu。

更改密码之后再次SSH登录。更新固件

sudo /opt/mellanox/mlnx-fw-updater/mlnx_fw_updater.pl --force-fw-update

更新完毕重启电脑。

SSH访问带外管理口

检查DPU状态(No issues found即为正常)

sudo bfvcheck

大功告成

------------

附:

进入console看状态

screen /dev/rshim0/console 115200