前言

最近给几台服务器安装 Mellanox 网卡驱动,遇到了一个有点绕的问题:同一份 MLNX_OFED 安装包,其他节点可以正常安装,偏偏有一台在构建驱动包时失败。

最开始看到 Digest mismatch,自然会怀疑安装包损坏。但查到最后,原因落在了系统的 RPM 补丁版本上。把异常节点的 RPM 版本调整到与正常节点一致后,安装顺利通过。

把这次排查过程记下来,后面遇到类似问题可以少走些弯路。

一、问题现象

这批机器使用 openEuler 22.03 LTS SP4,相关版本如下:
系统:openEuler 22.03 LTS SP4
内核:5.10.0-216.0.0.115.oe2203sp4.x86_64
驱动:MLNX_OFED_LINUX-23.10-1.1.9.0

安装时需要为当前内核构建驱动包,执行的命令是:

./mlnxofedinstall --without-fw-update --force --add-kernel-support --skip-repo

依赖已经安装完成,但到了构建 RPM 的阶段,安装程序退出了:

Building MLNX_OFED_LINUX RPMS . Please wait...

ERROR: Failed executing ".../install.pl ... --build-only ..."
Failed to build MLNX_OFED_LINUX for 5.10.0-216.0.0.115.oe2203sp4.x86_64

这层报错只能说明构建流程失败,具体卡在哪里,还得继续看日志。

二、问题排查

打开 mlnx-ofa_kernel-23.10.rpmbuild.log 后,找到了真正的错误:

error: unpacking of archive failed on file .../SOURCES/mlnx-ofa_kernel-23.10.tgz;
       cpio: Digest mismatch

error: .../mlnx-ofa_kernel-23.10-OFED.23.10.1.1.9.1.src.rpm cannot be installed

这里有个关键点:失败发生在源码 RPM 的解包阶段,还没有进入内核模块编译。

所以,这时候去调整编译选项、检查驱动源码里的内核接口,都还太早。需要先弄清楚,为什么 RPM 连源码包都解不开。

我先检查了报错的源码 RPM。进入安装程序临时目录下对应的 SRPMS 目录,执行:

srpm=mlnx-ofa_kernel-23.10-OFED.23.10.1.1.9.1.src.rpm

rpm -Kv "$srpm"

输出是:

Header SHA1 digest: OK
MD5 digest: OK

包整体的摘要校验通过了。

不过,这个结果不能直接等同于“内部每个文件的摘要都没问题”。RPM 的整包校验和解包时的文件摘要校验,是不同环节。眼前的现象就是:前一个环节通过,后一个环节失败。

接着查看内部文件使用的摘要算法:

rpm -qp --qf 'FILEDIGESTALGO=%{FILEDIGESTALGO}\n' "$srpm"

结果:

FILEDIGESTALGO=(none)

这个 (none) 容易让人误以为没有摘要。实际情况是,旧格式 RPM 没有显式记录这个字段时,默认使用 MD5。
又检查了 FIPS 状态:

cat /proc/sys/crypto/fips_enabled

输出为:

0

这台机器没有开启 FIPS,排查方向继续往本机软件环境上收。

真正让范围缩小的,是拿正常节点做对比。

同样查询几个相关软件包:

rpm -q rpm rpm-libs openssl-libs libgcrypt

两台机器的结果如下:
软件包 正常节点 异常节点

软件包正常节点异常节点
rpm4.17.0-53.oe2203sp44.17.0-55.oe2203sp4
rpm-libs4.17.0-53.oe2203sp44.17.0-55.oe2203sp4
openssl-libs1.1.1wa-7.oe2203sp41.1.1wa-7.oe2203sp4
libgcrypt1.10.2-1.oe2203sp41.10.2-1.oe2203sp4

RPM 的上游版本都是 4.17.0,但发行版补丁版本不同:正常节点是 -53,异常节点是 -55。

如果只运行 rpm --version,两边都会显示 RPM version 4.17.0,这个差异就被漏过去了。

异常节点执行下面的检查,也没有输出:

rpm -V rpm rpm-libs

这说明没有发现这些软件包已安装文件的校验差异。但它只能验证文件是否符合当前软件包的记录,无法判断当前版本的代码有没有兼容问题。

三、解决方案

随后对比了 openEuler 官方仓库中的 RPM -53 源码包和 RPM -55 源码包,找到了与现象对应的改动。

-54 引入、-55 保留的一组安全补丁,在解析文件摘要时增加了检查,调用了 rpmIsValidHex():

if (!rpmIsValidHex(s, slen) || slen != len * 2) {
    bin = rfree(bin);
    break;
}

问题出在被复用的检查函数中。它保留了这样一个条件:

if (slen % 2 || slen < 40)
    goto exit;

也就是说,传入的摘要字符串长度必须是偶数,而且至少有 40 个字符。

但 MD5 的十六进制摘要只有 32 个字符。

这就解释了整个问题:这份旧格式 OFED 源码 RPM 使用 MD5 文件摘要,摘要进入新检查逻辑后,因为长度不足 40 被拒绝,解包阶段最终报出了 Digest mismatch。

这里的错误信息看起来像文件内容不一致,实际却是合法的 MD5 摘要在解析时被拒绝了。

这也解释了为什么整包校验能通过,为什么 FIPS 没开启仍然失败,以及为什么换到另一台节点就正常。

确认这个差异后,我把异常节点已安装的 RPM 相关软件包统一回退到了正常节点使用的 4.17.0-53.oe2203sp4。

下面的命令适用于 Bash,会从列出的相关软件包中选取本机已经安装的包,再交给 DNF 处理回退:

mapfile -t rpm_targets < <(
    rpm -qa --qf '%{NAME}\n' |
    grep -E '^(rpm|rpm-libs|rpm-build|rpm-devel|rpm-help|rpm-plugin-systemd-inhibit|python3-rpm)$' |
    sort -u |
    sed 's/$/-4.17.0-53.oe2203sp4/'
)

dnf downgrade "${rpm_targets[@]}"

RPM 相关包之间有版本依赖,回退时需要一起处理,并检查 DNF 给出的事务内容。仓库如果没有保留 -53,可以从官方仓库获取对应的软件包。

回退完成后,确认版本:

rpm -q rpm rpm-libs rpm-build

再回到 OFED 安装目录,重新执行原来的安装命令:

./mlnxofedinstall --without-fw-update --force --add-kernel-support --skip-repo

这次安装顺利通过。

这里的回退是临时兼容方案。-54/-55 包含安全修复,长期停留在旧版本也有代价,后续应关注发行版是否提供修复兼容问题的新版本。

剩下几台节点再安装时,我把检查顺序调整了一下:先装齐构建依赖,再确认当前内核对应的 kernel-devel,最后检查 RPM 的完整版本。这样可以避免刚确认完版本,安装依赖时又把 RPM 升上去。

同一批节点尽量使用已经验证过的软件包组合,安装完成后再检查 OFED 版本和网卡实际加载的驱动:

ofed_info -s
ethtool -i 实际网卡名
Logo

openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构

更多推荐