openEuler 安装 MLNX_OFED 报 Digest mismatch:最后发现问题出在 RPM 补丁版本
前言
最近给几台服务器安装 Mellanox 网卡驱动,遇到了一个有点绕的问题:同一份 MLNX_OFED 安装包,其他节点可以正常安装,偏偏有一台在构建驱动包时失败。
最开始看到 Digest mismatch,自然会怀疑安装包损坏。但查到最后,原因落在了系统的 RPM 补丁版本上。把异常节点的 RPM 版本调整到与正常节点一致后,安装顺利通过。
把这次排查过程记下来,后面遇到类似问题可以少走些弯路。
一、问题现象
这批机器使用 openEuler 22.03 LTS SP4,相关版本如下:
系统:openEuler 22.03 LTS SP4
内核:5.10.0-216.0.0.115.oe2203sp4.x86_64
驱动:MLNX_OFED_LINUX-23.10-1.1.9.0
安装时需要为当前内核构建驱动包,执行的命令是:
./mlnxofedinstall --without-fw-update --force --add-kernel-support --skip-repo
依赖已经安装完成,但到了构建 RPM 的阶段,安装程序退出了:
Building MLNX_OFED_LINUX RPMS . Please wait...
ERROR: Failed executing ".../install.pl ... --build-only ..."
Failed to build MLNX_OFED_LINUX for 5.10.0-216.0.0.115.oe2203sp4.x86_64
这层报错只能说明构建流程失败,具体卡在哪里,还得继续看日志。
二、问题排查
打开 mlnx-ofa_kernel-23.10.rpmbuild.log 后,找到了真正的错误:
error: unpacking of archive failed on file .../SOURCES/mlnx-ofa_kernel-23.10.tgz;
cpio: Digest mismatch
error: .../mlnx-ofa_kernel-23.10-OFED.23.10.1.1.9.1.src.rpm cannot be installed
这里有个关键点:失败发生在源码 RPM 的解包阶段,还没有进入内核模块编译。
所以,这时候去调整编译选项、检查驱动源码里的内核接口,都还太早。需要先弄清楚,为什么 RPM 连源码包都解不开。
我先检查了报错的源码 RPM。进入安装程序临时目录下对应的 SRPMS 目录,执行:
srpm=mlnx-ofa_kernel-23.10-OFED.23.10.1.1.9.1.src.rpm
rpm -Kv "$srpm"
输出是:
Header SHA1 digest: OK
MD5 digest: OK
包整体的摘要校验通过了。
不过,这个结果不能直接等同于“内部每个文件的摘要都没问题”。RPM 的整包校验和解包时的文件摘要校验,是不同环节。眼前的现象就是:前一个环节通过,后一个环节失败。
接着查看内部文件使用的摘要算法:
rpm -qp --qf 'FILEDIGESTALGO=%{FILEDIGESTALGO}\n' "$srpm"
结果:
FILEDIGESTALGO=(none)
这个 (none) 容易让人误以为没有摘要。实际情况是,旧格式 RPM 没有显式记录这个字段时,默认使用 MD5。
又检查了 FIPS 状态:
cat /proc/sys/crypto/fips_enabled
输出为:
0
这台机器没有开启 FIPS,排查方向继续往本机软件环境上收。
真正让范围缩小的,是拿正常节点做对比。
同样查询几个相关软件包:
rpm -q rpm rpm-libs openssl-libs libgcrypt
两台机器的结果如下:
软件包 正常节点 异常节点
| 软件包 | 正常节点 | 异常节点 |
|---|---|---|
| rpm | 4.17.0-53.oe2203sp4 | 4.17.0-55.oe2203sp4 |
| rpm-libs | 4.17.0-53.oe2203sp4 | 4.17.0-55.oe2203sp4 |
| openssl-libs | 1.1.1wa-7.oe2203sp4 | 1.1.1wa-7.oe2203sp4 |
| libgcrypt | 1.10.2-1.oe2203sp4 | 1.10.2-1.oe2203sp4 |
RPM 的上游版本都是 4.17.0,但发行版补丁版本不同:正常节点是 -53,异常节点是 -55。
如果只运行 rpm --version,两边都会显示 RPM version 4.17.0,这个差异就被漏过去了。
异常节点执行下面的检查,也没有输出:
rpm -V rpm rpm-libs
这说明没有发现这些软件包已安装文件的校验差异。但它只能验证文件是否符合当前软件包的记录,无法判断当前版本的代码有没有兼容问题。
三、解决方案
随后对比了 openEuler 官方仓库中的 RPM -53 源码包和 RPM -55 源码包,找到了与现象对应的改动。
-54 引入、-55 保留的一组安全补丁,在解析文件摘要时增加了检查,调用了 rpmIsValidHex():
if (!rpmIsValidHex(s, slen) || slen != len * 2) {
bin = rfree(bin);
break;
}
问题出在被复用的检查函数中。它保留了这样一个条件:
if (slen % 2 || slen < 40)
goto exit;
也就是说,传入的摘要字符串长度必须是偶数,而且至少有 40 个字符。
但 MD5 的十六进制摘要只有 32 个字符。
这就解释了整个问题:这份旧格式 OFED 源码 RPM 使用 MD5 文件摘要,摘要进入新检查逻辑后,因为长度不足 40 被拒绝,解包阶段最终报出了 Digest mismatch。
这里的错误信息看起来像文件内容不一致,实际却是合法的 MD5 摘要在解析时被拒绝了。
这也解释了为什么整包校验能通过,为什么 FIPS 没开启仍然失败,以及为什么换到另一台节点就正常。
确认这个差异后,我把异常节点已安装的 RPM 相关软件包统一回退到了正常节点使用的 4.17.0-53.oe2203sp4。
下面的命令适用于 Bash,会从列出的相关软件包中选取本机已经安装的包,再交给 DNF 处理回退:
mapfile -t rpm_targets < <(
rpm -qa --qf '%{NAME}\n' |
grep -E '^(rpm|rpm-libs|rpm-build|rpm-devel|rpm-help|rpm-plugin-systemd-inhibit|python3-rpm)$' |
sort -u |
sed 's/$/-4.17.0-53.oe2203sp4/'
)
dnf downgrade "${rpm_targets[@]}"
RPM 相关包之间有版本依赖,回退时需要一起处理,并检查 DNF 给出的事务内容。仓库如果没有保留 -53,可以从官方仓库获取对应的软件包。
回退完成后,确认版本:
rpm -q rpm rpm-libs rpm-build
再回到 OFED 安装目录,重新执行原来的安装命令:
./mlnxofedinstall --without-fw-update --force --add-kernel-support --skip-repo
这次安装顺利通过。
这里的回退是临时兼容方案。-54/-55 包含安全修复,长期停留在旧版本也有代价,后续应关注发行版是否提供修复兼容问题的新版本。
剩下几台节点再安装时,我把检查顺序调整了一下:先装齐构建依赖,再确认当前内核对应的 kernel-devel,最后检查 RPM 的完整版本。这样可以避免刚确认完版本,安装依赖时又把 RPM 升上去。
同一批节点尽量使用已经验证过的软件包组合,安装完成后再检查 OFED 版本和网卡实际加载的驱动:
ofed_info -s
ethtool -i 实际网卡名
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐
所有评论(0)