Linux内核的故障分析和调测工具非常丰富，根据使用场景大致可以分为静态分析/代码检查、动态跟踪、性能分析、内存调试、以及崩溃转储分析这几大类。

下面我为你整理了典型工具的归类表，方便快速查阅，后面再详细解读几个核心工具的实战能力。

🛠️ Linux内核调测工具全景速览

💡 核心工具深度解读

1. Ftrace + trace-cmd：内核的“瑞士军刀”

Ftrace是Linux内核自带的追踪器，是分析调度延迟、函数调用链最直接的工具。它通过 /sys/kernel/debug/tracing 控制，配合 trace-cmd 命令行工具使用会方便很多。

• 分析调度延迟：你可以使用 trace-cmd record -e sched_wakeup -e sched_switch 记录调度事件，然后通过 trace-cmd report 查看任务从唤醒到运行的时间差，这正好对应你项目中的“OS调度延迟”监控需求。
• 函数调用链分析：通过 echo function_graph > current_tracer 可以清晰地看到内核函数的调用层级，非常适合分析驱动或文件系统的执行路径。

2. eBPF + BCC：可编程的低开销观测

eBPF是Linux近年来的革命性技术，允许你在不修改内核或加载模块的情况下，安全、高效地运行沙盒程序。它非常适合你项目中“低侵入性”的要求。

• BCC 工具集：提供了大量即插即用的工具。例如：
  • runqlat: 直接显示CPU运行队列的等待时间分布（调度延迟）。
  • funccount: 统计指定内核函数被调用的次数。
  • trace: 追踪指定的内核或用户态函数并打印参数。
• 自定义脚本：你可以编写简单的Python或C代码来挂载kprobe/uprobe，获取特定进程或系统调用的精细数据。

3. Perf：性能剖析的“黄金标准”

Perf利用CPU的硬件性能监控单元(PMU)，对系统开销极小，适合在生产环境进行性能分析。

• 定位CPU热点：perf top 可以实时显示当前哪个内核或用户态函数占用CPU最高。
• 记录与分析：perf record -a -g sleep 10 录制系统10秒的数据，然后用 perf report 生成带调用栈的火焰图数据，直观展示性能瓶颈。

4. Kdump + Crash：内核崩溃的“法医”

当内核发生 Oops 或 Panic 时，Kdump机制会捕获并转储内存映像（vmcore），随后可以用Crash工具进行离线分析。

• 诊断死锁与Panic：通过 crash 命令，你可以查看崩溃时刻的进程堆栈、CPU寄存器、内存变量等。这对于你项目中“系统调用或中断长时间执行”导致的死锁问题分析至关重要。

5. 内存与并发调试工具链

这些工具通常在开发和测试阶段开启，用于捕获深层bug：

• KASAN (Kernel Address Sanitizer)：可以在开发阶段以较小代价检测出越界访问和**释放后使用(UAF)**问题。
• Kmemleak：专门用于检测内核代码中的内存泄漏。
• Lockdep (Lock Dependency)：内核自带的锁验证器，能帮你发现潜在的死锁风险。

📚 进阶学习建议

根据你正在构建的“Linux系统监控框架”，可以重点关注 Ftrace/eBPF（用于采集实时性能数据）和 Kdump/Crash（用于事后故障定位）这两类工具。它们是实现“低开销监控”与“深度异常诊断”的技术基石。