1. 背景与核心概念：为什么需要学习操作系统底层开发？

在当前的软件开发领域，无论是云计算、物联网还是人工智能，其底层基石都离不开操作系统。许多开发者精通上层应用框架，却对系统如何调度进程、管理内存、处理中断等核心机制感到陌生。当线上服务出现性能瓶颈、系统卡死或驱动兼容性问题时，这种“黑盒”状态往往让人束手无策。本文旨在为你打开这扇门，系统性地拆解基于 Linux 内核的操作系统开发全貌。

Linux 内核是什么？ 简单来说，内核是操作系统的“大脑”和“心脏”。它负责管理系统的所有硬件资源（如CPU、内存、磁盘、网络），并为上层运行的应用程序提供一个稳定、安全、抽象的运行时环境。Linux 内核是一个开源、类 Unix 的操作系统内核，其最大的特点是模块化设计和高度的可定制性。我们日常使用的 Ubuntu、CentOS、Android 等，都是基于 Linux 内核，搭配不同的软件包和桌面环境形成的发行版。

底层开发学什么？ “基于Linux内核的操作系统开发”远不止是编译一个内核。它是一个系统工程，涵盖以下核心层面：

  1. 内核原理 ：理解进程调度、内存管理、文件系统、设备驱动、网络协议栈等子系统的工作原理。
  2. 内核编程 ：学习如何编写内核模块（如驱动）、修改内核源码、使用内核提供的API和数据结构。
  3. 系统构建 ：掌握如何从零开始，配置、编译出一个定制化的内核，并制作一个最小的可运行系统（包括启动引导、根文件系统）。
  4. 调试与排错 ：使用内核调试工具，分析系统日志（如dmesg），定位内核崩溃（Oops）或性能问题。

学习底层开发，不仅能让你深刻理解计算机系统的工作方式，更能提升你解决复杂、深层技术问题的能力，是迈向资深架构师、系统工程师的必经之路。

2. 环境准备与版本说明

工欲善其事，必先利其器。进行操作系统内核开发，需要一个稳定、高效的实验环境。 强烈建议在虚拟机中进行所有实验 ，以避免操作失误导致宿主机系统损坏。

2.1 实验环境搭建

方案一：本地虚拟机（推荐） 这是最灵活、安全的方案。你可以在 Windows/macOS/Linux 宿主机上安装虚拟机软件，然后创建一个 Linux 客户机。

  • 虚拟机软件 ：VMware Workstation Pro（功能强大）、VirtualBox（免费开源）。
  • 客户机系统 ：选择一个主流的 Linux 发行版作为开发基础。 Ubuntu 22.04 LTS 或 Fedora 38+ 是不错的选择，它们软件包较新，社区支持好。
  • 客户机配置 ：建议分配至少 2个CPU核心、4GB内存、50GB磁盘空间 。磁盘格式选择动态分配即可。

方案二：云服务器 如果你有一台云服务器（如阿里云ECS、腾讯云CVM），也可以直接使用。但需要注意，在云服务器上直接修改运行中的内核风险极高，通常用于阅读源码和编译练习，真正的启动测试仍需谨慎或使用额外的虚拟化环境（如QEMU）。

2.2 开发工具与依赖安装

无论选择哪种环境，都需要在 Linux 系统中安装必要的开发工具链和内核源码。

首先，更新系统包管理器并安装基础开发工具： 

# 对于 Ubuntu/Debian 系列
sudo apt update
sudo apt upgrade -y
sudo apt install -y build-essential libncurses-dev bison flex libssl-dev libelf-dev git qemu-system-x86

# 对于 Fedora/RHEL/CentOS 系列
sudo dnf update -y
sudo dnf groupinstall -y "Development Tools"
sudo dnf install -y ncurses-devel bison flex openssl-devel elfutils-libelf-devel git qemu-system-x86

关键工具说明 ：

  • build-essential / Development Tools ：包含 GCC、Make 等编译工具链。
  • libncurses-dev / ncurses-devel ：用于支持 make menuconfig 图形化内核配置界面。
  • bison 、 flex ：语法分析器生成器，内核编译所需。
  • libssl-dev / openssl-devel ：提供加密库支持。
  • libelf-dev / elfutils-libelf-devel ：处理 ELF 文件格式。
  • git ：版本控制，用于获取内核源码。
  • qemu-system-x86 ：一个纯软件实现的虚拟机，用于启动我们新编译的内核进行测试，无需重启真实机器，非常安全方便。

2.3 获取 Linux 内核源码

官方源码托管在 kernel.org 。我们可以用 git 克隆稳定的长期支持（LTS）版本分支，它更稳定，适合学习。 

# 创建一个工作目录并进入
mkdir -p ~/kernel_dev
cd ~/kernel_dev

# 克隆 Linux 内核源码仓库（此过程较久，约1-2GB）
git clone --depth 1 --branch linux-6.1.y https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git
cd linux
  • --depth 1 ：只克隆最近一次提交，节省时间和空间。
  • --branch linux-6.1.y ：指定克隆 6.1 LTS 分支。你可以访问 kernel.org 查看最新的 LTS 版本号并替换。

至此，你的开发环境已经准备就绪。接下来，我们将进入内核的“心脏地带”。

3. 核心原理与内核架构初探

在动手编译之前，我们需要对 Linux 内核的宏观架构和核心子系统有一个清晰的认知。这有助于理解后续配置和代码修改的意义。

3.1 内核核心子系统

Linux 内核采用单体宏内核设计，但其内部高度模块化。主要子系统包括：

  1. 进程管理 ：负责进程和线程的创建、调度、销毁。核心是调度器（如CFS完全公平调度器），决定哪个进程使用CPU。
  2. 内存管理 ：管理物理内存和虚拟内存。包括分页、地址空间映射、内存分配与回收（Buddy系统、Slab分配器）、交换空间等。
  3. 虚拟文件系统（VFS） ：为上层应用提供统一的文件操作接口（如 open, read, write），下层对接 ext4, Btrfs, XFS 等具体的文件系统。
  4. 设备驱动 ：内核中代码量最大的部分。每个硬件设备（网卡、磁盘、USB）都需要对应的驱动，它充当硬件与内核其他部分的翻译官。
  5. 网络协议栈 ：实现 TCP/IP、UDP、ICMP 等网络协议，处理数据包的收发、路由、过滤。
  6. 系统调用接口 ：用户空间程序通过软中断（如 int 0x80 或 syscall 指令）调用内核服务的安全入口。

这些子系统相互协作，共同构成了一个完整的操作系统内核。

3.2 内核源码目录结构

进入刚才克隆的 linux 目录，看看主要子目录： 

ls -F
  • arch/ ： 体系结构相关代码 。如 x86/ , arm/ , riscv/ 。这是配置和编译时首先需要关注的目录。
  • drivers/ ： 设备驱动 。占比最大，按设备类型分子目录，如 char/ （字符设备）、 block/ （块设备）、 net/ （网络设备）。
  • fs/ ： 文件系统 。如 ext4/ , btrfs/ , proc/ （虚拟文件系统）。
  • include/ ： 头文件 。 linux/ 是内核核心头文件， asm-generic/ 是通用体系结构头文件， uapi/ 是导出到用户空间的API头文件。
  • init/ ： 内核初始化 。包含 main.c ，内核启动的起点。
  • kernel/ ： 核心内核功能 。如调度器（ sched/ ）、进程管理、信号处理、定时器。
  • mm/ ： 内存管理 。
  • net/ ： 网络协议栈 。
  • scripts/ ： 编译和配置用的脚本 ，如 menuconfig 的脚本。
  • Makefile ： 顶级 Makefile ，控制整个内核的编译。

了解这个结构，就像拥有了一张内核的“地图”，在寻找代码或添加功能时能快速定位。

4. 实战：配置与编译你的第一个定制内核

现在，让我们动手从源码编译一个属于自己的 Linux 内核。这是理解内核构建系统的第一步。

4.1 内核配置

内核有上千个配置选项，我们需要生成一个 .config 文件来定义要编译哪些功能。 

# 确保在 linux 源码根目录
cd ~/kernel_dev/linux

# 方法1：基于当前运行系统的配置（推荐新手）
# 这会从 /boot 目录下加载当前系统的配置作为基础
cp /boot/config-$(uname -r) .config

# 方法2：使用默认配置
# 对于 x86_64 体系结构，可以使用
make x86_64_defconfig

# 运行图形化配置工具
make menuconfig

执行 make menuconfig 后，会进入一个基于 ncurses 的文本图形界面。你可以在这里浏览和修改配置：

  • 按 Y 键：编译进内核（Built-in）。
  • 按 M 键：编译为模块（Module），可以在需要时动态加载。
  • 按 N 键：不编译。
  • 按 / 键：搜索配置项。
  • 方向键导航，空格键切换选择状态。

对于首次编译，一个安全的做法是：

  1. 先通过上述方法1或2生成一个基础 .config 。
  2. 在 make menuconfig 中，直接选择 Save ，然后 Exit 。这样就使用了一个能保证启动的配置。
  3. （可选）为了精简，可以在 General setup -> Local version 中，添加一个自定义后缀，如 -myfirstkernel ，以便在启动时区分。

4.2 编译内核

配置完成后，开始编译。这是一个耗时过程，取决于你的CPU核心数。 

# -j 参数指定并行编译的作业数，通常设为 CPU 核心数+1，以加快速度
# 例如，4核CPU可以使用 -j5
make -j$(nproc)

编译过程可能会持续十几分钟到一小时。你会看到大量滚动的编译信息。如果最终没有出现错误（Error），即表示编译成功。

编译产物主要包括：

  • arch/x86/boot/bzImage ：压缩的内核镜像文件，这是最重要的启动文件。
  • 大量的 .ko 文件：内核模块，位于各个子目录中。
  • System.map ：内核符号表，用于调试。

4.3 安装模块

内核模块需要安装到指定目录（通常是 /lib/modules/<内核版本>/ 下）。 

# 以 root 权限安装模块
sudo make modules_install

执行后，你可以在 /lib/modules/ 目录下看到一个以你内核版本（包含本地版本后缀）命名的新目录。

4.4 使用 QEMU 启动测试新内核

在真实物理机上安装新内核需要配置引导程序（如GRUB），有一定风险。我们使用 QEMU 虚拟机进行安全测试。

首先，我们需要一个最小的根文件系统。这里使用 BusyBox 来快速制作一个。 

# 回到工作目录
cd ~/kernel_dev

# 下载并解压 BusyBox
wget https://busybox.net/downloads/busybox-1.36.1.tar.bz2
tar -xjf busybox-1.36.1.tar.bz2
cd busybox-1.36.1

# 配置 BusyBox，静态编译
make defconfig
make menuconfig # 进入后，选择 Settings -> Build static binary (no shared libs) 为 [*]
make -j$(nproc)
sudo make install

安装后， _install 目录下就是我们需要的最小文件系统。

现在，创建根文件系统镜像并启动 QEMU： 

# 回到工作目录
cd ~/kernel_dev

# 创建根文件系统镜像文件
dd if=/dev/zero of=rootfs.img bs=1M count=64
mkfs.ext4 rootfs.img

# 挂载镜像，复制文件
mkdir mnt
sudo mount -o loop rootfs.img mnt
sudo cp -r busybox-1.36.1/_install/* mnt/
sudo umount mnt
rmdir mnt

# 使用 QEMU 启动我们编译的内核
qemu-system-x86_64 \
    -kernel ./linux/arch/x86/boot/bzImage \
    -hda ./rootfs.img \
    -append "root=/dev/sda rw console=ttyS0" \
    -nographic

参数解释 ：

  • -kernel ：指定内核镜像路径。
  • -hda ：指定硬盘镜像（我们的根文件系统）。
  • -append ：传递给内核的命令行参数。 root=/dev/sda 指定根设备， rw 可读写， console=ttyS0 将控制台输出到当前终端。
  • -nographic ：不使用图形界面，所有输出到当前终端。

如果一切顺利，QEMU 会启动，并在最后出现一个 /# 的 BusyBox shell 提示符！恭喜你，你已经成功从源码编译并启动了一个 Linux 内核！

在 QEMU 的 shell 里，你可以尝试一些基础命令： ls , pwd , echo hello 。输入 poweroff 或按 Ctrl+A 然后 X 来退出 QEMU。

5. 深入内核：编写一个简单的“Hello World”内核模块

内核模块（Kernel Module）是可以在内核运行时动态加载和卸载的代码，这是扩展内核功能（尤其是驱动）的主要方式。让我们编写一个最简单的模块来理解其基本结构。

5.1 模块源码

创建一个新的目录和源文件： 

mkdir -p ~/kernel_dev/my_module
cd ~/kernel_dev/my_module

创建文件 hello.c ： 

// hello.c - 一个简单的 Linux 内核模块
#include <linux/init.h>   // 包含模块初始化和清理函数的宏
#include <linux/module.h> // 所有模块都需要，定义了模块信息、许可等
#include <linux/kernel.h> // 提供 printk 等内核 API

// 模块许可证声明（必须）
MODULE_LICENSE("GPL");
// 模块作者声明（可选）
MODULE_AUTHOR("CSDN Reader");
// 模块描述（可选）
MODULE_DESCRIPTION("A simple Hello World kernel module");

// 模块加载函数（当 insmod 时调用）
static int __init hello_init(void)
{
    // printk 是内核中的打印函数，KERN_INFO 是日志级别
    printk(KERN_INFO "Hello, World! from the kernel space.\n");
    return 0; // 返回 0 表示成功
}

// 模块卸载函数（当 rmmod 时调用）
static void __exit hello_exit(void)
{
    printk(KERN_INFO "Goodbye, World! Kernel module unloaded.\n");
}

// 指定模块的入口和出口函数
module_init(hello_init);
module_exit(hello_exit);

5.2 编写 Makefile

在同一目录下创建 Makefile （注意 M 大写）： 

# 指向你的内核源码目录，如果不同请修改
KERNEL_DIR ?= /lib/modules/$(shell uname -r)/build
# 或者指向你刚才编译的内核源码目录
# KERNEL_DIR ?= ~/kernel_dev/linux

# 当前模块目录
PWD := $(shell pwd)

# 目标模块名（会生成 hello.ko）
obj-m := hello.o

# 默认构建目标
all:
	$(MAKE) -C $(KERNEL_DIR) M=$(PWD) modules

# 清理构建文件
clean:
	$(MAKE) -C $(KERNEL_DIR) M=$(PWD) clean

关键解释 ：

  • obj-m := hello.o ：告诉内核构建系统，要构建一个名为 hello.ko 的模块，它由 hello.c 编译而来。
  • $(MAKE) -C $(KERNEL_DIR) M=$(PWD) modules ： -C 切换到内核源码目录，使用那里的 Makefile 规则， M= 指定模块源码所在目录，并执行 modules 目标。

5.3 编译与加载模块 

# 在 my_module 目录下执行
make

如果成功，会生成 hello.ko 文件。

现在，加载模块到运行中的内核（需要 root 权限）： 

# 加载模块
sudo insmod hello.ko

# 查看内核日志，确认输出
dmesg | tail -5
# 你应该能看到类似： [ 1234.567890] Hello, World! from the kernel space.

# 查看已加载的模块列表，确认 hello 模块在其中
lsmod | grep hello

# 卸载模块
sudo rmmod hello

# 再次查看内核日志
dmesg | tail -5
# 你应该能看到类似： [ 1234.654321] Goodbye, World! Kernel module unloaded.

注意 ： printk 的输出默认不会直接显示在终端，而是写入内核环形缓冲区。使用 dmesg 命令可以查看。

通过这个简单的例子，你掌握了内核模块编程的基本骨架： module_init 、 module_exit 、 printk 以及如何编译和加载。这是编写复杂设备驱动的第一步。

6. 常见问题与排查思路（内核开发中的“坑”）

在底层开发过程中，你会遇到各种编译错误、启动失败和运行时问题。这里列出一些典型问题及解决思路。

问题现象 可能原因 排查步骤与解决方案
make menuconfig 报错找不到 ncurses 缺少 libncurses-dev 或 ncurses-devel 开发包。 根据你的发行版，使用 apt install libncurses-dev 或 dnf install ncurses-devel 安装。
编译内核时出现大量 undefined reference 错误 1. .config 文件配置不一致或损坏。
2. 源码树不干净，混入了之前编译的中间文件。 		1. 尝试 make distclean 彻底清理，然后重新 cp /boot/config-xxx .config 和 make menuconfig 。
2. 确保使用正确的交叉编译工具链（如果是为其他架构编译）。
QEMU 启动后卡住，没有出现 shell 1. 内核命令行参数 root= 指定错误。
2. 根文件系统镜像制作有问题（如缺少 /init ）。
3. 内核配置缺少关键驱动（如对应文件系统、磁盘驱动）。 		1. 检查 -append 参数，确保 root= 后的设备名与 -hda 对应（ -hda 是 /dev/sda ）。
2. 确保 BusyBox 的 _install 目录下有 linuxrc -> bin/busybox 链接，它是默认的 init 程序。
3. 在内核配置中，确保 Device Drivers -> Block devices -> Virtio block driver 或 Legacy PC disk support 等被启用；确保 File systems 下你使用的文件系统（如 ext4 ）被编译进内核（ [*] ）。
模块编译失败，提示 linux/module.h: No such file or directory Makefile 中的 KERNEL_DIR 路径错误，指向了错误的内核头文件或源码目录。 1. 确认 KERNEL_DIR 路径存在且正确。
2. 如果是为当前运行内核编译，使用 /lib/modules/$(uname -r)/build 。
3. 如果是为自定义内核编译，确保该内核已编译完成，并指向其源码根目录。
insmod 失败，提示 Invalid module format 模块编译所用的内核版本/配置与当前运行的内核不匹配。 必须使用与 当前正在运行的内核 完全一致的源码和配置来编译模块。确保 KERNEL_DIR 指向正确，并执行 make 前先在该目录下 make modules_prepare 。
系统运行缓慢或卡死 1. 内核配置过于精简，缺少必要的驱动或功能。
2. 存在内核死锁或资源竞争（Bug）。
3. 硬件不兼容。 		1. 使用 make menuconfig 加载一个发行版提供的标准配置（如 make defconfig ），再在此基础上裁剪。
2. 使用内核调试工具，如 kgdb 、 kdump 分析崩溃转储。
3. 检查内核日志 dmesg 和系统日志 /var/log/syslog 寻找错误或警告信息。
如何调试内核？ 内核运行在特权态，普通调试器无法直接使用。 1. printk ：最常用，在代码中添加打印。
2. KGDB ：配合另一台机器进行源码级调试。
3. QEMU + GDB ：使用 qemu -s -S 启动，然后在主机上用 gdb vmlinux 连接调试，这是学习内核原理的利器。
4. SystemTap / BPF ：进行动态追踪和性能分析。

7. 最佳实践与深入学习路线

掌握了基础操作后，如何系统性地提升你的底层开发能力？以下是一些工程实践和学习建议。

7.1 内核开发最佳实践

  1. 版本控制 ：即使是个人学习，也建议使用 git 管理你对内核源码的修改。可以为你的实验创建一个独立的分支。 
    cd ~/kernel_dev/linux
git checkout -b my-experiments
  2. 增量编译 ：修改源码后，不需要每次都 make clean 。直接 make 会只编译改动过的部分，极大节省时间。但重大配置更改后，建议 make clean 。
  3. 配置管理 ：将你的 .config 文件备份。它是你内核功能的蓝图。可以使用 diff 工具对比不同配置的差异。 
    diff .config ../backup.config | less
  4. 安全第一 ：
    • 实验环境隔离 ：始终坚持在虚拟机或独立开发机上进行内核修改和测试。
    • 备份 ：修改关键系统文件或进行内核安装前，备份 /boot 目录和原始内核。
    • 模块签名 ：在生产环境中，内核模块应进行签名以保障安全。
  5. 代码风格 ：Linux 内核有严格的编码风格（Coding Style）。阅读 Documentation/process/coding-style.rst 。使用 scripts/checkpatch.pl 检查你的补丁。 
    ./scripts/checkpatch.pl --file my_patch.patch

7.2 系统化学习路线建议

  1. 第一阶段：基础入门（1-2个月）

    • 目标 ：能独立完成内核配置、编译、用 QEMU 启动；能编写简单的内核模块。
    • 行动 ：重复本文的实践步骤，并尝试修改 hello.c 模块，访问一些简单的内核变量（如 jiffies ）。
    • 资源 ：《Linux Device Drivers, 3rd Edition》（LDD3）的前几章，虽然内核版本较老，但原理永恒。

  2. 第二阶段：子系统深入（3-6个月）

    • 目标 ：选择一个子系统深入，如进程调度、内存管理或文件系统。能阅读其核心源码，理解关键数据结构（如 task_struct , mm_struct , inode ）。
    • 行动 ：
      • 阅读源码 ：使用 cscope 、 ctags 或现代化的 Source Insight 、 VSCode + C/C++插件 建立源码索引，跟踪函数调用。
      • 添加调试 ：在感兴趣的子系统代码中添加 printk ，重新编译内核，观察其运行过程。
      • 小实验 ：例如，写一个模块遍历系统所有进程并打印其 PID 和名称。
    • 资源 ：Robert Love 的《Linux Kernel Development》，内核源码下的 Documentation/ 目录。

  3. 第三阶段：参与与实战（长期）

    • 目标 ：能修复简单的内核 Bug，或为驱动添加小功能。
    • 行动 ：
      • 订阅邮件列表 ：关注 linux-kernel 邮件列表，看别人如何提问题和提交补丁。
      • 从驱动开始 ：找一个简单的硬件（如一个 GPIO LED）或虚拟设备，尝试为其编写驱动。 drivers/char 下的例子是很好的起点。
      • 使用调试工具 ：学习使用 ftrace 、 perf 、 eBPF/BCC 进行性能分析和动态追踪。
    • 资源 ：内核源码 samples/ 目录下的示例， https://kernelnewbies.org/ 网站。

7.3 工具链推荐

  • 源码阅读 ： cscope + ctags （命令行）， Source Insight （Windows）， Understand （跨平台）， VSCode + C/C++ + clangd （现代推荐）。
  • 调试 ： QEMU + GDB （学习神器）， printk ， KGDB （双机调试）， SystemTap ， eBPF 。
  • 性能分析 ： perf ， ftrace ， eBPF/BCC / bpftrace 。
  • 构建与测试 ： make + kbuild 系统， QEMU ， buildroot 或 Yocto （用于构建完整的嵌入式系统）。

底层开发是一条漫长但回报丰厚的道路。它不会让你立刻成为全栈专家，但会从根本上重塑你对计算机系统的理解。不要试图一次性读懂所有源码，从一个具体的、小的问题出发（比如“一个字符是如何从键盘到达应用程序的？”），沿着代码路径深入追踪，像侦探一样拆解系统，这才是最有效的学习方法。当你第一次通过自己修改的代码让一个硬件设备正常工作，或是定位并修复了一个深藏的内核问题时，那种透过表象触及本质的成就感，是任何上层应用开发都无法比拟的。

Logo
openEuler 社区

openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目，面向数字基础设施四大核心场景（服务器、云计算、边缘计算、嵌入式），全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构

更多推荐

cover

第二章 BMC功能介绍

avatar openEuler 社区

SLAM 中关于姿态导数的计算

在学习SLAM 的过程中，不可避免地会遇到需要对姿态求导的场景。姿态分别有：旋转向量、旋转矩阵、欧拉角、四元数四种表示方法。旋转矩阵适合对坐标进行坐标变换，即将某一个坐标系下的坐标转换至另一个坐标系；欧拉角适合直观的描述载体当前的姿态，便于人们感受姿态；四元数适合更新姿态，只要我们记着及时将四元数归一化；而旋转向量更适合在求导中使用，下面我将试图说清楚旋转向量在求导中的使用。讲清楚此部分内容可能需

avatar openEuler 社区
cover

银河麒麟桌面操作系统V10SP1(全架构)【配置iPhone手机USB网络共享】操作方法

avatar openEuler 社区