BSD 与 TCP/IP:网络怎么被塞进操作系统
BSD 与 TCP/IP:网络怎么被塞进操作系统

1983 年,伯克利放出 4.2BSD。这个版本比上一个多了一样东西:IP 和 TCP 跑在内核里。
在那之前,ARPANET 上的主机各写各的网络实现。接口不一样,缓冲不一样,定时器也不一样。两台机器的网卡都插好了,代码还是搬不过去,移植一次等于重写一遍。
今天你敲 socket(AF_INET, SOCK_STREAM, 0),拿回一个整数。这个整数是个文件描述符,后面 bind、listen、read、write 全在它上面操作。形状这么定,源于那次搬迁。

一、活儿落到了伯克利
DARPA 出钱,要一个能进 Unix 内核的协议栈。项目落在伯克利。
在那之前,网络代码跟着各家实现走,谁也没义务和别人长得一样。所有进程共用同一份协议栈,在当时不是默认做法。
1983 年,4.2BSD 交付了这个成果:IP 与 TCP 在内核里,用户态通过一组新的系统调用访问,这组调用被命名为 socket。
二、为什么非得在内核里
协议有几样东西天生是状态:重传队列、序号窗口、连接表。它们要被多个进程共享。多个进程 accept 同一个端口,连接表只能有一份,这就是第一条理由。
第二条是性能。重传、分片、路由都得逐包处理,用户态往返一次就是一次上下文切换。
第三条是抽象。socket 是一个文件描述符,可以直接进 select/poll,和普通文件混用。

代价同样清楚。协议栈出问题,调试手段只剩内核日志和 /proc。内核态大部分路径不能睡眠,不能随便用浮点,内存分配要走专门的缓存。
进内核之后,TCP 状态就变成了几样具体的内存结构:每连接的发送缓冲和接收缓冲、重传定时器、序号窗口、拥塞窗口。它们由内核定时器和软中断推进。
进程被 SIGSTOP 挂住,连接照常重传,照常超时。
换成用户态栈,比如 lwIP 那一类,得自己跑一个事件循环推进状态机。应用一卡住,协议也跟着停;收包发生在中断上下文,用户态实现只能丢包或者阻塞中断。这就是协议栈放在哪最实际的差别。

三、一个 fd 要装下两种语义
IP 是无连接的:每个包自带地址,不保证顺序,不保证到达[1]。TCP 在这些不可靠的包上做出可靠字节流,建连、确认、重传、排序、流量控制、拥塞控制都归它[3]。
两层语义塞进同一套接口,于是有了 SOCK_DGRAM 与原始套接字,也有了 SOCK_STREAM 配 listen/accept。
关键一句:TCP 给你的是字节流,不是消息。协议栈只承诺顺序不乱、不丢、不重复,不承诺一次 read 就是一次 write。网络编程一半的坑,来自这句话没被认真对待。

四、回到板子上看
一个最小的回声服务,省掉了返回值检查:
int s = socket(AF_INET, SOCK_STREAM, 0);
int one = 1;
setsockopt(s, SOL_SOCKET, SO_REUSEADDR, &one, sizeof one);
struct sockaddr_in a = {0};
a.sin_family = AF_INET;
a.sin_addr.s_addr = htonl(INADDR_ANY);
a.sin_port = htons(8080);
bind(s, (struct sockaddr *)&a, sizeof a);
listen(s, 8);
int c = accept(s, NULL, NULL);
char buf[256];
ssize_t n = read(c, buf, sizeof buf); /* 不保证一次就是一条消息 */
if (n > 0) write(c, buf, (size_t)n);
这段代码省掉的只有检查,没有别的意思:bind 与 accept 必须看返回值,EADDRINUSE(端口被占)与 EINTR(被信号打断)是这两行最常见的两个分支,照抄而不检查,出问题时只会看到"服务没起来"。
跑起来,看两样东西:
./tcpecho &
ss -tnl
cat /proc/net/tcp
ss -tnl 里应当有一条 8080 端口的监听项。/proc/net/tcp 里地址和端口都写成十六进制,这一条是 00000000:1F90,st 为 0A 即 LISTEN。十六进制是这个文件的传统写法。
内核按协议分表:IPv4 的 TCP 在 /proc/net/tcp,UDP 在 /proc/net/udp,原始套接字在 /proc/net/raw。想确认某个端口有没有在监听,翻这三个文件比翻日志快。
socket 拿到的是一个 fd,可以扔进 poll,和串口、摄像头节点一起等。板上的用户态程序就是靠这一点,把网络和设备塞进同一个循环。
协核上没有 socket。那是裸机,riscv64-unknown-elf 也不提供系统调用。要么移植 lwIP 这类用户态栈,要么把数据经 RPMsg 交给 Linux 侧发出去。
ss -tni 还能看到 cwnd 和 rtt,说明拥塞控制在跑。这部分在 1983 年的 4.2BSD 里还没有成熟实现,是后来的事。
五、三个坑
坑一:把 TCP 当消息队列。
现象:服务端偶尔一次 read 收到两条命令,偶尔收到半条。
原因:字节流没有语义边界,两次 write 可能合并,一次也可能被拆开。
解法:定长头加长度字段,或者用分隔符并处理半条残留。
坑二:重启服务报 Address already in use。
现象:bind 失败,但没有任何进程在监听。
原因:上一条连接还在 TIME_WAIT,内核占着这个四元组。
解法:监听端设 SO_REUSEADDR。别拿 SO_REUSEPORT 糊过去,那会掩盖真正的端口冲突。
坑三:引 RFC 793 当现行标准。
现象:拿 1981 年的文本论证今天的实现。
原因:RFC 793 已被 RFC 9293(2022)取代[2][3],后者整合了多年勘误与澄清。
解法:引语义时写 9293,讲历史时标明 793 已废止。
六、动手核一次
内核里那份状态表是可以直接读的:
cat /proc/net/tcp | head -5
ss -tan state established | head -5
/proc/net/tcp 的每一行是一个内核里的连接结构:本地地址、远端地址、状态码(01 是 ESTABLISHED)、重发计数。你在用户态只有一个整数 fd,内核里那一行才是真正的对象。
再看一眼 fd 与内核对象的对应关系:
ls -l /proc/self/fd/ | tail -3
软链后面写着 socket:[12345],方括号里是内核里的 inode 编号。/proc/net/tcp 的 inode 列能对上同一个数字——这就是"用户态一个整数,内核一份状态"的直接证据。
七、一条蠕虫证明了协议栈该待在哪
1988 年 11 月 2 日,康奈尔的研究生 Robert Morris 放出了第一个互联网蠕虫。它靠三样东西传播:fingerd 的缓冲区溢出、sendmail 的调试后门,以及一大串弱口令。几天之内感染了当时接入互联网的约十分之一机器,估计六千台左右[5]。
事后分析里最值得读的一段是:真正让它在短时间里铺开的,不是漏洞本身。蠕虫在一个进程里同时握住几百条连接,正是因为连接不由进程拥有——它们的状态、缓冲、定时器全在内核里,进程被挂住、暂时调度不上,连接照常重传、照常超时。把协议栈放在用户态的实现做不到这一点[5]。
这场事故直接催生了 CERT/CC(1988 年 11 月由 SEI 组建,12 月对外公布)。它也把"内核态协议栈"从一种设计选择,变成了运维常识:你在 /proc/net/tcp 里看到的那张表,正是当年被利用的那份共享状态[6]。
顺带一个反面:二十多年后 DPDK、用户态协议栈又把这块搬了出去。它们不是忘了蠕虫,是愿意用"自己实现一遍"换"绕过内核拷贝"——在高吞吐场景里,这份代价付得起。
八、把连接做成了文件
4.2BSD 的 socket API 由 Bill Joy 设计。它做的最关键一件事,是把"一条网络连接"抽象成一个文件描述符[7]。
在这之前,网络编程要自己管理缓冲区与状态机;之后,read/write/close 三个动词就能用,与操作文件完全一致。这个抽象如此成功,以至于后来的几乎所有系统都照抄了它,包括 Windows 的 Winsock[8]。
代价也写在这个抽象里:read 的语义是"读一些字节",而网络是"字节流可能分段到达"。所以写网络程序时总要处理"读到一半",而这不是 API 的缺陷,是抽象边界。
1988 年之后,BSD 的网络栈被移植到大量系统里,包括一些商业 Unix 与早期的 Windows NT 网络组件[4]。一条学术分支的代码,最后成了几乎所有联网设备的地基。
最后
网络进内核这件事,留下来的不只是一份协议代码。更耐用的是接口形状:一个 fd,几个枚举常量,之后所有的读写都落在它上面。四十年过去,换语言、换硬件,这个形状没怎么变。
下一篇:《1983:Stallman 与 GNU 计划》。
你写第一个 socket 程序时,是怎么发现“一次 read 不等于一条消息”的?

参考依据
- [1] J. Postel. “Internet Protocol.” RFC 791, 1981. https://www.rfc-editor.org/rfc/rfc791
- [2] J. Postel. “Transmission Control Protocol.” RFC 793, 1981. https://www.rfc-editor.org/rfc/rfc793
- [3] W. Eddy (ed.). “Transmission Control Protocol (TCP).” RFC 9293, 2022. https://www.rfc-editor.org/rfc/rfc9293
- [4] The Unix Heritage Society — 原始源码、手册与档案(含 4.2BSD 源码与文档) https://www.tuhs.org/
- [5] Eugene H. Spafford,The Internet Worm Program — An Analysis(Purdue CSD-TR-823, 1988;ACM SIGCOMM Computer Communication Review 19(1), 1989) https://doi.org/10.1145/66093.66095
- [6] Carnegie Mellon University,CERT Coordination Center 历史(1988 年 11 月组建、12 月对外公布) https://www.sei.cmu.edu/about/divisions/cert/
- [7] S. Leffler, M. K. McKusick 等,The Design and Implementation of the 4.3BSD UNIX Operating System(socket API 设计) https://www.mckusick.com/publications/
- [8] Microsoft Learn,Winsock 与 BSD socket 的兼容性说明 https://learn.microsoft.com/en-us/windows/win32/winsock/winsock-functions
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐


所有评论(0)