从tcp的滑动窗口-->到消息队列的意义
为什么想到滑动窗口?
当时看到消息队列的其中一个意义啊,说如果一秒中来了10万条消息,消息队列能根据接受者能力去做到削峰。我寻思滑动窗口不也能限流吗,根据接受者能力。对滑动窗口深究发现,并没有想象的那么简单。
tcp的滑动窗口 = min(rwnd,cwnd)是兼顾以是这样的,tcp的滑动窗口是兼顾拥塞窗口接受窗口的综合考量,目的是解决网络拥塞丢包,以及接受者内核缓冲区溢出丢包。
它是一个在tcp层做的事,防止的是tcp丢包,其实这也印证tcp干的事,就是为了“可靠!”。不丢包,不乱序,不炸对方。所以要注意:我们说的,滑动窗口根据接受者能力说的是--防止内核缓冲区溢出导致的丢包。而消费队列的引入,是在应用层,是在内核缓冲区后面。它是为了防止我们的用户空间(因为此时tcp字节流也就是数据啦,留在这里,都是等待消费者处理的,多了就会溢出),所以mq的削峰,本质就是用“持久化”,让这些消息先持久化,以后有时间再处理。所以对比来说,他们都是“接受者接受能力”的体现啦。
而mq厉害的地方有一点,就是将传统的多拷贝变成零拷贝,mq将硬件和操作系统(软件)的性能榨到极致,所以它变得性能很好,高吞吐。我们传统可以看上图,走了很长的调用链,数据不停的去转,每一步都是拷贝呀,是性能一般的,
因为它们底层大量使用了 sendfile 和 SG-DMA (分别是操作系统api以及硬件提供的能力)这种零拷贝技术。当消费者拉取消息时,数据直接从磁盘上的日志文件,通过内核直接发到了网卡,连业务程序的内存都没进,CPU 几乎零开销。这就是为什么它能轻松扛住百万级 QPS 的秘密。
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐
所有评论(0)