48 | DMA：为什么Kafka这么快？

从kafka论文里摘的： In addition we optimize the network access for consumers. Kafka is a multi-subscriber system and a single message may be consumed multiple times by different consumer applications. A typical approach to sending bytes from a local file to a remote socket involves the following steps: (1) read data from the storage media to the page cache in an OS, (2) copy data in the page cache to an application buffer, (3) copy application buffer to another kernel buffer, (4) send the kernel buffer to the socket. This includes 4 data copying and 2 system calls. On Linux and other Unix operating systems, there exists a sendfile API [5] that can directly transfer bytes from a file channel to a socket channel. This typically avoids 2 of the copies and 1 system call introduced in steps (2) and (3). Kafka exploits the sendfile API to efficiently deliver bytes in a log segment file from a broker to a consumer.

如果我们的应用程序需要对数据做进一步的加工，那还能使用零拷贝吗

看到最后，也没看出kafka快跟dma有关系，倒是跟zero-copy关系大一些，通过砍掉两次内核空间和用户空间的数据拷贝，以及内核态和用户态的切换成本来优化

我记得 Nginx 的静态服务器貌似也是零拷贝。市面上常见的web服务器的静态服务器应该都实现了零拷贝吧？

超算里面核与核之间的数据拷贝，一般会通过基于IB总线的RDMA来完成，可以避免过cpu内核的开销，希望徐老师能讲一下rDMA

从C盘复制数据到D盘是怎么个过程呢？

C语言可以直接调Linux系统api实现零拷贝吗？有哪些api？

cpu处理的是用户内存中的数据,访问不到操作系统中的数据。DMA处理的是操作系统内核中的数据，访问不到用户内存。可以这也理解吧？要不然为啥不让DMAC直接将数据从硬盘读到用户的内存呢？

如果不是由硬盘而是要从程序到网卡，可以省略socket buffer这一步吗？

>第一次，是通过 DMA，从硬盘直接读到操作系统内核的读缓冲区里面。第二次，则是根据 Socket 的描述符信息，直接从读缓冲区里面，写入到网卡的缓冲区里面。 这个实现过程是硬盘向DMAC发出控制信号，由DMAC拉取数据，然后又因为目标地址是网卡，地址固定？所以不用经过寻址的过程吗？