使用零拷贝提高数据传输效率

本文讲了如何用zero copy技术来提高I/O性能.

静态文件服务器需要把磁盘上的数据发送给客户端.这里cpu消耗比较少,但是效率不高:内核从磁盘读数据,内核/用户空间交换数据,最后写到socket.数据在内核/用户空间转换时,需要拷贝数据,消耗cpu和内存带宽.对于java应用来说,还需要合理的使用缓冲区来减少gc的压力.

java提供了transferTo方法来使用zero copy技术.他可以让数据直接从一个channel到另外一个channel.避免上面说到的一些问题.

1.传统的解决办法

过程类似于下面的代码:

File.read(fileDesc, buf, len);
Socket.send(socket, buf, len);

1.1数据拷贝

这种方式会有四次内存拷贝

1.2 上下文切换

这种方式会有四次上下文切换.

1.3 过程说明

read方法导致一次从user mode到kernel mode的上下文切换.系统调用sys_read从文件读取数据,通过DMA,把磁盘上的数据读到kernel address space buffer.
数据从kernel address space buffer拷贝到user buffer.read返回,导致从kernel mode到user mode的上下文切换.现在数据被读到了user address space buffer.
send方法导致一次user mode到kernel mode的上下文切换.第三次拷贝把拷贝到kernel address space buffer.此buffer关联着destination socket
系统send调用返回时导致第四次上下文切换,DMA把kernel address space buffer中的数据发送到协议引擎导致第四次数据拷贝.

1.4 intermediate kernel buffer

使用intermediate kernel buffer主要为了提高性能,读的时候扮演缓存的角色,写的时候可以让应用程序实现异步(应用程序写到kernel buffer就返回).不幸的是,当我们处理的数据大于内核缓冲大小时,这样的拷贝是完全没有任何意义的.

2.零拷贝的方式

使用如下的代码来完成零拷贝

java方法:

public void transferTo(long position, long count, WritableByteChannel target);

系统调用:

#include <sys/socket.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

2.1 数据拷贝

涉及到3次数据拷贝.

2.2 上下文切换

涉及到2次上下文切换

2.3 过程说明

transferTo方法让DMA把磁盘文件读到kernel read buffer.然后内核把kernel read buffer中的数据拷贝到socket buffer.
DMA把socket buffer中的数据拷贝到协议引擎.

3 更好的方式

通过上面使用这种方式,上下文切换从4次变为了2次.数据拷贝减少了一次.如果网卡支持gather operations,linux 2.4内核就开始提供更好的解决方案.

transferTo方法让DMA engine把磁盘文件内容拷贝到内核缓冲区.
数据不需要拷贝到socket buffer.socket buffer里只需写入数据的地址和长度.DMA engine从内核缓冲区把数据读到协议引擎.

通过内核带来的特性,数据拷贝变为了2次(这两次拷贝都是DMA在做).cpu copy变为了0.

4 写在最后

文章地址http://www.ibm.com/developerworks/library/j-zerocopy/,里面有性能测试结果.后面附带有性能测试程序.不过这个测试程序不太恰当,应该都用nio的api来测试tansferTo和非tansferTo.

静态文件服务器一般都有静态资源缓存(apache可以配置,其他的服务器不了解).如果使用内存缓存,减少了读的过程.内存拷贝变为cpu copy application buffer -> socket buffer,DMA copy socket buffer ->NIC buffer,磁盘io大大降低了.

NIO不是很熟悉,不知道通过ByteBuffer.allocateDirect()+transferTo+gather operations能不能让copy变为一次.