零拷贝

简介

指计算机在执行操作的时候，cpu不需要先将数据从某处复制到一个特定地方，节省cpu的时钟周期和内存带宽

常规流程

image.png

DMA:DIRECT MEMORY ACCESS
这个东西不消耗cpu（从磁盘到内核read缓冲区，从内核socket缓冲区到网卡都是DMA）

mmap

image.png

实现原理：所有的操作系统都使用的是虚拟内存，取代物理内存，虚拟内存远大于物理内存，
所有一个以上的虚拟内存可以指向同一个物理内存，这样DMA就可以填充对内核及用户进程空间同时可见的缓冲区
节省了内核到用户空间的copy，但是从内核read缓冲区到内核socket缓冲区的拷贝没有节省

NIO的FileChannel.map底层就是封装了 linux的 mmap
java实现

public static void main(String[] args) {
        File file = new File("");
        try {
            //打开FileChannel只能读取
            FileChannel fileChannelIn = new FileInputStream(file).getChannel();
            //打开FileChannel只能写入
            FileChannel fileChannel1Out = new FileInputStream("").getChannel();
            //读入数据转为MappedByteBuffer
            MappedByteBuffer mbb = fileChannelIn.map(FileChannel.MapMode.READ_ONLY,0,file.length());
            //创建解码器
            Charset charset = Charset.forName("UTF-8");
            //写入数据
            fileChannel1Out.write(mbb);
            mbb.clear();
            //创建解码器
            CharsetDecoder decoder = charset.newDecoder();
            // 使用解码器将byteBuffer转为CharBuffer
            CharBuffer charBuffer = decoder.decode(mbb);
            System.out.println(charBuffer);
        }catch (Exception e){
            return;
        }
    }

sendFile

适用于：保存了mmap的不需要来回拷贝的优点，适用于应用进程不需要对读取数据做任何处理的场景,类似于一种完全意义上的数据传输

这个实现的拷贝，主要做的实现了数据的偏移量offset，数据长度length的拷贝

image.png

不存在用户缓冲区（不需要使用）
数据甚至不用从内核缓冲区拷贝到socket的缓冲区，只需要将内核缓冲区的拷贝一些offset和length到socket缓冲区
数量少可以忽略所以认为不存在此次copy

nio中使用的是FileChannel.transferTo，底层封装的是linux的sendfile这个方法

只有两次的上下文切换和两次dma切换

public static void main(String[] args) {
        String files[] = new String[1];
        files[0] = System.getProperty("usr.dir") + "/c:\\aa\\dn.txt";
        catFiles(Channels.newChannel(System.out), files);
    }

    private static void catFiles(WritableByteChannel target, String[] files) {
        try{
            for (int i = 0; i < files.length; i++) {
                FileInputStream fileInputStream = new FileInputStream(files[1]);
                FileChannel channel = fileInputStream.getChannel();
                channel.transferTo(0,channel.size(),target);
                channel.close();
                fileInputStream.close();
            }  
        } catch (Exception e){
            System.out.println(e);
        }
    }

总结

传统io有4次上下文切换，4次拷贝
磁盘 》 内核read 》用户 》 内核socket 》网卡（协议引擎）
mmap：三次拷贝（两次DMA + 一次内核read缓冲到内核socket缓存）。将磁盘文件映射到内存，支持读写内存文件直接反映到磁盘文件上，适合小文件读取
sendfile：两次拷贝（两次DMA），适合大文件传输

Netty的零拷贝

1.Netty的接收和发送ByteBuffer采用的是Direct buffers，使用堆外内存直接进行socket读取，如果是传统内存，jvm会将堆内存buffer拷贝一份到直接内存中，再写入socket，所以传统堆内存在消息发送的过程中多了一次缓冲区的内存拷贝
2.提供了bytebuf对象，整合了bytebuffer，用户通过bytebuf可以像操作一个buffer那样对组合的buffer进行操作
做法是实现CompositeByteBuf

image.png

CompositeByteBuf 实际就是个 ByteBuf 的包装器，它将多个 ByteBuf 组合成一个集合
该类相关定义如下

private static final ByteBuffer EMPTY_NIO_BUFFER = Unpooled.EMPTY_BUFFER.nioBuffer();
private static final Iterator EMPTY_ITERATOR = Collections.emptyList().iterator(); 
private final ByteBufAllocator alloc; 
private final boolean direct; 
private final List components; private final int maxNumComponents;
private boolean freed;

3.文件传输采用transferTo，可以将文件缓冲区的数据发送到目标channel避免通过传统的write方式导致的内存拷贝问题
这个就是nio里的FileChannel的transferTo
4.wrap
5.slice