【boost网络库从青铜到王者】第三篇:asio网络编程中的buffer缓存数据结构

1、关于buffer数据结构

任何网络库都有提供buffer的数据结构，所谓buffer就是接收和发送数据时缓存数据的结构。

boost::asio提供了asio::mutable_buffer 和 asio::const_buffer这两个结构，他们是一段连续的空间，首字节存储了后续数据的长度。

asio::mutable_buffer用于写服务，asio::const_buffer用于读服务。但是这两个结构都没有被asio的api直接使用。

对于api的buffer参数，asio提出了MutableBufferSequence和ConstBufferSequence概念，他们是由多个asio::mutable_buffer和asio::const_buffer组成的。也就是说boost::asio为了节省空间，将一部分连续的空间组合起来，作为参数交给api使用。

我们可以理解为MutableBufferSequence的数据结构为std::vector。

结构如下：

每隔vector存储的都是mutable_buffer的地址，每个mutable_buffer的第一个字节表示数据的长度，后面跟着数据内容。

这么复杂的结构交给用户使用并不合适，所以asio提出了buffer()函数，该函数接收多种形式的字节流，该函数返回asio::mutable_buffers_1 或者asio::const_buffers_1结构的对象。

如果传递给buffer()的参数是一个只读类型，则函数返回asio::const_buffers_1 类型对象。

如果传递给buffer()的参数是一个可写类型，则返回asio::mutable_buffers_1 类型对象。

asio::const_buffers_1和asio::mutable_buffers_1是asio::mutable_buffer和asio::const_buffer的适配器，提供了符合MutableBufferSequence和ConstBufferSequence概念的接口，所以他们可以作为boost::asio的api函数的参数使用。

1.1、简单概括一下，我们可以用buffer() 函数生成我们要用的缓存存储数据。

比如boost的发送接口send要求的参数为ConstBufferSequence类型:

template<typename ConstBufferSequence>
std::size_t send(const ConstBufferSequence & buffers);

我们需要将 “Hello World” 类型转换为该类型。

void BoostAsio::UseConstBuffer(std::string& buffer) {
	boost::asio::const_buffer asio_buff(buffer.c_str(), buffer.length());
	std::vector<boost::asio::const_buffer> buffer_sequence;
	buffer_sequence.emplace_back(asio_buff);
}

这段代码使用了C++编程语言和Boost.Asio库来处理网络和异步I/O操作。代码主要功能是从一个std::string对象创建一个Boost.Asio的const_buffer，然后将这个const_buffer添加到一个const_buffer对象的向量中，通常在需要使用Boost.Asio进行网络数据传输时会这样做。

• UseConstBuffer函数：UseConstBuffer函数以一个引用参数buffer作为输入。函数的目的是创建一个const_buffer，然后将其添加到一个const_buffer对象的向量中。

• 创建const_buffer：代码使用buffer.c_str()（字符串c风格表示）和buffer.length()（字符串长度）作为参数，创建了一个名为asio_buff的const_buffer。const_buffer表示一个常量数据的缓冲区，用于读取操作。

• 准备缓冲区序列：创建一个名为buffer_sequence的std::vector，用于存储boost::asio::const_buffer的实例。emplace_back函数将asio_buff添加到buffer_sequence中。

• 到此为止，buffer_sequence中会包含一个代表输入std::string的const_buffer。

• 然而，有一个重要的方面需要考虑：buffer_sequence的作用域。目前，buffer_sequence是在UseConstBuffer函数内部定义的局部变量。如果你希望在函数外部使用buffer_sequence，你需要通过返回值或通过引用参数将其传递出来。

• 另外，请确保在代码的其他部分使用了buffer_sequence来进行实际的网络操作，例如使用Boost.Asio函数将数据发送到网络套接字上。

• 最后，记得正确处理buffer参数引用的std::string对象的生命周期。由于const_buffer引用了字符串的底层字符数据，确保在使用缓冲区期间字符串保持有效。

emplace_back()和push_back()的区别：
在你的代码中，使用了emplace_back()函数来将asio_buff添加到buffer_sequence中。emplace_back()是C++标准库中std::vector的一个函数，用于在容器的末尾构造一个新元素。

与之相比，push_back()函数是另一个向std::vector中添加元素的函数，但它要求你传递一个已构造的元素（对象）。这意味着如果你使用push_back()，你需要首先创建一个const_buffer对象，然后将其传递给函数。而使用emplace_back()，你可以直接在容器中构造新元素，而不需要提前创建对象。

总的来说，emplace_back()通常会比 push_back() 更高效，因为它可以避免额外的对象构造和拷贝操作。在你的代码中，使用emplace_back()来添加asio_buff是一个不错的选择，因为它允许直接在容器中构造const_buffer对象。

• 对象构造次数：

  • push_back()接受一个已经构造好的对象，并将其副本添加到容器中。这意味着对象需要在调用push_back()之前构造好，然后在添加到容器时还需要执行拷贝构造或移动构造操作。
  • emplace_back()在容器内部直接构造对象，避免了先构造然后拷贝或移动的步骤。它会将传递的参数直接用于对象的构造。

• 拷贝和移动操作：

  • 在使用push_back()时，如果添加的对象是已经构造好的，就需要执行一次拷贝构造（如果容器中的对象类型支持拷贝构造）或移动构造（如果支持移动构造）操作，将对象的副本添加到容器中。
  • 使用emplace_back()时，对象会直接在容器内部构造，避免了拷贝和移动操作。

• 内存分配：

  • 当使用push_back()添加对象时，它首先会分配内存用于存储对象的副本，然后执行拷贝或移动操作，最后调整容器的大小。这可能涉及到多次内存分配和释放。
  • 使用emplace_back()时，它直接在容器内构造对象，避免了额外的内存分配和释放。
  • 总之，emplace_back()通常更高效，因为它在容器内部直接构造对象，避免了额外的拷贝和移动操作，以及不必要的内存分配和释放。这使得在需要向容器添加构造对象的情况下，emplace_back()更为优越。

1.2、但是这太复杂了，可以直接用buffer函数转化为send需要的参数类型:

void BoostAsio::UseConstBuffer1(std::string& buffer) {
	boost::asio::const_buffers_1 out_buffer(boost::asio::buffer(buffer));
}

代码段中使用了Boost.Asio库来创建一个const_buffers_1对象，并通过boost::asio::buffer(buffer)将std::string转换为用于网络传输的缓冲区。让我对这段代码进行解释：

• 函数名称和参数:

  • 这个函数名是UseConstBuffer1，它接受一个std::string&类型的参数buffer，传入的字符串是要被发送的数据。

• 创建const_buffers_1对象:

  • const_buffers_1是Boost.Asio库中的一个类，用于包装一个常量缓冲区，以便进行异步I/O操作。
  • 通过boost::asio::buffer(buffer)，将buffer（std::string）转换为一个Boost.Asio缓冲区对象。

在代码中，尽管你创建了一个const_buffers_1对象，但是这个对象在函数结束后会被销毁，所以你需要在代码中继续使用这个对象进行实际的网络操作，例如发送数据到套接字。

1.3、output_buf可以直接传递给该send接口。我们也可以将数组转化为send接受的类型

void BoostAsio::UseBufferArray() {
	const size_t buf_size = 30;
	std::unique_ptr<char[]> buf(new char[buf_size]);
	auto input_buf = boost::asio::buffer(static_cast<void*>(buf.get()), buf_size);
}

这段代码执行以下操作：

• 定义缓冲区大小：

  • buf_size 是一个常量，表示缓冲区的大小，这里设置为 30 字节。

• 创建缓冲区数组：

  • 使用 std::unique_ptr 创建了一个 char 数组，大小为 buf_size。
  • std::unique_ptr 是一个智能指针，用于管理动态分配的 char 数组。这样做可以在结束作用域时自动释放内存。

• 创建输入缓冲区：

  • 使用 boost::asio::buffer 函数创建了一个输入缓冲区。
  • buffer 函数的第一个参数是一个 void* 指针，它指向数据的起始地址。在这里，使用 buf.get() 获取 std::unique_ptr 所管理的原始指针。
  • 第二个参数是缓冲区的大小，即 buf_size。

总之，这段代码的目的是创建一个大小为 30 字节的输入缓冲区，其中使用了 std::unique_ptr 来管理动态分配的内存。这个缓冲区可以在异步 I/O 操作中使用，比如异步读取数据到这个缓冲区中。记得在实际应用中，你需要使用 boost::asio::io_context 和套接字等组件来实现具体的异步 I/O 操作。

1.4、对于流式操作，我们可以用streambuf，将输入输出流和streambuf绑定，可以实现流式输入和输出

id use_stream_buffer() {
    asio::streambuf buf;
    std::ostream output(&buf);
    // Writing the message to the stream-based buffer.
    output << "Message1\nMessage2";
    // Now we want to read all data from a streambuf
    // until '\n' delimiter.
    // Instantiate an input stream which uses our 
    // stream buffer.
    std::istream input(&buf);
    // We'll read data into this string.
    std::string message1;
    std::getline(input, message1);
    // Now message1 string contains 'Message1'.
}