protobuf 、protostuff、json 经过nginx的gizp压缩前后的大小比较

阅读更多

公司一个cs架构项目接口，使用json传输数据大小接近10M，简单的研究了一下protobuf 、protostuff，以及针对这个接口场景 使用protobuf 、protostuff、json序列化nginx的gzip压缩传输后文件大小的比较。

1.protobuf简单使用

下载protoc-3.5.1-win32.zip 和 protobuf-java-3.5.1.zip 分别解压

把 protoc-3.5.1-win32.zip里的protoc.exe拷贝到 E:\develop\protobuf-3.5.1\src （不考也行）

E:\develop\protobuf-3.5.1\src\protoc.exe 是protoc.exe 所在目录

E:\develop\protobuf-3.5.1\examples 是 .proto所在的目录

进入要编译的.proto文件目录（E:\develop\protobuf-3.5.1\examples） 执行一下命令

E:\develop\protobuf-3.5.1\examples>E:\develop\protobuf-3.5.1\src\protoc.exe --j

va_out=. addressbook.proto

会在当前目录生成AddressBookProtos.java

还可使用maven插件使每次打包的时候自动把.proto文件编译成.java文件

这里没有这么做，使用protocol buffer主要的工作是要另外编写.proto文件

对应现有系统改的比较大所以没有使用protobuffer方案。

.proto还是比较简单，可以自行学习

下面给出一下例子，只是为了忘记时候可以回忆一下，可以略过

syntax = "proto3";

option java_package = "com.*.*.*.*.rcp.protobuf";

option java_outer_classname = "XXXXProto";

import public "FltBookResult.proto";

import "ResultBase.proto";

message XXXXInfo {

/**

*

* Description:航段唯一 ID 号

*

*/

string soflSeqNr = 1;

.......

FltBookResult fltBookResult = 96;

ResultBase resultBase = 97;

}

2.prostostuff的使用

结合springmvc的 Converter

import com.google.common.base.Stopwatch;

import io.protostuff.LinkedBuffer;

import io.protostuff.ProtobufIOUtil;

import io.protostuff.Schema;

import io.protostuff.runtime.RuntimeSchema;

import net.jpountz.lz4.LZ4BlockOutputStream;

import org.apache.commons.io.IOUtils;

import org.slf4j.Logger;

import org.slf4j.LoggerFactory;

import org.springframework.http.HttpInputMessage;

import org.springframework.http.HttpOutputMessage;

import org.springframework.http.MediaType;

import org.springframework.http.converter.AbstractHttpMessageConverter;

import org.springframework.http.converter.HttpMessageNotReadableException;

import org.springframework.http.converter.HttpMessageNotWritableException;

import org.xerial.snappy.SnappyOutputStream;

 

import java.io.IOException;

import java.io.InputStream;

import java.io.OutputStream;

import java.nio.charset.Charset;

import java.util.zip.GZIPOutputStream;

 

/**

*

* An { @code HttpMessageConverter} that can read and write

* Google Protocol Buffer (Protobuf) messages using the

* open-source Protostuff library. Its advantage over native Protobuf

* serialization and deserialization is that it can work with normal { @code POJO}s, as compared to the native

* implementation that requires the objects to implement the { @code Message} interface from the Protobuf Java library.

* This allows applications to use Protobuf with existing classes instead of having to re-generate them using the

* Protobuf compiler.

*

*

* Supports the { @code application/x-protobuf} media type. Regular Spring MVC application clients can use this as the

* media type for the { @code Accept} and { @code Content-Type} HTTP headers for exchanging information as Protobuf

* messages.

*

*/

public class ProtostuffHttpMessageConverter extends AbstractHttpMessageConverter