通过Java来测试JSON和Protocol Buffer的传输文件大小_java

JSON相信大家都知道是什么东西，如果不知道，那可就真的OUT了，GOOGLE一下去。这里就不介绍啥的了。
Protobuffer大家估计就很少听说了，但如果说到是GOOGLE搞的，相信大家都会有兴趣去试一下，毕竟GOOGLE出口，多属精品。
Protobuffer是一个类似JSON的一个传输协议，其实也不能说是协议，只是一个数据传输的东西罢了。
那它跟JSON有什么区别呢？
跨语言，这是它的一个优点。它自带了一个编译器，protoc，只需要用它进行编译，可以编译成JAVA、python、C++代码，暂时只有这三个，其他就暂时不要想了，然后就可以直接使用，不需要再写任何其他代码。连解析的那些都已经自带有的。JSON当然也是跨语言的，但这个跨语言是建立在编写代码的基础上。
如果想再深入了解的，可以去看看：
https://developers.google.com/protocol-buffers/docs/overview
好了，废话不多说，我们直接来看看，为什么我们需要对比protobuffer（下面简称GPB）和JSON。
1、JSON因为有一定的格式，并且是以字符存在的，在数据量上还有可以压缩的空间。而GPB上大数据量时，空间比JSON小很多，等一下的例子我们可以看到。
2、JSON各个库之间的效率相差比较大，jackson库和GSON就大概有5-10的差距（这个只做过一次测试，如有误，请大家轻拍）。而GPB只需要一个，没有所谓的多个库的区别。当然这个点只是弄出来凑数的，可以忽略不计哈。
 
Talk is cheap,Just show me the code。
在程序界，代码永远是王道，下面就直接来代码吧。
上代码前，大家要先下载protobuffer，在这里：
https://github.com/google/protobuf

1、首先，GPB是需要有一个类似类定义的文件，叫proto文件 。
我们以学生和老师的例子来进行一个例子：
我们有以下两个文件：student.proto

option java_package = "com.shun";
option java_outer_classname = "StudentProto"; 

message Student {
  required int32 id = 1;
  optional string name = 2;
  optional int32 age = 3;
}</span>

 teacher.proto

import "student.proto";
option java_package = "com.shun";
option java_outer_classname = "TeacherProto"; 

message Teacher {
  required int32 id = 1;
  optional string name = 2; 

  repeated Student student_list = 3;
}</span>

这里我们遇到了一些比较奇怪的东西：
import,int32,repated,required,optional,option等
一个个来吧：
1）import表示引入其他的proto文件
2）required,optional表示字段是否可选，这个决定了该字段有无值的情况下protobuffer会进行什么处理。如果标志了required，但当处理时，该字段没有进行传值，则会报错;如果标志了optional，不传值则不会有什么问题。
3）repeated相信应该都看得懂了，就是是否重复，跟JAVA里面的list类似
4）message就是相当于class了
5）option表示选项，其中的java_package表示包名，即生成JAVA代码时使用的包名，java_outer_classname即为类名，注意这个类名不能跟下面的message中的类名相同。
至于还有其他的选项和相关类型的，请参观官方文档。
 
2、有了这几个文件，我们能怎么样呢？
记得上面下载的编译器了吧，解压出来，我们得到一个protoc.exe，这当然是windows下的，我没弄其他系统的，有兴趣的同学去折腾下罗。
加到path（加不加可以随便，只是方不方便而已），然后就可以通过上面的文件生成我们需要的类文件了。
protoc --java_out=存放源代码的路径 --proto_path=proto文件的路径 proto具体文件
--proto_path指定的是proto文件的文件夹路径，并不是单个文件，主要是为了import文件查找使用的，可以省略
 
如我需要把源代码放在D:\protobufferVsJson\src，而我的proto文件存放在D:\protoFiles
那么我的编译命令就是：

protoc --java_out=D:\protobufferVsJson\src
D:\protoFiles\teacher.proto D:\protoFiles\student.proto

注意，这里最后的文件，我们需要指定需要编译的所有文件
 
编译后可以看到生成的文件。
代码就不贴出来了，太多了。大家可以私下看看，代码里面有一大堆Builder，相信一看就知道是建造者模式了。
这时可以把代码贴到你的项目中了，当然，错误一堆了。
 
记得我们前面下载的源代码吗？解压它吧，不要手软。然后找到src/main/java/复制其中的一堆到你的项目，当然，你也可以ant或者maven编译，但这两个东西我都不熟，就不献丑了，我还是习惯直接复制到项目中。

代码出错，哈哈，正常。不知道为何，GOOGLE非要留下这么个坑给我们。
翻回到protobuffer目录下的\java看到有个readme.txt了吧，找到一句：

看来看去，感觉这个代码会有点奇怪的，好像错错的感觉，反正我是没按那个执行，我的命令是:

<span style="font-size: 16px;">protoc --java_out=还是上面的放代码的地方 proto文件的路径（这里是descriptor.proto文件的路径）</span>

执行后，我们可以看到代码中的错误木有了。
 
3、接下来当然就是测试了。
我们先进行GPB写入测试：

package com.shun.test; 

import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List; 

import com.shun.StudentProto.Student;
import com.shun.TeacherProto.Teacher; 

public class ProtoWriteTest { 

  public static void main(String[] args) throws IOException { 

    Student.Builder stuBuilder = Student.newBuilder();
    stuBuilder.setAge(25);
    stuBuilder.setId(11);
    stuBuilder.setName("shun"); 

    //构造List
    List<Student> stuBuilderList = new ArrayList<Student>();
    stuBuilderList.add(stuBuilder.build()); 

    Teacher.Builder teaBuilder = Teacher.newBuilder();
    teaBuilder.setId(1);
    teaBuilder.setName("testTea");
    teaBuilder.addAllStudentList(stuBuilderList); 

    //把gpb写入到文件
    FileOutputStream fos = new FileOutputStream("C:\\Users\\shun\\Desktop\\test\\test.protoout");
    teaBuilder.build().writeTo(fos);
    fos.close();
  } 

}</span>

我们去看看文件，如无意外，应该是生成了的。
生成了之后，我们肯定要读回它的。

package com.shun.test; 

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException; 

import com.shun.StudentProto.Student;
import com.shun.TeacherProto.Teacher; 

public class ProtoReadTest { 

  public static void main(String[] args) throws FileNotFoundException, IOException { 

    Teacher teacher = Teacher.parseFrom(new FileInputStream("C:\\Users\\shun\\Desktop\\test\\test.protoout"));
    System.out.println("Teacher ID:" + teacher.getId() + ",Name:" + teacher.getName());
    for (Student stu:teacher.getStudentListList()) {
      System.out.println("Student ID:" + stu.getId() + ",Name:" + stu.getName() + ",Age:" + stu.getAge());
    }
  } 

}</span>

代码很简单，因为GPB生成的代码都帮我们完成了。
上面知道基本的用法了，我们重点来关注GPB跟JSON生成文件大小的区别，JSON的详细代码我这里就不贴了，之后会贴出示例，大家有兴趣可以下载。
这里我们用Gson来解析JSON，下面只给出对象转换成JSON后写出文件的代码：
两个类Student和Teacher的基本定义就不弄了，大家随意就行，代码如下：

package com.shun.test; 

import java.io.FileWriter;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List; 

import com.google.gson.Gson;
import com.shun.Student;
import com.shun.Teacher; 

public class GsonWriteTest { 

  public static void main(String[] args) throws IOException {
    Student stu = new Student();
    stu.setAge(25);
    stu.setId(22);
    stu.setName("shun"); 

    List<Student> stuList = new ArrayList<Student>();
    stuList.add(stu); 

    Teacher teacher = new Teacher();
    teacher.setId(22);
    teacher.setName("shun");
    teacher.setStuList(stuList); 

    String result = new Gson().toJson(teacher);
    FileWriter fw = new FileWriter("C:\\Users\\shun\\Desktop\\test\\json");
    fw.write(result);
    fw.close();
  } 

}</span>

接下来正式进入我们的真正测试代码了，前面我们只是在列表中放入一个对象，接下来，我们依次测试100,1000,10000,100000,1000000,5000000这几个数量的GPB和JSON生成的文件大小。
改进一下之前的GPB代码，让它生成不同数量的列表，再生成文件：

package com.shun.test; 

import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List; 

import com.shun.StudentProto.Student;
import com.shun.TeacherProto.Teacher; 

public class ProtoWriteTest { 

  public static final int SIZE = 100; 

  public static void main(String[] args) throws IOException { 

    //构造List
    List<Student> stuBuilderList = new ArrayList<Student>();
    for (int i = 0; i < SIZE; i ++) {
      Student.Builder stuBuilder = Student.newBuilder();
      stuBuilder.setAge(25);
      stuBuilder.setId(11);
      stuBuilder.setName("shun"); 

      stuBuilderList.add(stuBuilder.build());
    } 

    Teacher.Builder teaBuilder = Teacher.newBuilder();
    teaBuilder.setId(1);
    teaBuilder.setName("testTea");
    teaBuilder.addAllStudentList(stuBuilderList); 

    //把gpb写入到文件
    FileOutputStream fos = new FileOutputStream("C:\\Users\\shun\\Desktop\\test\\proto-" + SIZE);
    teaBuilder.build().writeTo(fos);
    fos.close();
  } 

}</span>

 这里的SIZE依次改成我们上面据说的测试数，可以得到如下：

然后我们再看看JSON的测试代码：
 

package com.shun.test; 

import java.io.FileWriter;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List; 

import com.google.gson.Gson;
import com.shun.Student;
import com.shun.Teacher; 

public class GsonWriteTest { 

  public static final int SIZE = 100; 

  public static void main(String[] args) throws IOException { 

    List<Student> stuList = new ArrayList<Student>();
    for (int i = 0; i < SIZE; i ++) {
      Student stu = new Student();
      stu.setAge(25);
      stu.setId(22);
      stu.setName("shun"); 

      stuList.add(stu);
    } 

    Teacher teacher = new Teacher();
    teacher.setId(22);
    teacher.setName("shun");
    teacher.setStuList(stuList); 

    String result = new Gson().toJson(teacher);
    FileWriter fw = new FileWriter("C:\\Users\\shun\\Desktop\\test\\json" + SIZE);
    fw.write(result);
    fw.close();
  } 

}</span>

 同样的方法修改SIZE，并作相应的测试。

可以明显得看到json的文件大小跟GPB的文件大小在数据量慢慢大上去的时候就会有比较大的差别了，JSON明显要大上许多。

上面的表应该可以看得比较清楚了，在大数据的GPB是非常占优势的，但一般情况下客户端和服务端并不会直接进行这么大数据的交互，大数据主要发生在服务器端的传输上，如果你面对需求是每天需要把几百M的日志文件传到另外一台服务器，那么这里GPB可能就能帮你的大忙了。
 
 
说是深度对比，其实主要对比的是大小方面，时间方面可比性不会太大，也没相差太大。
文章中选择的Gson解析器，有兴趣的朋友可以选择Jackson或者fastjson，又或者其他的，但生成的文件大小是一样的，只是解析时间有区别。

以上是小编为您精心准备的的内容，在的博客、问答、公众号、人物、课程等栏目也有的相关内容，欢迎继续使用右上角搜索按钮进行搜索java
， json
ProtocolBuffer
protocol buffer json、protocol buffer java、java json 压缩传输、java json传输图片、java socket传输json，以便于您获取更多的相关知识。

时间： 2024-09-13 18:27:00

通过Java来测试JSON和Protocol Buffer的传输文件大小_java的相关文章

GSON实现Java对象的JSON序列化与反序列化的实例教程_java

从GitHub下载GSON:https://github.com/google/gson Gson的应用主要为toJson与fromJson两个转换函数,而在使用这种对象转换之前需先创建好对象的类别以及其成员才能成功的将JSON字符串成功转换成相对应的对象. class Examples { private int answer1 = 100; private String answer2 = "Hello world!"; Examples(){ } // default const

使用GSON库转换Java对象为JSON对象的进阶实例详解_java

对List和map等结构的常用转换操作基本上可以满足我们处理的绝大多数需求,但有时项目中对json有特殊的格式规定.比如下面的json串解析: [{"tableName":"students","tableData":[{"id":1,"name":"李坤","birthDay":"Jun 22, 2012 9:54:49 PM"},{"

java servlet手机app访问接口(一)数据加密传输验证_java

前面几篇关于servlet的随笔,算是梳理了servlet的简单使用流程,接下去的文章将主要围绕手机APP访问接口这块出发续写,md5加密传输--->短信验证--->手机推送--->分享--->百度云图---->支付....第三方的业务 ...由于我是新手我也是一边学一边写,不足地方希望谅解. 今天这篇文章主要涉及到 javaservlet传输数据的加密,客户端请求参数的组合,并且会附带上我中途遇到的所有问题以及解决方法.  由于手机访问接口是公布出来的,所以不管用什么语言编

Google protocol buffer简介

Google Protocol Buffer Google Protocol Buffer又简称Protobuf,它是一种很高效的结构化数据存储格式,一般用于结构化数据的串行化,即我们常说的数据序列化.这种序列化的协议非常轻便高效,而且是跨平台的,目前已支持多种主流语言.通过这种方式序列化得到的二进制流数据比传统的XML, JSON等方式的结果都占用更小的空间,并且其解析效率也更高,非常适合用于通讯协议或数据存储. 为什么使用Protocol Buffers 通常序列化和解析结构化数据的几种方式

Java 下的 JSON库性能比较：JSON.simple vs. GSON vs. Jackson vs. JSONP

Java 下的 JSON库性能比较:JSON.simple vs. GSON vs. Jackson vs. JSONP JSON已经成为当前服务器与WEB应用之间数据传输的公认标准,不过正如许多我们所习以为常的事情一样,你会觉得这是理所当然的便不再深入思考了.我们很少会去想用到的这些JSON库到底有什么不同,但事实上它们的确是不太一样的.因此,我们运行了一个基准测试来对常用的几个JSON库进行了测试,看看在解析不同大小的文件时哪个库的速度是最快的.下面我会把结果分享给大家. JSON通常用于传

Google Protocol Buffer使用经验分享（一） C++动态消息与静态消息的博弈

写在前面 相信正在浏览这篇文章的同学,一定已经对PB(Protocol buffer)有所了解,所以这里不罗嗦何为PB了. 我自己从去年年底开始对PB的使用逐渐有一些了解,直到在搜索排序框架(iRank)的重构中尝试应用PB,希望能在"数据结构灵活增删改"和"高效的数据传输反序列化"之间求得平衡. 在这过程之中,对PB 动态消息和静态消息的C++使用方式进行了一些调研,对 动态消息 和 静态消息 的优缺点有了进一步了解.通过阅读源代码和实际应用,总结出一些经验,将

buffer-java关于Protocol Buffer

问题描述 java关于Protocol Buffer Class temp = null; try { temp = LoadClass.LoadClassByPathName(strs[0]); } catch (ClassNotFoundException e) { LOGGER.error(strs[0]+" class not found!"); context.end(RpcReturnCode.METHOD_NOT_FOUND, new Throwable("in

Protocol Buffer技术深入理解(C++实例)_C 语言

这篇Blog仍然是以Google的官方文档为主线,代码实例则完全取自于我们正在开发的一个Demo项目,通过前一段时间的尝试,感觉这种结合的方式比较有利于培训和内部的技术交流.还是那句话,没有最好的,只有最适合的.我想写Blog也是这一道理吧,不同的技术主题可能需要采用不同的风格.好了,还是让我们尽早切入主题吧. 一.生成目标语言代码 下面的命令帮助我们将MyMessage.proto文件中定义的一组Protocol Buffer格式的消息编译成目标语言(C++)的代码.至于消息的内容,我们会在后

java-bsgrid 如何局部刷新列表？获取Java返回的json格式的数据？

问题描述 bsgrid 如何局部刷新列表?获取Java返回的json格式的数据? java端SpringMVC 框架调用的方法如下: @ResponseBody @RequestMapping("/ajaxPage") public String ajaxPage(HttpServletRequest request){ String pageSize = request.getParameter("pageSize"); System.out.print(page