在网络程序的开发中,免不了会涉及到服务器与客户端之间的协议交互,由于客户端与服务器端的平台的差异性(有可能是windows,android,linux等等),以及网络字节序等问题,通信包一般会做序列化与反序列化的处理,也就是通常说的打包解包工作。google的protobuf是一个很棒的东西,它不仅提供了多平台的支持,而且直接支持从配置文件生成代码。但是这么强大的功能,意味着它的代码量以及编译生成的库文件等等都不会小,如果相对于手机游戏一两M的安装包来说,这个显然有点太重量级了(ps:查了一下protobuf2.4.1的jar的包大小有400k左右),而且在手机游戏客户端与服务器的交互过程中,很多时候基本的打包解包功能就足够了。
今天经同事推荐,查阅了一下msgpack相关的资料。msgpack提供快速的打包解包功能,官网上给出的图号称比protobuf快4倍,可以说相当高效了。最大的好处在与msgpack支持多语言,服务器端可以用C++,android客户端可以用java,能满足实际需求。
在实际安装msgpack的过程中,碰到了一点小问题,因为开发机器是32位机器,i686的,所以安装完后跑一个简单的sample时,c++编译报错,错误的表现为链接时报错:undefined reference to `__sync_sub_and_fetch_4',后来参考了下面的博客,在configure时指定CFLAGS="-march=i686"解决,注意要make clean先。
msgpack官网地址:http://msgpack.org/
安装过程中参考的博客地址:http://blog.csdn.net/xiarendeniao/article/details/6801338
====================================================================================
====================================================================================
补上近期简单的测试结果
测试机器,cpu 4核 Dual-Core AMD Opteron(tm) Processor 2212,单核2GHz,1024KB cache, 内存4G。
1. 简单包测试
[cpp] view plaincopy
- struct ProtoHead
- {
- uint16_t uCmd; // 命令字
- uint16_t uBodyLen; // 包体长度(打包之后的字符串长度)
- uint32_t uSeq; //消息的序列号,唯一标识一个请求
- uint32_t uCrcVal; // 对包体的crc32校验值(如果校验不正确,服务器会断开连接)
- };
- struct ProtoBody
- {
- int num;
- std::string str;
- std::vector<uint64_t> uinlst;
- MSGPACK_DEFINE(num, str, uinlst);
- };
测试中省略了包头本地字节序与网络字节序之间的转化,只有包体做msgpack打包处理.
vector数组中元素数量为16个,每次循环做一次打包与解包,并验证前后数据是否一致,得到的测试结果如下:
总耗时(s) |
循环次数 |
平均每次耗时(ms) |
0.004691 |
100 |
0.04691 |
0.044219 |
1000 |
0.044219 |
0.435725 |
10000 |
0.043573 |
4.473818 |
100000 |
0.044738 |
总结:基本每次耗时0.045ms左右,每秒可以打包解包22k次,速度很理想。
2. 复杂包测试(vector嵌套)
[cpp] view plaincopy
- struct test_node
- {
- std::string str;
- std::vector<uint32_t> idlst;
- test_node()
- {
- str = "it's a test node";
- for (int i = 0; i++; i < 10)
- {
- idlst.push_back(i);
- }
- }
- bool operator == (const test_node& node) const
- {
- if (node.str != str)
- {
- return false;
- }
- if (node.idlst.size() != idlst.size())
- {
- return false;
- }
- for (int i = 0; i < idlst.size(); i++)
- {
- if (idlst[i] != node.idlst[i])
- {
- return false;
- }
- }
- return true;
- }
- MSGPACK_DEFINE(str, idlst);
- };
- struct ProtoBody
- {
- int num;
- std::string str;
- std::vector<uint64_t> uinlst;
- std::vector<test_node> nodelst;
- MSGPACK_DEFINE(num, str, uinlst, nodelst);
- };
每个nodelst中插入16个node,每个node中的idlst插入16个id,同1中的测试方法,得到测试结果如下:
总耗时(s) |
循环次数 |
平均每次耗时(ms) |
0.025401 |
100 |
0.25401 |
0.248396 |
1000 |
0.248396 |
2.533385 |
10000 |
0.253339 |
25.823562 |
100000 |
0.258236 |
基本上每次打包解包一次要耗时0.25ms,每秒估算可以做4k次打包解包,速度还是不错的。
3. 加上crc校验
如果每个循环中,打包过程加上crc的计算,解包过程中加上crc校验,得到测试结果如下:
总耗时(s) |
循环次数 |
平均每次耗时(ms) |
0.025900 |
100 |
0.25900 |
0.260424 |
1000 |
0.260424 |
2.649585 |
10000 |
0.264959 |
26.855452 |
100000 |
0.268555 |
基本上每次打包解包耗时0.26ms左右,与没有crc差别不大;