linux使用msgpack及测试

在网络程序的开发中,免不了会涉及到服务器与客户端之间的协议交互,由于客户端与服务器端的平台的差异性(有可能是windows,android,linux等等),以及网络字节序等问题,通信包一般会做序列化与反序列化的处理,也就是通常说的打包解包工作。google的protobuf是一个很棒的东西,它不仅提供了多平台的支持,而且直接支持从配置文件生成代码。但是这么强大的功能,意味着它的代码量以及编译生成的库文件等等都不会小,如果相对于手机游戏一两M的安装包来说,这个显然有点太重量级了(ps:查了一下protobuf2.4.1的jar的包大小有400k左右),而且在手机游戏客户端与服务器的交互过程中,很多时候基本的打包解包功能就足够了。

今天经同事推荐,查阅了一下msgpack相关的资料。msgpack提供快速的打包解包功能,官网上给出的图号称比protobuf快4倍,可以说相当高效了。最大的好处在与msgpack支持多语言,服务器端可以用C++,android客户端可以用java,能满足实际需求。

在实际安装msgpack的过程中,碰到了一点小问题,因为开发机器是32位机器,i686的,所以安装完后跑一个简单的sample时,c++编译报错,错误的表现为链接时报错:undefined reference to `__sync_sub_and_fetch_4',后来参考了下面的博客,在configure时指定CFLAGS="-march=i686"解决,注意要make clean先。

msgpack官网地址:http://msgpack.org/

安装过程中参考的博客地址:http://blog.csdn.net/xiarendeniao/article/details/6801338

====================================================================================

====================================================================================

补上近期简单的测试结果

测试机器,cpu 4核 Dual-Core AMD Opteron(tm) Processor 2212,单核2GHz,1024KB cache, 内存4G。

1. 简单包测试

[cpp] view plaincopy

  1. struct ProtoHead  
  2. {  
  3.     uint16_t uCmd;      // 命令字  
  4.     uint16_t uBodyLen;  // 包体长度(打包之后的字符串长度)  
  5.     uint32_t uSeq;      //消息的序列号,唯一标识一个请求  
  6.     uint32_t uCrcVal;           // 对包体的crc32校验值(如果校验不正确,服务器会断开连接)  
  7. };  
  8.   
  9. struct ProtoBody  
  10. {  
  11.     int num;  
  12.     std::string str;  
  13.     std::vector<uint64_t> uinlst;  
  14.     MSGPACK_DEFINE(num, str, uinlst);  
  15. };  

测试中省略了包头本地字节序与网络字节序之间的转化,只有包体做msgpack打包处理.

vector数组中元素数量为16个,每次循环做一次打包与解包,并验证前后数据是否一致,得到的测试结果如下:


总耗时(s)


循环次数


平均每次耗时(ms)


0.004691


100


0.04691


0.044219


1000


0.044219


0.435725


10000


0.043573


4.473818


100000


0.044738

总结:基本每次耗时0.045ms左右,每秒可以打包解包22k次,速度很理想。

2. 复杂包测试(vector嵌套)

[cpp] view plaincopy

  1. struct test_node  
  2. {  
  3.     std::string str;  
  4.     std::vector<uint32_t> idlst;  
  5.   
  6.     test_node()  
  7.     {  
  8.         str = "it's a test node";  
  9.   
  10.         for (int i = 0; i++; i < 10)  
  11.         {  
  12.             idlst.push_back(i);  
  13.         }  
  14.     }  
  15.   
  16.     bool operator == (const test_node& node) const  
  17.     {  
  18.         if (node.str != str)  
  19.         {  
  20.             return false;  
  21.         }  
  22.   
  23.         if (node.idlst.size() != idlst.size())  
  24.         {  
  25.             return false;  
  26.         }  
  27.   
  28.         for (int i = 0; i < idlst.size(); i++)  
  29.         {  
  30.             if (idlst[i] != node.idlst[i])  
  31.             {  
  32.                 return false;  
  33.             }  
  34.         }  
  35.         return true;  
  36.     }  
  37.   
  38.     MSGPACK_DEFINE(str, idlst);  
  39. };  
  40.   
  41. struct ProtoBody  
  42. {  
  43.     int num;  
  44.     std::string str;  
  45.     std::vector<uint64_t> uinlst;  
  46.     std::vector<test_node> nodelst;  
  47.   
  48.     MSGPACK_DEFINE(num, str, uinlst, nodelst);  
  49. };  

每个nodelst中插入16个node,每个node中的idlst插入16个id,同1中的测试方法,得到测试结果如下:


总耗时(s)


循环次数


平均每次耗时(ms)


0.025401


100


0.25401


0.248396


1000


0.248396


2.533385


10000


0.253339


25.823562


100000


0.258236

基本上每次打包解包一次要耗时0.25ms,每秒估算可以做4k次打包解包,速度还是不错的。

3. 加上crc校验

如果每个循环中,打包过程加上crc的计算,解包过程中加上crc校验,得到测试结果如下:


总耗时(s)


循环次数


平均每次耗时(ms)


0.025900


100


0.25900


0.260424


1000


0.260424


2.649585


10000


0.264959


26.855452


100000


0.268555

基本上每次打包解包耗时0.26ms左右,与没有crc差别不大;

时间: 2024-10-02 14:37:34

linux使用msgpack及测试的相关文章

linux下web压力测试工具webbench

一直比较喜欢Ubuntu,也突然发现好长时间没有折腾ubuntu 了,哈哈,好长时间不搞,手痒了,技术这东东,还是需要经常折腾的. 其实以前做压力测试,AB使用的比较多,后来在张宴大哥的博客上看到webbench,然后自己也倒腾了下,还可以吧. 为什么要进行压力测试,说白了,就是测试你的代码的执行承载力,可能小的网站没有什么感触,因为他们每天的IP也就几千而已,一般服务器不经过优化,也可以罩得住, 但是大型网站是非常注重这些压力测试,因为他们注重的都是百万级的访问量, Webbench是什么呢?

在linux下怎么才能测试优盘的真实容量啊,!

问题描述 在linux下怎么才能测试优盘的真实容量啊,! 在linux下怎么才能测试优盘的真实容量啊,!在linux下怎么才能测试优盘的真实容量啊,!在linux下怎么才能测试优盘的真实容量啊,! 解决方案 linux系统在测试U盘容量上和windows基本没差距,都只是读取,不能探查"真实",只有通过一些相关的软件才能实现,例如ChipGenius芯片精灵 解决方案二: 和楼主一样,同求高手回答

azure-WindowsAzure云Linux如何用ping测试连通性

问题描述 WindowsAzure云Linux如何用ping测试连通性 WindowsAzure云Linux如何用ping测试连通性 解决方案 http://www.cnblogs.com/sennly/p/4226189.html

三张图看遍Linux 性能监控、测试、优化工具

三张图看遍Linux 性能监控.测试.优化工具 Linux 平台上的性能工具有很多,眼花缭乱,长期的摸索和经验发现最好用的还是那些久经考验的.简单的小工具.系统性能专家 Brendan D. Gregg 在最近的 LinuxCon NA 2014 大会上更新了他那个有名的关于 Linux 性能方面的 talk (Linux Performance Tools) 和幻灯片. 和 Brendan 去年的 talk 比较,今年增加了测试和优化两部分.下面的三张图片分别总结了 Linux 各个子系统以及

Linux系统的网络管理测试工具简介

本文是介绍管理Linux系统网络性能技巧的文章,主要介绍了route.netstat.tcpdump三种网络管理测试工具的使用方法及其可实现的功能. route 在配置网络时,要为机器指定接收数据包时该包要经过的路径.在Linux系统中,提供一个命令route,这个命令可以为ifconfig命令配置的网卡设置静态路由.这种设置工作通常在/etc/rc.d/rc.inet1中引入,在系统引导时进行. 我们通过几个例子来说明如何使用route命令: route add -net 127.0.0.0

Linux 性能监控、测试、优化工具

Linux 平台上的性能工具有很多,眼花缭乱,长期的摸索和经验发现最好用的还是那些久经考验的.简单的小工具.系统性能专家 Brendan D. Gregg 在最近的 LinuxCon NA 2014 大会上更新了他那个有名的关于 Linux 性能方面的 talk (Linux Performance Tools) 和幻灯片. 和 Brendan 去年的 talk 比较,今年增加了测试和优化两部分.下面的三张图片分别总结了 Linux 各个子系统以及监控.测试.优化这些子系统所用到的工具. 监控

Linux中使用speedtest-cli 测试网速的方法

  Windows 下我们可以很方便的直接浏览器访问 speedtest.net 进行网速测试,在没有图形管理界面的 Linux 系统下,我们也可以用一个小脚本 speedtest-cli 进行测速. 本文使用的小脚本在 CentOS 6.Debian 7.Ubuntu 12.04/14.04 下均测试通过,因为这些发行版都默认包含了 Python 2.7.* 使用起来灰常方便. 一.下载脚本并赋予权限 wget -O speedtest-cli https://raw.github.com/s

Linux系统硬盘读写测试

Linux服务器想要知道硬盘的读写是否能满足服务的需要,我们可以使用Linux自带的dd命令测试硬盘的读写速度,方法如下: 登录SSH,输入以下命令即可,根据测试数据的大小等待返回的时间不同. Linux硬盘写入速度: # time dd if=/dev/zero of=/var/test bs=2k count=1000000 Linux硬盘读取速度: # time dd if=/var/test of=/dev/null bs=2k 命令详解: time用于计时 dd用于复制,从if读出,写

Linux操作系统web压力测试工具使用介绍

Linux操作系统在实际使用过程中,需要对操作系统进行web压力测试,通过测试我们可以知道服务器所承载的最大数据量,从而为我们进一步优化或是部署服务器做数据参考,哪么我们应该采用什么工具呢?今天风信网带大家来了解一下在Linux中常用的三种Web压力测试的工具使用. 三种工具分别是: linux webbench apache abjakarta-jmeter 下面我们将逐一进行讲解与说明各工作的使用方法,让大家能更好的掌握该技术! 如果你也有需要分享的经验,可以点击风信网链接传送门:http: