Tsar开源:淘宝内部的信息采集报告工具

&">nbsp;

Tsar介绍

Tsar是淘宝采集报告工具,主要用来收集服务器系统(如cpu,io,mem,tcp等)以及应用数据(nginx、swift等),将保存在服务器磁盘上,Tsar支持实时查看和历史查看,并且配合nagios的被动监控。

Tsar能够方便快速增加模块,用户可以根据tsar的要求编写数据的采集函数和展现函数,在Tsar中自定义模块

Tsar安装

目前在github上托管着Tsar,下面是下载安装编译步骤:

$git clone git://github.com/kongjian/tsar.git$cd tsar$make$make install

安装后:

定时任务配置:/etc/cron.d/tsar,负责每分钟调用tsar执行采集任务; 日志文件轮转配置:/etc/logrotate.d/tsar,每个月轮转tsar的本地存储; Tsar配置文件路径:/etc/tsar/tsar.conf,采集模块和输出的具体配置; 模块路径:/usr/local/tsar/modules,各个模块的动态库so文件;

Tsar配置

Tsar安装结束后,暂时没有历史数据,想要检查是否正常,执行tsar -l,查看是否有实时信息输出:

Tsar的配置主要都在/etc/tsar/tsar.conf中,常用的有:

增加一个模块,添加 mod_<yourmodname> on 到配置文件中 打开或者关闭一个模块,修改mod_<yourmodname> on/off output_stdio_mod 能够配置执行tsar时的输出模块 output_file_path 采集到的数据默认保存到的文件(如果修改的话需要对应修改轮转的配置/etc/logrotate.d/tsar) output_interface 指定tsar的数据输出目的,默认file保存本地,nagios/db输出到监控中心/数据库中,这两个功能还需要结合其它配置,具体见后面

Tsar使用

查看历史数据,tsar -l/--list 查看可用的模块列表 -l/--live 查看实时数据,tsar -l --cpu -i/--interval 指定间隔,历史,tsar -i 1 --cpu --modname 指定模块,tsar --cpu -s/--spec 指定字段,tsar --cpu -s sys,util -d/--date 指定日期,YYYYMMDD或者n代表n天前 -C/--check 查看最后一次的采集数据 -d/--detail 能够指定查看主要字段还是模块的所有字段 -h/--help 帮助功能

高级功能

输出到nagios

配置: 首先配置output_interface file,nagios,增加nagios输出

然后配置nagios服务器和端口,以及发送的间隔时间

####The IP address or the host running the NSCA daemonserver_addr nagios.server.com####The port on which the daemon is running - default is 5667server_port 8086####The cycle of send alert to nagioscycle_time 300

由于是nagios的被动监控模式,需要指定nsca的位置和配置文件位置

####nsca client programsend_nsca_cmd /usr/bin/send_nscasend_nsca_conf /home/a/conf/amon/send_nsca.conf

接下来指定哪些模块和字段需要进行监控,一共四个阀值对应nagios中的不同报警级别

####tsar mod alert config file####threshold [hostname.]servicename.key;w-min;w-max;c-min;cmax;threshold cpu.util;50;60;70;80;

输出到Mysql

配置: 首先配置output_interface file,db,增加db输出

然后配置哪些模块数据需要输出

output_db_mod mod_cpu,mod_mem,mod_traffic,mod_load,mod_tcp,mod_udpmod_io

然后配置sql语句发送的目的地址和端口

output_db_addr console2:56677

目的地址在该端口监听tcp数据,并且把数据入库即可,可以参照 tsar2db。

模块开发

Tsar的一个比较好的功能是能够增加自己的采集,这时候需要编写模块代码,编译成so文件即可。

首先安装tsardevel,刚才安装时,如果执行make tsardevel,就会把模块开发的基本文件安装到系统 然后执行tsardevel ,就能在当前模块生成一个模块目录:

[kongjian@v132172.sqa.cm4 tsar]$ tsardevel testbuild:makeinstall:make installuninstall:make uninstall[kongjian@v132172.sqa.cm4 tsar]$ ls testMakefile &nbsp;mod_test.c &nbsp;mod_test.conf

按照要求修改mod_test.c中的read_test_stats,set_test_record 完成后make;make install就完成新模块的配置文件和so的设置,执行tsar --test就能查看效果。

另外也可以通过配置文件对自定义模块传递参数,方法是修改配置文件中的mod_test on myparameter 然后在mod_test.c中的read_test_stats函数中,通过parameter参数就可以获得刚才配置文件中的内容。

时间: 2024-11-02 18:16:10

Tsar开源:淘宝内部的信息采集报告工具的相关文章

Tsar开源:淘宝内部大量使用的系统监控工具

Tsar介绍 Tsar是淘宝的一个用来收集服务器系统和应用信息的采集报告工具,如收集服务器的系统信息(cpu,mem等),以及http://www.aliyun.com/zixun/aggregation/36297.html">应用数据(nginx.swift等),收集到的数据存储在服务器磁盘上,可以随时查询历史信息,也可以将数据发送到nagios报警. Tsar能够比较方便的增加模块,只需要按照tsar的要求编写数据的采集函数和展现函数,就可以把自定义的模块加入到tsar中. Tsar

淘宝内部分享:MySQL &amp; MariaDB性能优化

编者按:MySQL是目前使用最多的开源数据库,但是MySQL数据库的默认设置性能非常的差,必须进行不断的优化,而优化是一个复杂的任务,本文描述淘宝数据库团队针对MySQL数据库Metadata Lock子系统的优化,hash_scan 算法的实现解析的性能优化,TokuDB·版本优化,以及MariaDB·的性能优化.本文来自淘宝团队内部经验分享. 往期文章:淘宝内部分享:怎么跳出MySQL的10个大坑 MySQL· 5.7优化·Metadata Lock子系统的优化 背景 引入MDL锁的目的,最

严打“贴吧吧主” 百度接过淘宝内部反腐大旗

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断淘宝客 站长团购 云主机 技术大厅 严打"店小二" 百度接过淘宝内部反腐大旗 上半年,马云在淘宝内部掀起声势浩大的廉政行动,一批因为内外勾结而谋取不正当利益的"店小二"被"斩于刀下".下半年,另一家互联网巨头接过了内部反腐的大旗,这就是百度.因为"收费删帖",百度3名内部员工日前被警方刑拘.

淘宝旅行发布《2011-2012淘宝旅行丽江消费报告》

首份中国地方城市在线旅行消费报告正式发布 淘宝旅行发布<2011-2012淘宝旅行丽江消费报告>:艳遇之都女性游客多于男性6%近日,淘宝旅行(trip.taobao.com)在丽江正式发布<2011-2012淘宝旅行丽江消费报告>,该报告也成为首份中国地方城市在线旅行消费报告.报告指出,随着丽江当地客栈.旅行社不断"触网"开出淘宝店,2012年淘宝旅行上的丽江客栈数位居全国城市的第一名.上周,淘宝网宣布与丽江市人民政府共同签署了战略合作协议,双方将结成战略合作伙

做了一个淘宝内部优惠券分享平台支持微信公众号以及网站

做了一个淘宝内部优惠券分享平台支持微信公众号以及网站 关注微信公众号大家自己可以输入信息搜索淘宝内部优惠券 或者电脑访问 http://www.imaimaimai.cn 如果有企业需要提供相关技术也可以联系我哈

分享淘宝网店推广营销工具

很多卖家听到网店推广,主要想的是商品推广和淘宝站外推广,但是对淘宝店内的营销设置可能做的不够多,其实我觉得作为一个淘宝卖家,在考虑淘宝网店推广这个问题,必须要考虑两方面:其一是提高流量,其二是提高转化率,两者相辅相成,哪一方面做的不好都会导致推广效用降低,有流量没有转化率那么辛辛苦苦做来的很多流量就会浪费.那如何提高店铺的转化率呢?这个涉及到很多方面,比如你的店铺装修.商品描述等,这几方面之后的文章我会着重写.本文主要分析淘宝提供的一些营销工具的作用和使用技巧,从而增加店铺转化率,一些工具利用好

淘宝发布无线电子商务报告

现在最热门的话题之一是移动电子商务,但是这方面的统计数据是比较少见的.尤其是来自大型移动电商的报告几乎是看不到的. 目前,淘宝发布了有关无线电子商务报告,并深入统计和分析了开发者.移动卖家和移动用户三个方面对国内移动电子商务. 针对移动应用开发者 在品牌手机用户PV访问量方面,诺基亚以61.5%毫无疑问的成为第一名,iPhone以19.3%名列第二,在智能手机中名列第一.HTC排第三,6.6%.智能手机的爆发式增长和移动套餐的不断减低造成对普通手机造成了很大冲击.UV方面,诺基亚排第一,55.7

V5SHOP淘宝外包:“淘宝内部员工购物通道”惊现!

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;   "淘宝网离职员工泄露淘宝秘密通道!"近日,这些淘宝购物有"后门"可走的帖子盛行网络和论坛.昨日淘宝网公众与客户沟通部相关负责人接受记者采访时表示,淘宝工作人员根本没有所谓的内部购物通道,员工在淘宝上买东西和普通消费者一样,都从淘宝网首页进入. 走"通道"直接进了店铺 记者昨日点开几个网络爆料是淘宝员工购

淘宝装修之DW热点工具使用

  很多新手对于店铺的装修是一筹莫展,不知道如何下手,而且自己的经验又不足做不出漂亮的店铺来,我们会经常看到其他店铺里边非常个性的商品排放,这些用淘宝模块是实现不了的,下面我所教给大家的是一个图片如何实现自定义的链接! 大体上步骤分为3步; 1把自己的图片上传到空间,然后获取该图片的链接. 2用DW热点工具对其每个其余进行划分,获取html代码 3将代码上传到自己是店铺!以下是我所演示的图片和具体步骤及注意事项 1.先编辑好自己的图片,这里尺寸为集市店宽度为950.天猫稍微大一些为990,然后上