时间序列数据库InfluxDB初探(r12笔记第74天)

  性能监控中的很多数据都是根据时间维度来生成的,就算是很少的几台服务器,如果设置了大量的监控项,每天的数据量也是很客观的,再加上是成千上万的服务器,这个量级就很大了。

  时间序列在自动化运维/智能运维的技术会场中经常能听过,而自己在QCon上对于宇辰分享的时间序列相关的主题很感兴趣。里面有非常多的门道和空间,其实等我意识到的时候,外面都不知道火了多久了。

  所以今天就抽空看了下这方面的东西,不对的地方还希望多多指正。

  时间序列(Time Series)数据库目前的使用情况如何,可以通过DB-Engines得到一个基本的情况。这是刚刚抓取到的数据。

  头把交椅的是InfluxDB,所以我想先了解一下它。

  对于InfluxDB目前我知道两个站点,一个是官网,一个是github。根据官网提供的信息,目前最新版本为1.2

   这样一个数据库安装起来非常简单,就是下载直接安装,v0.8是通过wget的方式得到rpm初始化,而到了v1.2里面是通过配置yum源的方式来构建,本质都一样,下面是官网的而一个安装的界面,可以看到目前支持的平台很多,咦,怎么没有windows平台。

 而在github上,那叫一个繁荣,你看看星就知道了。

这样一个基于事件和指标的数据库,是使用go语言开发的,所以从通读源码这块来深入学习,空间还很大,go语言的同学还是有福了。rpm的包打开是15M左右,当然不是说源码是15M.

官网链接的指导链接是:

https://docs.influxdata.com/influxdb/v0.8/introduction/getting_started/

通过菜单的功能项可以看出来支持的API还是很全面的,可以对数据进行读取,写入,统计分析,还有类似SQL的查询语言。

  而UI的部分算是它很有特色的部分,在可视化方面的工具还真不少,比如官网的工具,比如Grafana,一个纯粹的html/js应用,图形的展现和渲染效果很赞,Percona的监控管理工具PMM就配合Grafana做了数据的展现,看起来很炫。

   后续来逐步解析时间序列数据库。

时间: 2024-08-01 05:06:32

时间序列数据库InfluxDB初探(r12笔记第74天)的相关文章

MySQL中GTID和自增列的数据测试(r12笔记第38天)

  昨天的一篇文章,今天有不少网友向我确认一些细节,我想最近正好在看GTID的东西,可以揉在一起来说说.    GTID这个概念看似简单,实际上还是有不少的门道. 我们来从架构的设计角度来看看存在哪些场景需要考虑GTID的变化.   一主两从的架构模式下GTID的变化   我们就以一主两从的架构为基准进行阐述.在这个架构模式下我们会用到MHA的方案.    如果这个时候Master节点宕机了,MHA就会开启检查机制. 这个时候Slave 1节点就会变为新的Master,Slave 2会从Slav

时间序列数据库武斗大会之 KairosDB 篇

[编者按]刘斌,OneAPM后端研发工程师,拥有10多年编程经验,参与过大型金融.通信以及Android手机操作系的开发,熟悉Linux及后台开发技术.曾参与翻译过<第一本Docker书>.<GitHub入门与实践>.<Web应用安全权威指南>.<WEB+DB PRESS>.<Software Design>等书籍,也是Docker入门与实践课程主讲人.本文所阐述的「时间序列数据库」,系笔者所负责产品 Cloud Insight 对性能指标进行聚

时间序列数据库(HiTSDB)压缩算法的FPGA加速

Gorillas是facebook开源的一款时间序列数据库,用于存储其内部数据中心监控指标,其格式为一个kev-value 对,key表示时间,value表示监控的值:这种数据库在集团内部也有着广泛的使用,尤其是在IoT场景下,数以千万的IoT设备工作的一些指标需要采集并存储.阿里云使用FPGA进行加速时间序列数据库HiTSDB. 高性能时间序列数据库 (High-Performance Time Series Database , 简称 HiTSDB) 是一种高性能,低成本,稳定可靠的在线时序

总结一下这一百天来的收获(r12笔记第100天)

   1200多天,听起来是一个蛮吉利的数字,也伴随了我1200多个日日夜夜,无论是出差还是节假日,我都尽量腾出时间来写一些东西,就这样不光有技术博客,还有了游记,生活感悟和日常琐事的思考.    当然,维护这么一个自媒体的号对我来说,有得有失,是得到的多还是失去的多,我觉得是一个平衡.就如同工作和生活的平衡一样.    有很多朋友会问我r12笔记里的r是什么意思,每次有朋友问我,我都会解释给他,就是round,一轮的意思,一轮100天,仅此而已.    而这100天对我来说意味着什么呢.我简单

Oracle数据库重启后密码失效的问题(r12笔记第91天)

  前几天,我和系统运维的同事处理一个看似诡异的问题,他找到我说应用服务器启动的时候报了DB的Error,但是错误信息有限,他也没法完全定位到错误的原因,所以就希望我来帮忙看看这个问题是怎么回事,怎么解决.    从应用服务启动的日志来看,错误信息是连接池的地方有了问题. Error: 2017-06-09 10:04:59 init connpool:one or more conn open error. Error: 2017-06-09 10:12:50 init connpool:on

Oracle数据库端口突然无法访问的分析(r12笔记第46天)

 最近碰到一个蛮有启发意义的案例.是数据库监听相关的,但是实际的原因却又出乎意料.  问题的反馈受益于开发同学,一个开发同学在lync上找到我,说现在一个线上业务的数据库访问有些问题,想问问我是否有什么建议.大体了解了下,他们在使用一个非1521的端口,比如端口是1525,他们在业务端看到的错误信息类似下面的样子: java.sql.SQLException: Io exception: The Network Adapter could not establish the connection

《实现JSP分页显示数据库》的阅读笔记

js|笔记|分页|数据|数据库|显示 这篇文章介绍的是用javabean和jsp页面来实现数据的分页显示,例子中所使用的数据库是Mysql. 1.先看javabean 类名: databaseBean.java: 以下为databaseBean.java的代码: package database_basic;import java.sql.*;import java.util.*; public class databaseBean{//这是默认的数据库连接方式private String DB

HBase数据库性能优化总结笔记

垃圾回收优化 master基本不会遇到垃圾回收的问题.由于memstore的刷写机制是不连续的,所以java虚拟机的堆内存会出现孔洞.快速刷写到磁盘的数据会被划分到新生代,这种空间会被优先回收数据停留的时间太长,会被划分到老生代甚至终生代.而且老生代和终生代一般占据了好几个G,而新生代一般就几百M而已 新生代空间由此得出新生代的空间一般的分配如下     -XX:MaxNewSize=128m -XX:NewSize=128m   可以缩写为     -Xmn128m   设定好之后观察是否合理

Informix时间序列数据库解决海量数据处理的应用实例

时间序列函数优越的查询速度远超过关系型数据库.此等函数的应用是成就智能电网的基本手段.Informix 时间序列目前广泛应用于股票交易系统,http://www.aliyun.com/zixun/aggregation/14045.html">网络管理系统,智能电表系统,电信计费系统等多个领域中取得了良好的效果. 1. 概述 Informix 时间序列(Informix TimeSeries)是 Informix 数据库解决海量数据处理的一项重要技术.该技术采用特殊数据存储方式,极大提高了