斌哥的 Docker 进阶指南—监控方案的实现

过去的一年中,关于 Docker 的话题从未断过,而如今,从尝试 Docker 到最终决定使用 Docker 的转化率依然在逐步升高,关于 Docker 的讨论更是有增无减。另一方面,大家的注意力也渐渐从 “Docker 是什么”转移到“实践 Docker”与“监控 Docker”上。

本文转自刘斌博文 「如何选择 Docker 监控方案 」 ,文中刘斌从技术的角度深入解释了 Docker 监控的数据采集原理,介绍了现有开源的监控方案,以及能够对 Docker 进行监控功能的主流 SaaS 服务工具。

上一篇文章中介绍了 Docker 监控目的及技术基础,本篇文章将介绍,Docker 监控方案的实现。

Docker 监控方案的实现

  • 自己动手 + 开源软件
  • SaaS

评价标准

  • 功能

    • 信息详细程度
    • 查询的灵活程度
    • 报警 + API
  • 灵活性
    • 定制
  • 成本
    • 学习、开发
    • 维护
  • 运维
    • 部署复杂程度
  • 高可用

需要考虑的基本要素如上所示,不多述。

自己动手

  • 灵活性强
  • 成本高

这里的成本包括开发成本,开发成本可能包括招人和培训,开发时间和填坑时间。开发完了还需要维护成本,而且随着Docker的升级,可能还需要对metric的采集实现进行升级,以及各种bugfix。

自己动手打造监控方案

  • 采集
  • 存储
  • 展示
  • 报警(动作)

StatsD 是 Flickr 公司首先提出来的,后来由 Esty 公司发扬光大的一个轻量级的指标采集模块。

简单来讲,StatsD 就是一个简单的网络守护进程,基于 Node.js 平台(Esty实现,其实也有其他语言版本),通过 UDP 或者 TCP 方式侦听各种统计信息,包括计数器和定时器,可以用来采集操作系统、不同数据库、中间件的数据指标,进行缓存、聚合,并发送到Graphite 等存储和可视化系统中。

StatsD 具有以下优点:

  • 简单

首先安装部署简单,且StatsD 协议是基于文本的,可以直接写入和读取,方便实现各种客户端和SDK。

Cloud Insight的探针也是采用这些方式,我们有些SDK也是基于StatsD的,目前有RubyPythonJava的,在 GitHub 上可以看到。

  • 低耦合性

StatsD 守护进程采取 UDP 这种无状态的协议,收集指标和应用程序本身之间没有依赖,不会阻塞应用,不管StatsD的状态是运行中,还是没在运行,都不会影响应用程序,应用程序也不关心StatsD是否收到数据。

  • 易集成

StatsD非常容易整合其他组件,可以自己编写采集业务逻辑,发送到StatsD守护进程即可。也就是说用户的工作很简单,只需要按定义好的规则采集数据发送到Stats,然后用Graphite存储、展示,通过使用Riemann进行报警。

Tcollector

  • 来源于OpenTSDB

Tcollector 是一个采集指标数据并保存到OpenTSDB的框架,你可以使用该框架自己编写采集的业务逻辑。类似StatsD,运行在客户端,收集本地的metric信息,推送到OpenTSDB。

Collectd

  • System statistics collection daemon
  • 存储到RRD
  • 插件机制(input/output)
  • 简单报警功能

Collectd即是一个守护进程,也是一个框架,类似StatsD,它性能非常好,采用C语言编写。Collectd不直接支持从Docker中取数据,但是我们可以自己编写插件来采集性能指标数据。

Collectd有强大的插件机制,已经实现了包括amqp、rrdtool、graphite、http、kafka、redis、mongodb、OpenTSDB以及CSV文件等在内的各种插件。

在4.3版本之后还支持简单的基于阈值检查的报警机制。

cAdvisor是一个用于收集、聚合处理和输出容器运行指标的守护进程。而且cAdvisor基本算是一个获取Docker性能数据的标配了吧。

1.

一句命令就可以启动cAdvisor容器,访问8080端口即可看到性能指标数据。cAdvisor可以通过storage_driver参数将数据存到influxdb,同时也可以将metric输出为Prometheus的格式,所以很多自定义Docker监控系统都会采取cAdvisor + Prometheus 的组合。

存储TSDB

  • OpenTSDB
  • Influxdb
  • RRDTool
  • Graphite

关于时序列数据库,可以看附录中相关的介绍文章。推荐使用OpenTSDB或者Influxdb,简单对比一下各自特点如下:

  • OpenTSDB

    • Java & HBase
    • 易扩展(集群功能强大)
    • 机器多,运维稍显麻烦
  • Influxdb
    • Golang
    • 集群功能不太成熟
    • 有类SQL的查询语句
    • 单台即可工作

这两者都支持自由模式和多维度,非常适合用于采用tag机制的数据模式建模。
开源可视化工具

  • Graphite
  • Influxdb + Grafana
  • Prometheus

光有数据是不够的,raw data没有任何意义,我们需要良好的可视化组件来展示数据和数据的内在意义,发挥数据的作用。

我们也可以将数据存储和展示交给其他开源软件。

如果你的数据采集和存储都是自己来完成的,只想使用一个外部的图形化界面的话,选Grafana应该没错,Grafana展现形式非常丰富,配置也很灵活。

以上,先到这里。

下一章,刘斌将为大家介绍 Docker 监控的开原方案,主流 SaaS 服务,及其特点。

超好用的监控软件 Cloud Insight 不仅能监控 Docker,还能对 Nagios 进行更好的可视化哦~

阅读更多技术文章,请访问 OneAPM 官方博客

本文转自 OneAPM 官方博客

时间: 2024-10-26 13:30:22

斌哥的 Docker 进阶指南—监控方案的实现的相关文章

斌哥的 Docker 进阶指南

过去的一年中,关于 Docker 的话题从未断过,而如今,从尝试 Docker 到最终决定使用 Docker 的转化率依然在逐步升高,关于 Docker 的讨论更是有增无减.另一方面,大家的注意力也渐渐从 "Docker 是什么"转移到"实践 Docker"与"监控 Docker"上. 本文转自刘斌博文「如何选择 Docker 监控方案 」,文中刘斌从技术的角度深入解释了 Docker 监控的数据采集原理,介绍了现有开源的监控方案,以及能够对 D

DockOne微信分享(一三七):Kubernetes主机和容器的监控方案

本文讲的是DockOne微信分享(一三七):Kubernetes主机和容器的监控方案[编者的话]随着Docker容器云的广泛应用,大量的业务软件运行在容器中,这使得对Docker容器的监控越来越重要.传统的监控系统大多数是针对物理机或者虚拟机设计的,而容器的特点不同与传统的物理机或者虚拟机,如果还是采用传统的监控系统,则会增加监控复杂程度,那么如何对容器进行监控呢? [3 天烧脑式基于Docker的CI/CD实战训练营 | 北京站]本次培训围绕基于Docker的CI/CD实战展开,具体内容包括:

灵雀云首席架构师:Docker容器的监控技术

前言     在Docker容器技术飞速发展之时,监控容器的效率与健康也变成了至关重要的需求.在Docker资深提供的监控技术逐渐成熟时,来自第三方的监控工具也同时步入了人们的视线.   本文将为大家介绍Docker容器的监控技术,并讨论时下在容器生态圈最受欢迎的监控工具.同时,来自美国的Saurabh也将分享容器技术在国外的应用趋势以及他个人的技术洞察.      大家好,我是Saurabh Wagh,目前在灵雀云负责容器服务相关的产品技术架构.我本人base在美国西雅图,恰好近期在北京参观几

CoScale为容器和微服务提供全栈监控方案

本文讲的是CoScale为容器和微服务提供全栈监控方案[编者的话]本文介绍了CoSacle为容器和微服务提供的的全栈监控解决方案,包括目前业内对于监控的痛点以及CoScale引入机器学习及人工智能算法解决这些问题的思路. "显而易见的在很多方面容器对于开发人员是一个确实很酷的技术,但是对于运维工程师,为了在他们的基础设施或者在云端支持和管理这些容器,引入了额外的有关容器管理.编排.安全.可用性和监控等方面的问题."CoScale的产品和市场经理Peter Arijs如此说到:"

Docker 容器内存监控原理及应用_docker

Docker 容器内存监控 linux内存监控 要明白docker容器内存是如何计算的,首先要明白linux中内存的相关概念. 使用free命令可以查看当前内存使用情况. [root@localhost ~]$ free total used free shared buffers cached Mem: 264420684 213853512 50567172 71822688 2095364 175733516 -/+ buffers/cache: 36024632 228396052 Sw

我的碎碎念:Docker入门指南

本文讲的是我的碎碎念:Docker入门指南,[编者的话]之前曾经翻译过很多Docker入门介绍的文章,之所以再翻译这篇,是因为Anders的角度很独特,思路也很调理.你也可以看下作者的演讲稿<Docker, DevOps的未来>.本文介绍了Docker的一些基本概念.诱人的特性.Docker的工作原理.日常管理基本操作,以及一些Docker的问题的解决方案. 什么是Docker,你应该知道些什么? 相比很多人的解释,我相信说Docker是一个轻量级的虚拟机更容易理解.另外一种解释是:Docke

《从Excel到R 数据分析进阶指南》一第4章 数据预处理4.1 数据合并

第4章 数据预处理 从Excel到R 数据分析进阶指南 本章是对清洗完的数据进行整理,以便后期的统计和分析工作,主要包括数据表的合并.排序.数据分列.数据表匹配和设置索引列等工作. 4.1 数据合并 首先是对不同的数据表进行合并.数据表的合并有3种,即横向合并.纵向合并和增加新字段.我们这里创建一个新的数据表df1,并将df和df1两个数据表进行纵向合并. df1<-data.frame(id=c(1007,1008,1009,1010), city=c("Beijing",&q

Docker 终极指南

Docker 终极指南 Docker是一个相对较新且发展非常快速的项目,可用来创建非常轻量的"虚拟机".注意这里的引号非常重要,Docker创建的并非真正的虚拟机,而更像是打了激素的chroot,嗯,是大量的激素. 在我们继续之前,我先说下,截至目前(2015年1月4日)为止,Docker只能在Linux上工作,暂不支持Windows或OSX(译者注:不直接支持).我稍后会讲到Docker的架构,你会明白其中的原因.所以,如果想在非Linux平台上使用Docker,你需要在虚拟机里运行

《从Excel到R 数据分析进阶指南》一导读

序 从Excel到R 数据分析进阶指南 Excel是数据分析中最常用的工具.本书通过R与Excel的功能对比介绍如何使用R通过函数式编程完成Excel中的数据处理及分析工作.我们总结出最常用的50个函数.通过这些函数介绍如何通过R完成数据生成和导入.数据清洗.预处理,以及最常见的数据筛选,回归预测和假设检验等最常见的操作. 目 录 第1章 生成数据表1.1 导入数据表1.2 创建数据表第2章 数据表检查2.1 数据维度(行列)2.2 查看数据表2.3 查看特定列的格式2.4 查看空值2.5 查看