CoScale为容器和微服务提供全栈监控方案

本文讲的是CoScale为容器和微服务提供全栈监控方案【编者的话】本文介绍了CoSacle为容器和微服务提供的的全栈监控解决方案,包括目前业内对于监控的痛点以及CoScale引入机器学习及人工智能算法解决这些问题的思路。

“显而易见的在很多方面容器对于开发人员是一个确实很酷的技术,但是对于运维工程师,为了在他们的基础设施或者在云端支持和管理这些容器,引入了额外的有关容器管理、编排、安全、可用性和监控等方面的问题。”CoScale的产品和市场经理Peter Arijs如此说到:“这些恰恰是我们所专注的——当你迁移到容器环境时,我们保证万无一失。”

他还提到容器会引入额外的抽象层,其会颠覆传统的监控工具,如果你需要全栈可视化,你必须了解当前运行的是哪一个容器以及使用的是哪些资源,还有他们是如何绑定特定的服务的,这些服务是如何在容器内部运行的并且最终影响终端用户的。

环境是随着容器快速的潮起潮落而动态变化的,这构成了容器监测方面的挑战。如何从中获得相关的性能度量指标?如何设置有效的告警规则?

而且监控工具可以从每台宿主机的多个容器获得海量的数据,这里有不同的应用程序组件,每一个都有它自己的度量指标,这使得靠人工已经无法应对了。

CoScale的CEO Stijn Polfliet描述了在两台底层主机上运行了100多个容器的集群会有超过10000个度量指标来追踪。
Russ McKendrick在《Docker和容器生态系统》电子书中详细讨论了一些新的各种监控方法,包括IBM的Agentless System Crawler、开源项目Prometheus(其从宿主机的数据节点抓取数据)以及容器内部的代理工具比如来自于DatadogDynatrace的工具。


CoScale的Docker监控

一些流行的监控方法会在每一个容器中都放置一个代理,这造成了太多的开销,并且打破了Arijs所说的每个容器内部只运行一个进程的不变性和概念。

相反CoScale使用了一个轻量级的用Go开发的代理——无论是在宿主机,还是在一个特权容器内——它会自动识别镜像,并且不仅会与容器API和编排平台通讯交互,也可以为运行在容器内部的特定应用程序比如Nginx或者Redis启动插件,其可以在上面添加一个软件层来衡量性能是如何影响终端用户的。

当需要进行系统伸缩来提供额外的上下文环境时,CoScale可以与不同的容器编排框架集成,比如Kubernetes或者Docker Swarm。还可以基于部署事件来集成配置管理工具如ChefPuppet以及Saltstack。另外,还可以集成电商追踪分析工具比如Google AnalyticsMagento

秘密武器

CoScale聚焦于服务层面,但也会抑制不必要的杂音。软件使用机器学习的目的在于自动检测异常告警并提供相关异常的上下文环境。

“我们学习一个服务的正常行为是什么,并基于历史数据预测今天的正常行为。我们使用的另外一种异常检测是离群值检测。我们有一组有着相同表现行为的实例。如果一组容器是相同服务或者执行相同功能的一组实例的一部分,我们开启一个学习周期,但是我们组合了不同的技术来获得基于每一个用例的最佳算法。”他说到。


CoScale异常检测的可视化

“我们从通常的异常检测技术起步,但我们发现必须建立某些领域知识比如CPU占用率,以检测特定模式,并纳入到算法中。”

拥挤的领域

CoScale加入的是一个日益拥挤的基础设施监控领域市场。Big PandaDynatraceIBM BluemixNetsilSignalFx只是少数的几家使用人工智能来进行模式识别和异常检测的公司。Elastic通过收购整合Prelert也添加了行为分析功能。

创建于2013年的CoScale主要专注于欧洲市场,然而,它最近与总部位于马里兰州的咨询公司Boxboat Technology联手来扩大其在美国的业务,该公司有25个员工。

CoScale最初专注于工程领域,近年来该公司已建立起合作伙伴生态系统,包括Docker和Red Hat OpenShift、微软和HP。

公司客户包括SAP、交友网站Twoo,最近的客户是英国政府。虽然大部分客户都在容器内使用微服务,公司也支持在虚拟机里运行微服务以及在容器内部运行单体应用,Arijs说到,公司提供了软件的本地和SaaS版本。

“CoScale在保持基于容器平台的高水平服务方面起着至关重要的作用。我们评估了几种监控解决方案,但只有CoScale提供了在一个单一的工具里整合合我们的技术和业务度量指标的弹性能力,这给我们的运维工作带来了完整的可视性。”数字视频网站Limecraft的CEO和创始人Maarten Verwaestm说到。

按照数据中心和基础设施经理Joeri Beirens的数据,CoScale还为体育博彩网站Napoleon Games降低了百分之五十的监控成本。

展望未来,除了针对性能原因的监控,CoScale还会引入资源调度、提升资源利用率以及利用收集到的数据来创建一些提升效率的算法,Arijs如是说到。

原文链接:CoScale Offers Full-Stack Monitoring for Containers and Microservices (翻译:胡震)

原文发布时间为:2017-03-28

本文作者:胡震

原文标题:CoScale为容器和微服务提供全栈监控方案

时间: 2024-08-07 09:48:58

CoScale为容器和微服务提供全栈监控方案的相关文章

(祈福九寨)网易蜂巢基于容器和微服务加快迭代速度实践

题图:Afterquake by Angelo Giordano@pixabay 编辑:冷锋 文章转自网易云(微信公众号Netease_cloud) 刘超 网易云首席解决方案架构师,代码级略懂OpenStack.Hadoop.Docker.Lucene.Mesos等开源软件,10多年的云计 算架构与开发经历,积累了丰富的企业级应用的微服务化,容器化实战经验,曾出版<Lucene应用开发揭秘>,个 人博客可搜索popsuper1982. 刘超在分享了题为"网易蜂巢基于容器和微服务加快迭

Hadoop生态系统中的容器和微服务 玩出哪些新花样?

最近大多数大数据应用都部署在裸设备上,这意味着Hadoop大多数部署在非虚拟化服务器上.随着容器和微服务对应用开发圈产生影响,这种情况在发生改变. 容器和微服务都把整个应用程序的代码细分成更小粒度的片段.这样不仅简化了开发,而且更容易测试,这也是设计更灵活应用程序部署方案和代码复用的关键. 早期的时候,这种技术就应用于大数据领域,但是现在看起来在数据流处理.微服务这类领域应用也很有前途.欧洲某顶级电子商务公司的一位技术经理认为,微服务方法简化了开发工作,增强了代码复用能力. Otto GmbH公

Kontena 1.0开源容器与微服务平台释出

对于大多数人而言,容器与docker这样的字眼可能还略有耳闻,但是Kontena这样的名词,可能略有陌生,其实大可不必. Kontena是采用Ruby开发的应用容器,是一个开源的容器化业务流程工具,提供云基础设施上容器化应用的部署.管理.测量和监控工具.从构成与应用场景来看,Kontena包括:Server,Client和CLI三个部分,支持任意的云平台,比如Docker和CoreOS Rocket. Kontena架构图 而根据最新外媒报道,Kontena刚刚释出了自己最新的1.0产品.该款产

对于容器环境来说 全栈监控究竟意味着什么?

本文讲的是对于容器环境来说 全栈监控究竟意味着什么?[IT168 评论]对于大多数人来说,"全栈"(Full Stack)的意思很好理解.但是如果我们的话题涉及到监控容器环境呢?整个事情就会开始变得有些模糊了.在这篇文章中,笔者探索了在这样的一个环境下,获得全栈可见性的不同方面和可能会遇到的一些挑战. 到底什么全栈? "全栈工程师"这个术语在2010年初被提出,表示在整个应用程序堆栈中具有广泛技能的开发人员.包括前端和后端应用程序组件的组合,甚至包括基础设施层的代码

品高公开课 | 基于Docker容器的微服务架构实践

小编的话 "品高公开课"系列文章意在分享技术牛人的知识干货,每期主题都不一样哟!期待各位读者在文后发表留言,来一场技术上的交流和思想上的碰撞! 微服务以一种全新的架构设计模式,牵动了互联网应用从设计到运维整个流程方法论的变革. 而以Docker为代表的容器技术则为微服务理念提供了匹配的实现机制.本周五,将由品高软件工程师陈洪杰带讲述微服务架构的故事. 分享嘉宾 陈洪杰,目前就任品高广州云架构产品部--BingoCloud平台的软件开发工程师,拥有Docker,LXC等多个容器平台的项目

从Docker的转变,谈容器生态与微服务的发展

更多深度文章,请关注:https://yq.aliyun.com/cloud 编者按:容器技术目前已经成为技术圈内的"常识",但是容器生态能否健康发展仍然任重道远.在收获最初的赞扬之后,领军者Docker如今身陷非议:今年执意壮大发展Swarm进军编排领域,似乎Docker公司一方面惹毛了很多强劲的编排领域玩家,另一方面也并没有收获预料之中的成果.12月14日,Docker计划将其关键容器运行模块之一Containerd贡献给开源社区.在周晖先生看来,这意味着Docker的重心将回归到

Spring Boot与Docker(四):额外的微服务、更新容器、Docker Compose和负载均衡

本文讲的是Spring Boot与Docker(四):额外的微服务.更新容器.Docker Compose和负载均衡,[编者的话]本篇是<使用Spring Boot和Docker构建微服务架构>系列的第四篇,本篇我们我们将添加一些额外的服务/容器,并且更新容器,采用Docker Compose以及使用HAProxy容器进行负载均衡.原文作者为3Pillar环球旗下美国Adbanced技术集团的总监Dan Greene,Dan有十八年的软件设计和开发经验,包括在电子商务.B2B集成.空间分析.S

微服务、容器与持续交付

本文件的是微服务.容器与持续交付[编者的话]就像木炭.火硝和硫磺遇到了一起.当微服务.容器和持续交付遇到了一起,这注定会掀起一场变革. 微服务 如果非要给微服务找一个理由,单一职责就足够了.我们把因相同原因而变化的东西聚合到一起,而把因不同原因而变化的东西分离开.我们称之为单一职责原则SRP. 尤其是大型和长期运营的项目群,随着时间的推移,需求一定是不断增加和变更的.但我们不希望掉进"焦油坑".我们希望我们的项目群是符合"开闭原则"的.在某个时期我们寄希望于一个统一

微服务和容器对企业带来什么样的影响?

IT经理.架构师和开发者都尝试妥协于微服务和容器对企业IT方式的改变.在某一个层面来说这是一件好事,但是事实上,一些更深层次的东西在驱动着技术和IT. 要理解微服务和容器,可以从抓住它的价值定义开始,然后将IT和数据中心的性能与这个变革的驱动者进行匹配.最后,为了敏捷性来构建架构,而不是为了追随下一个大热点来构建架构. IT策划者和经理们一定要了解到应用程序和工作者之间基本关系的变化--特别是事件驱动型.移动的工作者--他们是使用容器和微服务的驱动者.IT方向的转变会让昂贵.长期存在的基础架构向