日志服务(原SLS)新功能发布(13)--Logtail支持自定义标识自动扩容机器组

背景

日志服务提供多种途径帮助用户方便快速写入日志数据到指定日志库,具体包含Logtail客户端、各种语言SDK、TrackingPixel以及REST API等方式,详细描述请参考文档“如何写入日志”。

其中Logtail客户端支持快速接入单行、JSON、分隔符等多种日志文件格式以及syslog协议(常见日志收集配置),并且提供80MB/s的大吞吐量,同时性能相比同类工具有10倍提升仅消耗15%的资源(评测文档)。

Logtail客户端使用的一般流程包括三个步骤:创建机器组管理日志数据所在机器、创建日志收集配置、绑定日志收集配置与指定机器组。其中“创建机器组”的默认模式需要用户填写机器(常见为ECS虚拟机,非ECS虚拟机可以参考文档)IP列表,但是在实际使用中机器组机器经常会发生变化,如果没有及时同步更新,新增加的机器无法收集日志,针对这类扩容机器日志问题日志服务发布“自定义机器标识”功能。

示例场景

常见的系统通常由多个模块组成,每个模块可以包含多台机器,比如常见网站分为前端HTTP请求处理模块,缓存模块,逻辑处理模块和存储模块,每部分都可以进行单独的水平扩展,因此在新增机器时需要能够实时进行日志采集。

使用方式

1)创建用户自定义标识

安装完成Logtail客户端后(安装文档),对于示例场景中的模块可以分别分成4类机器标识(http_module/cache_module/logic_module/store_module),并在机器上根据不同机器的作用分别创建指定标识文件。

2)创建机器组

创建机器组时“机器组标识”选择“用户自定义标识”,按照模块分类创建4个机器组,并在下方“用户自定义标识”输入框中填入上一步中机器本地创建自定义标识。“http_module”机器组如下图所示:

完成上述步骤后,可以在机器组“查看状态”中查看使用相同自定义标识的机器列表及其心跳状态,如下图:

根据上图可以看到10.1.1.1和10.1.1.2两台拥有相同的机器标识,同时两台机器也会同步机器组“http-machine-group”应用的配置。

3)扩容机器

当模块需要扩容机器时,比如前端模块增加机器10.1.1.3,只需要完成步骤1)和2)完成Logtail安装和创建自定义标识为http_module的文件即可自动同步不同机器组的配置,成功执行操作后可以在机器组“查看状态”中看到新增机器。

相关功能

如果需要在模块中再对机器组进行分类,比如前端模块分别为vip用户normal用户服务,可以使用“机器组Topic”功能设置不同的topic属性,具体使用方式可以参考Logtail配置支持主题(Topic)设置功能。

其它

更多日志服务内容请关注产品主页,在日志处理圈子中交流。

时间: 2024-11-10 00:11:50

日志服务(原SLS)新功能发布(13)--Logtail支持自定义标识自动扩容机器组的相关文章

日志服务(原SLS)五月份发布:支持SQL进行日志实时分析

日志服务(原SLS)是针对大规模日志实时存储与查询服务,半年内我们逐步提供文本.数值.模糊.上下文等查询能力.在五月份版本中日志服务提供 SQL 实时统计分析功能 ,能够在秒级查询的基础上支持实时统计分析. 支持SQL包括:聚合.Group By(包括Cube.Rollup).Having.排序.字符串.日期.数值操作,以及统计和科学计算等(参见分析语法). 如何使用? 例如,对访问日志(access-log)查询 "状态码=500,Latency>5000 us,请求方法为Post开头&

日志服务(原SLS)新功能发布(9)--Logtail配置支持主题(Topic)设置功能

日志服务中日志为日志服务中处理的最小数据单元,采用半结构化数据模式定义一条日志,具体数据模型包括主题(Topic).时间(Time).内容(Content)和来源(Source),详细描述请参考核心概念.其中主题(Topic)为用户自定义字段,用以标记一批日志(例如:访问日志根据不同站点进行标记),默认值为空字符串(空字符串也为一个有效的主题).用户可以通过使用REST API/SDK上传数据时设置主题.除此之外,Logtail客户端为日志服务用户常用的数据接入客户端,目前也支持设置使用不同的属

日志服务(原SLS)新功能发布(10)--Logtail配置支持日志转换、过滤

日志收集流程 对于日志收集的客户端,其work pipeline通常包括三个过程:Input,Process,Output. Input: 适配各类日志接入源,目前Logtail支持文本文件.Syslog(TCP流式)两种形式数据写入. Process:自定义日志处理逻辑,常见的有:日志切分.日志编码转换.日志结构化解析.日志过滤等等. Output:定义日志输出,例如Logtail以HTTP协议写数据到日志服务. 今天要介绍Logtail在日志处理阶段的两个新功能:转码.过滤. 日志转码 日志

日志服务(原SLS)新功能发布(15)--控制台支持查看协同消费组(ConsumerGroup)消费进度

背景 日志服务中分区(Shard)是每个日志库下基本读写单元,每个分区能承载一定量的服务能力,随着日志数据不断增加,需要通过分裂增加Shard数量,对于多个Shard如果直接通过PullLogs接口拖取数据的话,需要处理负载均衡和故障恢复等各种问题,因此强烈建议使用Consumer Library(storm和spark streaming已支持通过conusmergroup消费数据),用户只需要关心数据处理逻辑,同时在控制台也提供协同消费进度查看功能供用户进行使用. 使用方式 查看Consum

日志服务新功能发布(1)--支持保序写入和消费

日志服务在上周新上线的版本,支持数据的保序写入和消费,shard的split和merge, server端consumer group的原生支持(除去对mysql的依赖),数据自动同步至oss等一些列新功能.本文主要介绍数据的保序写入和消费的功能. LogStore & Shard 关系 每个LogStore对应一类日志,对于同一个LogStore下的数据,所有处理逻辑相同(索引方式.导入odps.oss等配置) 每个LogStore由一个或多个shard组成,用于支持数据写入水平扩展 每个sh

日志服务新功能发布(2)--弹性伸缩(Merge/Split)

在之前的文章<日志服务(原SLS)新功能发布(1)--支持保序写入和消费>中,我们提到了Shard支持Key映射的特性,通过这个特性能够支持对序有需求的应用场景.今天我们给大家介绍一个在削峰填谷或流量突增情况下的功能:弹性伸缩.在生产中我们往往会面临峰值和低值的情况,也会遇到因业务层映射不均衡,导致某一个分区(shard)有非常大流量的场景,弹性伸缩(Merge/Split)就是为此设计的利器. 使用弹性伸缩的应用场景 场景1(视频类):根据峰值.底值弹性扩容,控制成本 用户A是一个视频类网站

日志服务(原SLS)新功能发布(6)--使用logtail接入syslog数据

Logtail支持通过tcp协议接收syslog日志 Logtail 是日志服务(原SLS)客户端,支持文本类日志数据的收集.考虑到syslog功能是linux平台上广泛使用的日志集中化管理方案,新版本的Logtail将支持syslog数据接入,目前Logtail数据接入方式如下:最左侧是支持syslog日志输出的模块,包括nginx.java语言.路由器.linux服务器等. syslog是什么? 可以参考鸟哥的Linux私房菜. 使用Logtail的syslog功能有哪些优势? 和利用文本文

日志服务(原SLS)新功能发布(5)--使用Logstash接入数据

日志服务结合Logstash 目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,参考. 今天要介绍一个新方法:使用著名开源软件Logstash采集机器日志数据,并结合日志服务插件完成数据上传日志服务功能. 用户可以在阿里云ECS,或者是IDC机房机器,又或者是其它云厂商的虚拟机上安装Logstash及插件,进行简单的配置,轻松地将本机日志数据搬到云上来. IIS日志场景 以Windows平台上最常见的IIS(Internet Information Services)日志

日志服务(原SLS)新功能发布(12)--日志投递ODPS支持自动建表授权

背景 日志服务支持"日志消费","日志索引"和"日志投递"三种消费模式,"日志消费"功能默认支持,支持日志数据上传到服务端3秒内进行实时消费,并且支持保留48小时,"日志索引功能"支持30秒内进行查询,并且在创建时支持保存7天/30天/90天,"日志投递"能够在分钟级别将数据投递至OSS或者MaxCompute(原ODPS). 之前"日志投递"功能创建投递规则至Max