日志服务索引设置

什么是索引

日志服务提供通过关键词进行日志查询功能, 如果需要使用该功能(默认不打开),则首先需要在LogStore上创建索引。创建之后, 就可以通过关键词进行查询, 如:

1. KEY_1 OR KEY_2
日志中出现KEY_1 或 KEY_2
2. KEY_1 AND KEY_2
日志中同时出现KEY_1和KEY_2
3. KEY_1 NOT KEY_2
日志中出现KEY_1但不出现KEY_2
4. (KEY_1 OR KEY_2) AND KEY_3 NOT KEY_4
日志中出现KEY_1或KEY_2,并且出现KEY_3但不出现KEY_4

如何设置索引

在日志服务控制台“Project列表”页面选择指定Project点击即可进入“LogStore列表页面”,在“日志消费模式”下可以通过“创建”或者“修改”进行索引配置,如图示:

如果需要为“test-index”日志库创建索引,点击“创建”链接显示如下对话框:

其中“test-index”写入的日志内容如下:

索引属性配置说明

数据保存时间

支持7天、30天和90天。当期版本,时间只可以改小,不可以改大。 后续版本,将会支持时间改大。

全文索引属性

  • 大小写敏感

    • 选择false表示不区分,则查询“INTERNALERROR”和“internalerror”都能查询到样例日志,如果选择true,则只能通过“internalError”查询到样例日志。
  • 分词符
    • 根据指定单字符,将日志内容切分成多个关键词。例如样例日志:
    日志内容:a,b;c;D-F
    如果设置分隔符为:逗号,分号和短横线,则切分出来5个关键词:
    "a" "b" "c" "D" "F"
    

键值索引属性

  • 默认的索引会查询日志中所有key对应的内容,只要有一个命中,就会被查询到。比如日志样例中,如果查询“internalError”,在“error”和“code”两个key中都满足该查询条件,如果只需要查询“error”为“internalError”的日志内容,需要设置键值索引,如下图示:

  • 其中“键名称”即为用户指定日志内容特定字段Key,其它两项属性“大小写敏感”和“分词符”与“全文索引属性”中的功能一致,创建完成如上图的索引属性后,可根据如下查询获取“error”字段为“internalError”的日志内容:

    error:internalError
    

合理配置索引

根据具体的查询业务需求,可以选择合适的索引方法,既能达到高效查询的需求,也能节省使用费用。

  • 所有查询不需要指定键名称(Key)

    • 可以只设置“全文索引属性”
    • 无需设置“键值索引属性”
  • 部分查询需要指定键名称(Key)
    • 根据需求,对特定键(Key)创建键值索引
时间: 2024-12-29 05:11:57

日志服务索引设置的相关文章

通过日志服务调试分布式系统

为了解决分布式系统开发过程中调试和分析性能的问题,在过去阿里云产品的开发调试过程中,我们开发了Tracer工具.Tracer主要用来解决分布式系统执行过程关联问题,它的基本原理如下: 用户在关键程序的入口埋点以日志方式输出时间.Trace ID.上下文等信息.当用户请求经过埋点函数时,输出日志.通过以上步骤,我们就能通过关联同样的Trace ID来记录一个请求生命周期内访问多个进程的情况. 当携带Trace ID的请求每一次执行到这个宏,会留下这样一条日志: [2013-07-13 10:28:

日志服务(原SLS)新功能发布(9)--Logtail配置支持主题(Topic)设置功能

日志服务中日志为日志服务中处理的最小数据单元,采用半结构化数据模式定义一条日志,具体数据模型包括主题(Topic).时间(Time).内容(Content)和来源(Source),详细描述请参考核心概念.其中主题(Topic)为用户自定义字段,用以标记一批日志(例如:访问日志根据不同站点进行标记),默认值为空字符串(空字符串也为一个有效的主题).用户可以通过使用REST API/SDK上传数据时设置主题.除此之外,Logtail客户端为日志服务用户常用的数据接入客户端,目前也支持设置使用不同的属

日志服务(原SLS)新功能发布(14)--支持仅对指定键进行索引

背景 日志服务于6月底开始商业化收费(收费细则),如何更加经济使用日志服务请参考文档,其中LogSearch(索引功能)按照需要索引的日志数据量进行收费,并且只支持默认开启全文索引,指定键查询则需要设置键值索引属性(索引功能使用说明),对于某些用户明确只需要指定某个Key进行查询,全文索引属性无法发挥作用,目前关闭全文索引功能已经上线,支持用户仅设置指定Key进行索引查询. 使用说明 设置方法 日志服务控制台点击已有Project进入"LogStore列表"页面,在"日志消费

5分钟搭建网站实时分析:Grafana+日志服务实战

阿里云日志服务是针对日志类数据一站式服务,用户只需要将精力集中在分析上,过程中数据采集.对接各种存储计算.数据索引和查询等琐碎工作等都可以交给服务.2017年9月日志服务加强日志实时分析功能(LogSearch/Analytics),可以使用查询+SQL92语法对日志进行实时分析. 在结果分析可视化上,除了使用自带Dashboard外,还支持DataV.Grafana.Tableua.QuickBI等对接方式.本文主要通过一个例子,演示如何通过日志服务对Nginx日志进行分析与可视化. 演示:线

日志服务自助排查问题

收集端错误 根据ilogtail.LOG中具体错误来判断 文件位置:/usr/local/ilogtail/ilogtail.LOG,用户需要关心的是ERROR/WARNNING级别日志. 常见错误 在日志中出现下列错误,表示gbk日志转码utf8错误,请确认日志文件是gbk编码 convert GBK to UTF8 fail, errno 日志切行错误,请查看日志行首正则表达式是否正确,另外保证单条日志大小在512KB以内. no log lines parse success : plea

阿里云日志服务(SLS)安装使用方法简介

使用前准备 开通阿里云账号 申请一台阿里云服务器(Elastic Compute Service,简称 ECS) 开通日志服务 登录阿里云后进入控制台,选择产品与服务-日志服务,根据提示开通日志服务 创建日志配置 日志服务开通后,跳转到控制台,点击创建project 填入project相关属性,注意所属区域要填成你申请的阿里云服务器(ECS)对应所在的区域 project创建成功后,会提示创建logstore(project和logstore属于包含关系,一个project下可创建多个logst

日志服务(原SLS)新功能发布(12)--日志投递ODPS支持自动建表授权

背景 日志服务支持"日志消费","日志索引"和"日志投递"三种消费模式,"日志消费"功能默认支持,支持日志数据上传到服务端3秒内进行实时消费,并且支持保留48小时,"日志索引功能"支持30秒内进行查询,并且在创建时支持保存7天/30天/90天,"日志投递"能够在分钟级别将数据投递至OSS或者MaxCompute(原ODPS). 之前"日志投递"功能创建投递规则至Max

打通钉钉+WebHook:日志服务告警升级

阿里云日志服务是针对实时数据一站式服务,用户只需要将精力集中在分析上,过程中数据采集.对接各种存储计算.数据索引和查询等琐碎工作等都可以交给日志服务完成. 9月日志服务升级实时分析功能(LogSearch/Analytics),可以使用查询+SQL92语法对日志进行实时分析,并在结果分析可视化上,支持自带Dashboard.DataV.Grafana.Tableua(通过JDBC).QuickBI等可视化方式. 在监控场景中光有可视化是不够的,日志服务提供告警与通知功能如下: 将查询(Saved

日志服务使用Python SDK快速入门指南

为快速开始使用日志服务Python SDK,请按照如下步骤进行: 创建阿里云账号 为了访问阿里云日志服务,你需要有一个阿里云账号.如果没有,可首先如下创建阿里云账号: 访问阿里云官方网站,点击页面上"注册"按钮. 按照屏幕提示完成注册流程并进行实名认证. 为了更好地使用阿里云服务,建议尽快完成实名认证,否则部分阿里云服务将无法使用.具体实名认证流程请参考这里 获取阿里云访问秘钥 为了使用SDK,你必须申请阿里云的访问秘钥: 登陆阿里云管理控制台. 访问阿里云秘钥管理页面. 选择一对用于