日志服务（原SLS）性能优化：一个SQL一秒分析一亿日志

一秒可以做什么？

点击日志刷入磁盘，通过Agent采集走？
流计算订阅到日志，内存中更新计数？

日志服务（原SLS）提供LogSearch/Analytics功能在一秒内还能：实时检索到该日志，并且提供5个组合条件查询10亿级数据，5个维度聚合SQL分析1亿条数据能力

线上系统20亿访问日志分析演示（大约1分钟）：

想自己试试看？我们准备3个亿级数据源，欢迎来试玩

访问日志
分析行车轨迹
订单与销售额对账日志

该版本重要功能（ReleaseNotes）：

对底层存储进行深度优化，规模提升1000倍（在保证实时性下均能到亿以上级别）
增强分析与查询能力，同样延时下提供更强计算能力+更大规模+存储量，单位成本仅为自建ELK 10-13%
所见即所得Dashboard功能：将查询分析另存为实时图表/报警
Logtail新增本地状态查询功能，实时掌握Agent运行历史与现状

赶紧来试试吧：https://www.aliyun.com/product/sls

时间： 2024-10-04 00:42:57

日志服务（原SLS）性能优化：一个SQL一秒分析一亿日志的相关文章

日志服务(原SLS)五月份发布：支持SQL进行日志实时分析

日志服务(原SLS)是针对大规模日志实时存储与查询服务,半年内我们逐步提供文本.数值.模糊.上下文等查询能力.在五月份版本中日志服务提供 SQL 实时统计分析功能 ,能够在秒级查询的基础上支持实时统计分析. 支持SQL包括:聚合.Group By(包括Cube.Rollup).Having.排序.字符串.日期.数值操作,以及统计和科学计算等(参见分析语法). 如何使用? 例如,对访问日志(access-log)查询 "状态码=500,Latency>5000 us,请求方法为Post开头&

ORACLE性能优化之SQL语句优化

文章来源:http://blog.csdn.net/jdzms23/article/details/23850783 版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[-] SQL语句执行过程 1 SQL语句的执行步骤 2 典型SELECT语句完整的执行顺序 3 SQL语句执行过程优化器及执行计划 1 SQL优化方法论合理应用Hints 1Hints 索引及应用实例 1什么是索引 2索引分类 3什么时候使用索引 4改写SQL使用索引 5索引应用其他优化技术及应用 1其他优化

数据库性能优化常用sql脚本总结

最近闲来无事,正好抽出时间,来总结总结 sql性能优化方面的一下小技巧,小工具.虽然都是些很杂的东西,但是我个人觉得,如果真的清楚了里面的一下指标,或许真的能抵半个DBA. 有些时候,找不到DBA或者根本就没有DBA的时候,程序员就只能靠自己想办法了解决.久而久之,久病成医,说不定就成了半个DBA了. 这里面的一些脚本,有自己总结的,也有网上找的.希望能给程序员在性能优化方面一些帮助.(PS: 这些脚本,都是SQL Server 下的). 1. 当前连接的Session 有多少 SEL

MySQL · 性能优化· CloudDBA SQL优化建议之统计信息获取

阿里云CloudDBA具有SQL优化建议功能,包括SQL重写建议和索引建议.SQL索引建议是帮助数据库优化器创造最佳执行路径,需要遵循数据库优化器的一系列规则来实现.CloudDBA需要首先计算表统计信息,是因为: 数据库优化器通常是基于代价寻找执行路径: SQL优化建议所针对的数据库不限于MySQL数据库,也不局限于某一个特定版本: 1. 基本原则数据库统计信息在SQL优化起到重要作用.用来估算查询条件选择度的常见统计信息包括表统计信息和字段统计信息.DBA计算查询条件选择度或代价时经常通过

性能优化案例-SQL优化

最近刚做了系统迁移,需要将老系统的数据迁移到新的系统中,老系统中是分了100张表,表的数据量分配不均匀,有些表有40G左右的数据,而有些表的数据又比较少. 刚开始处理的方式是,先获取该表数据的总量,然后进行分页处理,迁移的sql如下: 第一步: select count(1) from some_table where type_id = #type_id#; 第二步: select * from some_table where type_id = #type_id# limit #offse

MySQL 数据库性能优化之SQL语句及查询优化

优化目标减少 IO 次数 IO永远是数据库最容易瓶颈的地方,这是由数据库的职责所决定的,大部分数据库操作中超过90%的时间都是 IO 操作所占用的,减少 IO 次数是 SQL 优化中需要第一优先考虑,当然,也是收效最明显的优化手段. 降低 CPU 计算除了 IO 瓶颈之外,SQL优化中需要考虑的就是 CPU 运算量的优化了.order by, group by,distinct - 都是消耗 CPU 的大户(这些操作基本上都是 CPU 处理内存中的数据比较运算).当我们的 IO 优化做到一定

MySQL数据库性能优化之SQL优化

这篇文章是以 MySQL 为背景,很多内容同时适用于其他关系型数据库,需要有一些索引知识为基础. 优化目标 1.减少 IO 次数 IO永远是数据库最容易瓶颈的地方,这是由数据库的职责所决定的,大部分数据库操作中超过90%的时间都是 IO 操作所占用的,减少 IO 次数是 SQL 优化中需要第一优先考虑,当然,也是收效最明显的优化手段. 2.降低 CPU 计算除了 IO 瓶颈之外,SQL优化中需要考虑的就是 CPU 运算量的优化了.order by, group by,distinct - 都是

Android 性能优化之优秀工具以及分析

http://blog.udinic.com/2015/09/15/speed-up-your-app

日志服务（原SLS）新功能发布(5)--使用Logstash接入数据

日志服务结合Logstash 目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,参考. 今天要介绍一个新方法:使用著名开源软件Logstash采集机器日志数据,并结合日志服务插件完成数据上传日志服务功能. 用户可以在阿里云ECS,或者是IDC机房机器,又或者是其它云厂商的虚拟机上安装Logstash及插件,进行简单的配置,轻松地将本机日志数据搬到云上来. IIS日志场景以Windows平台上最常见的IIS(Internet Information Services)日志