轻松实现日志可视化?— 95后阿里云 MVP 王鹏翰的答案

背景

在数据时代,人、人与物、物与物之间每时每刻都在产生大量的数据,而日志就是其中最有代表性的载体。例如:

  • 工作中:访问网站、应用流向访问日志
  • 地铁中:在手机应用中看视频、点击产生点击
  • 就餐时:支付、订单中的购买行为
  • 通勤中:骑着共享单车产生的位置信息与轨迹等等。

与海量的日志产生的,是日益加剧的日志分析需求:

痛点

当我们通过各式各样的工具对海量的日志处理聚合之后,得到一堆数据,随之而来的问题是?

这些数据之间有着什么样的联系?数据和时间之间的关系是什么?人和物品之间的关系如何?

这些都很难直接通过观察来感知,我们需要合适的可视化图表来帮助感知数据背后的价值,例如

  • 使用折线图可以直观的感知数据在一个连续的时间跨度中的变化,反映事物随时间或有序类别而变化的趋势
  • 饼图可以很好地帮助用户快速了解数据的占比分配

一个有效的方案

如何轻松实现日志可视化?

Grafana 作为一个开源的指标量监测与可视化工具,对实时,准实时数据处理友好,操作简洁。阿里云MVP王鹏翰给出了一个快速而有效的解决方案,并已经加入阿里云官方版本中:

细心的同学应该能发现,阿里云日志服务首页添加了Grafana对接教程。

阿里云日志服务提供了对日志数据基础解决方案,用户只需要将精力集中在分析上,过程中数据采集、对接各种存储计算、数据索引和查询等琐碎工作等都可以交给服务。其中LogSearch/Analytics功能可以提供1秒10亿查询能力、以及完整SQL92分析语法进行实时分析。在对接可视化上原先以阿里云DataV、QuickBI 以及商业化JDBC软件为主。

阿里云MVP王鹏翰开发的Grafana插件,填补了开源软件对接的空白,通过安装插件+配置可以轻松进行可视化。

Grafana插件的效果:

当然也有操作视频:

详细配置和视频可参见:

可视化-对接Grafana_最佳实践_日志服务-阿里云

贡献者

王鹏翰(WPH95)在加入阿里云MVP之前就一直是一个技术爱好者,成为MVP之后,得到阿里云内部的众多资源,促成了这个开源的插件。并且他还在继续开发新的解决方案Demo,2017年12月19号,北京云栖大会·Tech Insight MVP Demo Show环节,他又将带来新的内容,请大家拭目以待。

日志服务Grafana插件已在AliCloud官方GitHub提供下载,README最后感谢WPH95的贡献!

欢迎一起来发掘新的玩法:

阿里云MVP(Most Valuable Professional),是专注于帮助他人充分了解和使用阿里云技术的意见领袖,阿里云 MVP 奖项为我们提供了这样一个机会,向杰出的意见领袖表示感谢,更希望通过 MVP 将开发者的声音反映到我们的技术路线图上。

目前正在进行全球招募,已经加入的33位MVP正在持续地和阿里云一起推动产品优化、挖掘解决方案等,欢迎来和我们一起谱写云计算的技术图谱。

点击 快速了解和申请成为阿里云 MVP

时间: 2024-08-04 09:34:06

轻松实现日志可视化?— 95后阿里云 MVP 王鹏翰的答案的相关文章

阿里云MVP Meetup:《云数据·大计算:海量日志数据分析与应用》之《数据分析展现:可视化报表及嵌入应用》篇

实验背景介绍 本手册为阿里云MVP Meetup Workshop<云计算·大数据:海量日志数据分析与应用>的<数据分析展现:可视化报表及嵌入应用>篇而准备.主要阐述如何使用Quick BI制作报表,将前面几个实验处理分析得来的数据进行有效的展现和洞察. <数据加工:用户画像>实验中的结果表数据已经事先导入RDS中,表名为rpt_user_info_all_d.该表包含了:用户id.地区.性别.年龄范围.星座.访问设备.PV 等访问信息. 实验目标 承接前述实验加工好的

阿里云MVP Meetup 《云数据·大计算:海量日志数据分析与应用》Workshop-入口

阿里云MVP Meetup 大数据Workshop入口 <云数据·大计算:海量日志数据分析与应用> 欢迎大家扫码加入阿里云数加MaxCompute交流群,后续相关项目支持都可以进行群里提问,数加小二也第一时间帮助解决. 数据采集:日志数据上传 数据加工:用户画像 数据分析展现:可视化报表及嵌入应用 该课程是基于大数据时代日志分析的基础需求的基础上,告知用户如果通过阿里云数加大数据解决方案来实现自己网站日志的用户画像.包括数据采集.数据加工以及数据最终的展现. 专场议程介绍 在大数据时代,无论是

【转载】阿里云MVP Meetup:《云数据·大计算:海量日志数据分析与应用》之《数据加工:用户画像》篇

实验背景介绍 本手册为阿里云MVP Meetup Workshop<云计算·大数据:海量日志数据分析与应用>的<数据加工:用户画像>篇而准备.主要阐述在使用大数据开发套件过程中如何将已经采集至MaxCompute上的日志数据进行加工并进行用户画像,学员可以根据本实验手册,去学习如何创建SQL任务.如何处理原始日志数据. 实验涉及大数据产品 大数据计算服务 MaxCompute 大数据开发套件 DataWorks 实验环境准备 必备条件: 开通大数据计算服务MaxCompute 创建

开发者 / 阿里云 MVP,今天你斜杠了吗?

背景铺垫: 加入我们,斜杠阿里云MVP "斜杠青年"这个职业发展新趋势,你能不能赶上? 越来越多的年轻人不再满足"专一职业"这种无聊的生活方式,而是开始选择一种能够拥有多重职业和身份的多元生活 他们在自我介绍的时候,会用斜杠来区分不同职业,例如,莱尼·普拉特,律师/演员/制片人.因此这些拥有多重职业的人也被称为"斜杆青年". 开发者/阿里云 MVP: 王鹏翰,95后/湾区公司员工/阿里云 MVP 祁宁,SegmentFault 创始人 &

阿里云 MVP我们又相见在杭州

阿里云 MVP我们又相见在杭州了! 上周我们线上线下同步升级阿里云权益全面启动全球招募.在上海张江阿里巴巴创新中心,阿里云两位MVP从持续交付和数据可视化DataV技术分享踩坑实践,不仅是技术的分享还有项目管理的知识. 本周我们从数据出发,看业务驱动数据,经过大数据的分析挖掘,最终通过数据变现来洞察业务,提升运营策略?这在阿里云大数据团队都已经有了很明确的答案. 本次阿里云MVP Meetup除了邀请了阿里云大数据一线的研发及PD,也邀请到了阿里云MVP,驻云资深架构师翟永东为大家分享基于阿里云

阿里云MVP Meetup极客开跑,与MVP一起玩转云计算

9月2日,在杭州科技寺创业空间,开展了一场开发圈的线下交流会,这是阿里云及MVP.合作伙伴们共同举办的首次MVP线下沙龙会,是增强与开发者感情的第一次尝试. 沙龙分为三个组成部分:MVP分享.提问.自由交流时间. 第一部分三位MVP的分享,他们是来自不同公司不同行业,使用着不同的产品,用着不同的解决方案.就此他们结合自己的业务场景,根据使用阿里云产品的经验,多纬度地分享了使用云过程中的经验. 尤其是第三位分享MVP王鹏翰,就如何通过阿里云日志事件序列打造高效搜索引擎进行了分享,他通过自己对日志服

【阿里云 MVP 全球招募令】Dream Big,全球顶尖技术人集合中 …

从技术圈 KOL 到公司 CTO, 从一线的安全从业者到多年的行业研究者, 从长三角到珠三角, 从产品体验改进,到云产品开源方向的支持, 这33位全球顶尖的开发者,为广大开发者使用到更好的云服务做出了极大的贡献! 他们就是阿里云全球MVP 这是开发者的时代! 云计算.大数据.AI.Serverless等关键词早就渗入到了我们的生活里 如今,从路边摆摊的商人到穿戴正式的白领,几乎人人都在谈论. 如今的云计算已经涉及到了生活的方方面面, 科技的浪潮再次把开发者们推到了风口, 技术的弄潮儿们不再局限于

阿里云MVP

       阿里最有价值专家MVP(Most Valuable Professional) 是专注于帮助他人充分了解和使用阿里云技术的意见领袖.        MVP是一些拥有丰富知识和实际经验的阿里云技术专家.他们不是阿里云的员工,但是非常乐于通过在线或离线社区的方式帮助技术人士.        网址:https://mvp.aliyun.com/ 有丰富的实战经验,并且有较深的行业理解才能称之为专家.阿里云MVP正是这样一群拥有着丰富的云计算领域和实践经验的专家.他们不是阿里云的员工,但是

布道云计算,阿里云MVP已启航

6月10日,在上海召开的阿里云云栖大会上,当阿里云总裁胡晓明宣传"阿里云聆听平台正式发布, MVP计划启动",立刻就得到了参会者的热议.这是中国云计算厂商首次推出全球最有价值技术贡献者计划. 阿里云视MVP为"最有价值的技术合伙人".通过奖励.肯定和支持这些优秀的技术人员,阿里云和MVP群体们一同成长,提供最优质的云服务. 阿里云认为,一个充满活力的全球社群才能帮助客户最大限度地利用解决方案.是用户投资收益最大化的关键.阿里云MVP专家奖正是阿里云用来表彰产生了重大