大数据workshop:《在线用户行为分析:基于流式计算的数据处理及应用》之《数据可视化:构建实时动态运营数据分析大屏》篇

大数据workshop:《在线用户行为分析:基于流式计算的数据处理及应用》之《数据可视化:构建实时动态运营数据分析大屏》篇

实验背景介绍

了解更多2017云栖大会·成都峰会 TechInsight & Workshop.

本手册为云栖大会Workshop之《在线用户行为分析:基于流式计算的数据处理及应用》场的《数据可视化:构建实时动态运营数据分析大屏》篇所需。主要帮助现场学员熟悉并掌握DataV数据可视化的操作和使用。

实验涉及大数据产品

  • DataV数据可视化

前提准备

必备条件:已经从云中沙箱中获取了实验所需的阿里云账号和密码。

实验目标

本实验将会实现如下的网站实时流量统计大屏。

创建可视化大屏

经过上述《流数据处理:通过StreamSQL分析用户行为》章节创建的流式任务,我们可以创建酷炫的可视化大屏展示网站实时流量统计情况,为了便于大家快速掌握DataV的使用,请使用事先准备好的AnalyticDB数据源。

进入DataV管理控制台

点击进入DataV可视化管理控制台。

添加数据源

  • step1:进入DataV管理控制台,点击左侧菜单中**我的数据**。

  • step2:点击+添加数据,跳出新建数据对话框。
  • step3:配置数据类型为AnalyticDB、名称、域名、用户名/密码、端口和数据库,并点击测试连接

具体数据源配置项如下:

  • 数据源类型:AnalyticDB
  • 名称:workshop
  • 域名:workshop-demo-114ae71f.cn-hangzhou-1.ads.aliyuncs.com
  • 用户名:LTAICO76WC1rREmW
  • 密码:a89c1T96KMA2tOrEnb0SiBOA7GMMP3
  • 端口:10078
  • 数据库:workshop_demo

创建DataV可视化大屏

  • step1:点击左侧**我的可视化**,进入配置大屏操作。

  • step2:点击**流式数据实战**进入大屏编辑界面。

此处大屏模板由永翎(DataV产品经理)亲自操刀为此次Workshop量身定制,大家直接进入配置界面即可。

  • step3:依次配置PV变化趋势(折线图)访问设备来源(饼图)实时访问数量(数字翻牌器)2D平面地图来源站点排名(轮播列表柱状图)
  • step3.1:点击折线图,进入配置PV变化趋势(折线图)页面。

首先配置样式,由于输入的数据格式为2014021206,但是我们需要在折线图中显示各个小时的数据,格式为02时的样式,那么需要在样式>x轴的轴标签中进行设置数据格式和显示格式。

  • 数据格式:%Y%m%d%H(需要手工输入并回车确认)
  • 显示格式:选择02(时)

其次,开始配置数据如下:

字段x映射为pv_time,y映射为pv_count,数据库类型选择数据库,选择数据库为workshop(刚创建的数据源名称)在SQL底部勾选自动更新,设置每5秒请求一次。编写SQL如下。

附:SQL说明

SELECT
  pv_time,
  pv_count
FROM
  pv_perhour;
  • step3.2:同样点击访问设备来源(饼图)进入数据配置页面,配置信息如下。

字段x映射为pv_device,y映射为pv_count,数据库类型选择数据库,选择数据库为workshop(刚创建的数据源名称)在SQL底部勾选自动更新,设置每5秒请求一次。编写SQL如下。

附:SQL说明

SELECT
  pv_device,
  pv_count,
  pv_date
FROM
  device_dist;
  • step3.3:配置实时访问数量(数字翻牌器)如下。

字段value映射为pv_count,数据库类型选择数据库,选择数据库为workshop(刚创建的数据源名称),在SQL底部勾选自动更新,设置每5秒请求一次。编写SQL如下。

SELECT
  pv_count,
  pv_time
FROM
 pv_day;
  • step3.4:点击中间的2D地图,并点击进入区域热力层,具体配置如下。

字段映射关系通过在SQL中利用as方式声明,其中,数据库类型选择数据库,选择数据库为workshop(刚创建的数据源名称),在SQL底部勾选自动更新,设置每5秒请求一次。编写SQL如下。

select
  aaa.region_code,
  aaa.region_count as value,
  bbb.id as id,
  bbb.name,
  bbb.lat,
  bbb.lng,
  concat(bbb.name, ": ", aaa.region_count) as info
from
  region_map aaa
join
  province_code bbb
on
  aaa.region_code = bbb.province_name;
  • step3.5:同上,点击进入流式气泡层,具体配置如下。

字段映射关系通过在SQL中利用as方式声明,其中,数据库类型选择数据库,选择数据库为workshop(刚创建的数据源名称),在SQL底部勾选自动更新,设置每5秒请求一次。编写SQL如下。

select
  aaa.region_code,
  aaa.region_count as value,
  bbb.id as id,
  bbb.name,
  bbb.lat as lat,
  bbb.lng as lng,
  concat(bbb.name, ": ", aaa.region_count) as info
from
  region_map aaa
join
  province_code bbb
on
  aaa.region_code = bbb.province_name;
  • step3.6:点击来源站点排名(轮播列表柱状图),点击进入流式气泡层,具体配置如下。

字段映射关系通过在SQL中利用as方式声明,其中,数据库类型选择数据库,选择数据库为workshop(刚创建的数据源名称),在SQL底部勾选自动更新,设置每5秒请求一次。编写SQL如下。

select
  pv_count as value,
  concat(pv_refer, "---", pv_count) as content
from
 refer_dist;
  • step4:点击右上角预览,查看大屏效果,会看到数据实时的刷新。

发布大屏

通过发布操作可以将制作好的大屏分享别人查看。

  • step1:点击右上角**发布**,弹出发布对话框。

  • step2:打开发布按钮会生成链接.

复制生成的URL即可共享你的大屏作品,观看制作的流式数据大屏。其他严重密码、验证Token可以参考更多教程来完成,此处将不赘述。

到此为止,相信大家一定程度掌握了阿里云数加流式处理的解决方案,包括DataHub、StreamCompute到最后的DataV大屏展示。更多内容请大家持续关注文章的更新和后续的workshop内容出品。

时间: 2024-10-03 09:51:13

大数据workshop:《在线用户行为分析:基于流式计算的数据处理及应用》之《数据可视化:构建实时动态运营数据分析大屏》篇的相关文章

《在线用户行为分析:基于流式计算的数据处理及应用》Workshop-入口

云栖大会成都峰会大数据Workshop入口 <在线用户行为分析:基于流式计算的数据处理及应用> 钉钉扫码进入阿里云数加流计算和DataV可视化交流群. 流数据采集:日志数据解析及上传 实时数据分析:海量日志数据多维透视 流数据处理:通过StreamSQL分析用户行为 数据可视化:构建实时动态运营数据分析大屏 该课程是针对一个网站实时产生的Nginx日志进行分析,深度挖掘用户的实时行为,为运营提供策略.包含阿里云DataHub.流式计算引擎StreamCompute和酷炫的DataV可视化大屏.

基于IBM市场营销智能分析软件的在线用户行为分析解决方案

所谓知己知彼才能百战百胜,了解用户行为,捕捉客户声音至关重要.本文以 IBM 市场营销智能分析软件 Coremetrics 和电子商务软件 WebSphere Commerce 集成为例,介绍在线用户行为分析解决方案.通过 Coremetrics 直观灵活的报告,优化市场营销渠道.将行为洞察力转化为自动化的市场营销行动,通过锁定在各个渠道中具有相关内容的潜在客户来增加销售额. 随着电子商务的井喷式发展,网购已经成为家常便饭.与传统的实体店购物不同,我们无法与客户面对面了解他们对产品的反馈以及需求

云栖大会在线用户行为分析场分享:海量流式视频日志收集

本文PPT由2017年云栖大会TI 在线用户行为分析专场阿里云北洲分享的<海量流式视频日志收集>整理而成. 在视频直播场景中,使用日志服务的目的是为了能够对当前直播的服务质量进行监控,比如受当前卡顿影响的人数.在线用户数量的变化趋势等. 为了能拿到服务质量,我们需要收集多种维度的日志数据,在介绍日志服务之前,先来了解下日志采集使用上的一些痛点. 日志产生渠道非常多,怎么用一种统一的方式将这些日志快速的收集上来,并进行结构化,方便后续的分析处理,这里的挑战可以说非常之大. 运维方面的困难.业务越

旋转门数据压缩算法在PostgreSQL中的实现 - 流式压缩在物联网、监控、传感器等场景的应用

背景 在物联网.监控.传感器.金融等应用领域,数据在时间维度上流式的产生,而且数据量非常庞大. 例如我们经常看到的性能监控视图,就是很多点在时间维度上描绘的曲线. 又比如金融行业的走势数据等等. 我们想象一下,如果每个传感器或指标每100毫秒产生1个点,一天就是864000个点. 而传感器或指标是非常多的,例如有100万个传感器或指标,一天的量就接近一亿的量. 假设我们要描绘一个时间段的图形,这么多的点,渲染估计都要很久. 那么有没有好的压缩算法,即能保证失真度,又能很好的对数据进行压缩呢? 旋

大数据实战:用户流量分析系统

--------------------------------------------------------------------------------------------------------------- [版权申明:本文系作者原创,转载请注明出处] 文章出处:http://blog.csdn.net/sdksdk0/article/details/51628874 作者:朱培 --------------------------------------------------

《Storm技术内幕与大数据实践》一1.2 其他流式处理框架

1.2 其他流式处理框架 1.2.1 Apache S4Apache S4(http://incubator.apache.org/s4/)是由Yahoo开源的多用途.分布式的.可伸缩的.容错的.可插入式的实时数据流计算平台. S4填补了复杂的专有系统和面向批处理的开源计算平台之间的差距.其目标是开发一个高性能计算平台,对应用程序开发者隐藏并行处理系统固有的复杂性.S4已经在Yahoo!系统中大规模使用,目前最新版本是0.6.0. S4相对于Storm在可靠性和容错性上差一些,S4不保证完全不丢

HTAP数据库 PostgreSQL 场景与性能测试之 32 - (OLTP) 高吞吐数据进出(堆存、行扫、无需索引) - 阅后即焚(JSON + 函数流式计算)

标签 PostgreSQL , HTAP , OLTP , OLAP , 场景与性能测试 背景 PostgreSQL是一个历史悠久的数据库,历史可以追溯到1973年,最早由2014计算机图灵奖得主,关系数据库的鼻祖Michael_Stonebraker 操刀设计,PostgreSQL具备与Oracle类似的功能.性能.架构以及稳定性. PostgreSQL社区的贡献者众多,来自全球各个行业,历经数年,PostgreSQL 每年发布一个大版本,以持久的生命力和稳定性著称. 2017年10月,Pos

流式大数据实时处理技术、平台及应用

摘要:大数据处理系统根据其时效性可分为批式大数据和流式大数据两类.上述两类系统均无法满足"事中"感知查询分析处理模式的需求.为此,从分析大数据应用场景入手,提出了"流立方"流式大数据实时处理技术和平台,在完整大数据集上实现了低迟滞.高实时的即席查询分析.目前基于"流立方"平台开发的业务系统已应用到金融风控反欺诈.机器防御等领域,具有广阔的应用前景. 1.引言 大数据技术的广泛应用使其成为引领众多行业技术进步.促进效益增长的关键支撑技术.根据数据处

双11数据大屏背后的秘密:大规模流式增量计算及应用

首先从理解什么是数据流开始今天的分享,其实在真实的世界中,大部分的数据都是连续产生的数据流,比如手机上产生的GPS信号.用户在互联网上的行为.在线搜索.用户的点击.社交网络分享.即时通信以及一些传感器和物联网设备采集的日志信息等,这些数据都是连续产生的,自然就形成了数据流,在这些数据流产生以后,在很多场景下对于数据流的实时分析就会产生很大的价值. 接下来从大家比较熟悉的数据场景切入,比如大家经常会关注的股市情况,股价的波动其实就是实时数据的分析和聚合,除此之外大家在日常生活中还可能比较关心天气预