基于阿里云MaxCompute实现复杂事件检测

一、需求背景

        

随着信息化的不断发展,业务系统的不断完善,企业面临新的问题:
1、现代工业中的输入事件流数量正成倍地增加,其中包含大量的原子事件,由原子事件构成的复合事件,甚至由复合事件构成的复杂事件。
2、现代工业对于软硬件系统实时响应的要求很高,用户要求系统可以对一些关键的业务输入事件做出即时的响应行为。
3、现代工业生产环境苛刻,一般需要严格的过程控制和安全措施。生产过程包含复杂的物理、化学过程,及各种突变和不确定性因素,当生产中的复杂事件没有被实时检测出来,很有可能造成生产的失败甚至灾难性的后果。

生产环境事件源

二、基于阿里云的解决方案


工业生产环境中,复杂事件具有以下特点:
事件来源众多
信息量大
连续的、流动的
实时识别复杂模式
实时处理

针对以上特点,阿里云已提供众多中间件来满足复杂事件检测的需求:有消息队列、负载均衡、数据存储、实时计算,已初步满足基本事件的处理功能,从大量事件数据流中过滤,分析有意义的事件,并能够实时取得这些有意义的信息的技术ESP,但是并不支持从大量的基本事件中挖掘复杂的模式(CEP),例如周期性发生的事件、顺序性事件A->B、时间窗口内A OR B发生的事件,基于以上的空白需求,我们实现了基于复杂事件模式识别的中间件产品Blue Event Analytics,结合阿里云已有的中间件,满足复杂事件检测的需求,与阿里云其余中间件结合架构,如下图所示:

阿里云复杂事件检测

2.1 功能架构:

         产品的核心功能应该包含数据集成、事件检测与处理、消息通知、可视化展示几大基本模块,详细功能架构如下:

功能架构

技术架构

2.2  Blue Event Analytics(BEA) 功能特点如下:


完全托管:一种完全托管的服务,它可针对流数据运行查询,无需预置或管理任何基础设施


高性能:单节点每秒处理50万个事件,事件识别延时达到微秒级


分布式检测:自动化弹性扩展,实现分布式事件检测,确保高可用性


事件分析:支持类准SQL的事件查询语言。无需了解复杂的处理框架和编程语言。


集成:与阿里云其他产品如 OSS,MNS,RDS,ONS,MaxCompute等深度整合


按量付费:使用时,只需为所用的处理资源付费。随着输入数据量的变化,将自动扩展或缩减资源,且只需为实际使用的处理资源付费。

       

三、BEA的应用场景

BEA的应用场景十分广泛,主要对应的行业需求场景如下:

行业 处理问题 描述
金融 快速的感知 资本市场中的交易者希望对细微的价格差异做出反应。
风险控制 在银行领域,风险包括信用风险,市场风险和操作风险。风险控制系统需要监控银行多个业务系统的多个对象和多种数据,按照大量既定的风险控制规则进行对交易行为的判断甄别,发现存在风险的交易行为,及时做出应对措施。
欺诈发现 包括(1)信用卡欺诈;(2)保险欺诈;(3)洗钱;(4)各种证券交易违规行为。
算法交易 使用计算机来进行证券交易的行为,系统需要同时监控大量的数据信息,按照若干交易策略,决定何时什么价格买什么品种买多少。  这个也比较适合使用复杂事件处理技术。
连锁故障 连锁故障 电网连锁故障是一系列故障事件的集合最突出的特点是故障事件之间的相关性连锁性和时间  上的先后继起性,基于BEA通过相继故障事件之间存在的时间拓扑和电气的因果及聚合关系 对简单故障事件进行关联和聚合在连锁故障发生初期准确诊断出连锁故障。
能耗优化 通过复杂的需求响应(DR)解决方案将电网系统运营商和发电企业连接在一起,与能源管理和监控公司签订合同,以提供能源使用负荷削减服务。而这些科技公司正是使用基于CEP应用,与大型的能源消费的商业企业和工业企业合作,来削减能源消耗的需求。
RFID 实时定位系统 实时定位系统(RTLS)使用 RFID 实时定位来识别带有标 签的运动物体,并根据在其位置信息和其他信息做出适当的处理。
物流 运输和后勤企业利用交通工具实时遥感探测技术来更有效地管理车辆和船舶。
医疗 RFID 技术和嵌入式设备如生理传感器和环境传感器已经应  用于医疗保健领域,因此,医院需要处理不同来源的大量实时数据,且这些数据的格式与传入速率不同。CEP 可以提供很好的解决方案。
IT基础设施监控 监控 对大规模的企业来说,应用性能的变化直接影响到客户的体验和  满意度。服务突然的中断会影响大量客户的使用,导致业务出现延迟甚至最终给 企业带来重大损失。目前最大的挑战是监控系统获取的数据量大,而且随着环境  和一些不确定因素的影响,问题不断增多,产生的事件种类繁多,因而很难从中 获取关联的重要的复合事件信息 。
个性化服务 根据客户的搜索信息、购买记录和消费行为等各个方面的  信息,在客户进入商家系统的同时,判断此用户的喜好,预测用户的购买行为, 然后展现给用户一个私人订制的个性化界面,上面展示了用户关注的动态、可能  购买的产品、服务的链接等等。

致力攻克企业大数据信息化难题,提供专业服务和解决方案,更多案例可进入官网详细了解:www.blueintelligence.com
文章转载 蓝智云海 

时间: 2025-01-29 21:59:08

基于阿里云MaxCompute实现复杂事件检测的相关文章

【物流大数据实践】基于阿里云Maxcompute实现物流跟踪

免费开通大数据服务:https://www.aliyun.com/product/odps 摘要: 目前我国物流业保持较快增长,但还是存在一些问题:物流成本高.效率低,条块分割严重(自营物流.规模小.技术落后.标准不统一).基础设施相对滞后(物流基础设施之间不衔接.不配套),对订单创建到用户签收整套完整流程缺乏完善的监控和预警手段. 基于建设统一物流平台的基本要求,用户希望打通各大系统,能够跟踪所有订单在物流系统中的流转过程.处理状态等信息,具体如下需求: 1:订单分为5个阶段,订单处理.发运处

基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

  数加大数据直播系列课程,主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题,分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台.   本次分享嘉宾是来自阿里云大数据的技术专家祎休!   背景与总体思路   数据仓库是一个面向主题的.集成的.非易失的.反映历史变化的数据集合,用于支持管理决策.其结构图如下所示:     随着大数据.云计算等技术的应用和普及,互联网环境下数据处理呈现出新的特征:业务变化快:数据来源多:系统耦合多:应用深度深.业务变化

【直播沉淀】基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

数加大数据直播系列课程,主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题,分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台. 本次分享嘉宾是来自阿里云大数据的技术专家祎休! 演讲1:背景与总体思路 演讲2:架构及模型设计 演讲3:基于阿里云数加搭建大数据仓库 演讲4:用大数据治理大数据

【Best Practice】基于阿里云数加·MaxCompute及Quick BI构建网站用户画像分析

前文背景:[Best Practice]基于阿里云数加·StreamCompute快速构建网站日志实时分析大屏   开通阿里云数加产品 前提条件 为了保证整个实验的顺利开展,需要用户使用开通相关产品及服务,包括DataHub.MaxCompute.AnalyticDB.Data IDE.Quick BI.      业务场景 数据来源于网站上的HTTP访问日志数据,基于这份网站日志来实现如下分析需求: n   统计并展现网站的PV和UV,并能够按照用户的终端类型(如Android.iPad.iP

安全态势,交互发现 —— 基于阿里云轻松搭建安全大屏

2017年,阿里云启动MVP(Most Valuable Professional)项目.顾名思义,MVP正在寻找阿里云最有价值专家,那些能够,并且愿意帮助他人,充分了解和使用阿里云技术的意见领袖. 本文是阿里云MVP 傅奎的实践分享,今天和大家讲讲 "安全态势,交互发现 -- 基于阿里云轻松搭建安全大屏 " 一句话概述 背景介绍 产品介绍 需求分析 实现方法 导出态势感知 DNS 日志 定制返回 JSON 串的数据源API 定制 DataV 大屏,指定 API 数据源 发布监控大屏,

关于举办“天德π客”创业论坛——“基于阿里云的大数据实践—海量日志分析”的通知

随着互联网.云计算.物联网.社交网络等技术的兴起和普及,全球数据的增长快于任何一个时期,可以称作是爆炸性增长.收集大量数据,并在数据中发现趋势,能使企业能够更快.更平稳.更有效地发展.然而,大数据对许多企业和数据专业人员来说,它仍然很难理解,那么,什么是大数据分析?如何利用阿里云数加平台进行海量数据分析,帮助企业更好地利用数据资源?"天德π客"众创空间特举办本期论坛--"基于阿里云的大数据实践--海量日志分析",邀请华北电力大学电力系统及其自动化博士,阿里云大数据高

[容器Hub服务]基于阿里云Code的仓库构建

阿里云Code 容器Hub服务支持Github.Bitbucket作为代码源的仓库构建,但是为了向用户提供更加稳定可靠的服务,我们也引入了阿里云Code.阿里云Code代码托管平台实现了私有并且安全的代码管理服务,能提供目前最流行的分布式版本控制系统Git来有效管理项目. 创建仓库 默认情况下,如果你的容器Hub服务登录账户已经开通了阿里云Code,将会默认展示你在阿里云Code上的项目.如果你还没有开通过阿里云Code,那就不要犹豫,先点击绑定账号,去开通一下吧. 之后,你可以基于阿里云Cod

梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践

   (来源:C资讯)     专注新闻资讯的梨视频近来表现亮眼.   梨视频由前澎湃新闻掌门人邱兵创立.   在上线之前,它就获得了黎瑞刚华人文化近1亿美元投资,旗下<微辣>栏目总播放量已经超过4亿,并在上线1个月后获得"年度视频新媒体"大奖.   这样一款脱胎于传统媒体的创业型短视频软件,在视频领域异军突起,不仅让内人士在感叹梨视频内容生产力之强大的同时,也诧异于是谁在为梨视频的庞大用户体量提供技术支撑.保证视频流畅?   今天就和大家分享梨视频如何基于阿里云快速搭建一

基于阿里云数加平台的大数据Serverless实践

本文PPT来自班输于10月16日在2016年杭州云栖大会上发表的<基于阿里云数加平台的大数据Serverless实践>. 数加是阿里云大数据的品牌名,其旗下包含一系列的大数据产品及服务,可以为用户提供一站式的数据开发.分析.应用平台.数加提供的服务包括智能语音/图象/视频分析服务.企业级数据仓库服务,地理信息可视化服务,风险预警与管控服务等等.其在基础平台的大数据产品包括数据开发.机器学习.大数据计算.分析型数据库.流计算,在数据应用层的产品包括数据可视化DataV.推荐引擎.人脸识别等等.