Kylin —— 来自 eBay 的 OLAP 分析引擎

随着互联网尤其是移动互联网的高速发展,互联网文档的数量.内容的丰富度和复杂度都大大增加,互联网正朝大数据时代迈进,而用户的信息需求也趋于复杂化.除了基本的信息检索需求外,对大量相关文档的深入理解与聚合分析的需求也越来越强烈,而传统的互联网搜索引擎已经无法满足人们对该类信息的需求.针对这一问题,提出"互联网分析引擎"的构想,阐述了其与搜索引擎和OLAP分析系统的区别,介绍了一种互联网分析引擎的架构,并详细讨论了实现该引擎的核心问题. 1 引言 随着移动互联网.智能手机.社交媒体.自媒体技

Eagle 是来自eBay的面向大型分布式系统比如Hadoop, Spark 以及Cloud等设计的通用实时监控与与预警框架. Eagle主要由基础的核心框架以及针对不同应用领域的诸多app组成,专注于解决大数据时代大型分布式系统自身监控这个复杂的大数据问题,具有高扩展性,高实时性,以及高可用性等特点,同时支持使用机器学习为复杂情况提供预测分析. Eagle核心框架提供实时监控系统开发过程中所需要的大部分重要基础组件,例如: 轻量级分布式流处理框架:以DAG为基础模型对通用流处理范式进行抽象,在

传统的用户关系管理一般依靠 Salesforce,由公司业务经办人手动将客户数据录入到软件中进行统一分析管理.互联网时代,出现像 Marketo 这样的在线用户数据分析服务.他们通过分析访问公司网站的用户画像和转化率来为客户提供服务.EverString 想做第三个发展阶段:即通过全网用户大数据分析来为客户建立用户分析模型进而提供智能用户分析和推荐服务. 目前 EverString 已经拿到由光速美国领投的一千两百万美元 A 轮融资,天使轮加入的红杉.IDG 和真格基金跟投. "我们的技术团队团

摘要: 传统的用户关系管理一般依靠 Salesforce,由公司业务经办人手动将客户数据录入到软件中进行统一分析管理.互联网时代,出现像 Marketo 这样的在线营销化自动平台.他们通过分析访问 传统的用户关系管理一般依靠 Salesforce,由公司业务经办人手动将客户数据录入到软件中进行统一分析管理.互联网时代,出现像 Marketo 这样的在线营销化自动平台.他们通过分析访问公司网站的用户画像和转化率来为客户提供服务. EverString 想做第三个发展阶段:即通过全网用户大数据分析来

日前据悉,思科公司计划在下月推出一个分析平台,旨在监控和记录大型数据中心的应用程序之间的流量,并建议改变策略,以纠正问题. 思科分析引擎名为Tetration,并通过以思科设备为主的网络准备部署.供应商在一个39RU机箱搭建了这个平台,其中包括三台思科Nexus交换机,以及思科公司的36台统一计算的系统服务器,将在数月的时间内运行分析和存储网络数据. 专家们认为应用流量分析为运营网络提供关键知识.一个强大的分析引擎可以帮助确保备份发生的时间,并在交易完成后,使应用程序保持一个可接受的服务质量水平

引言 大数据查询分析是云计算中核心问题之一,自从Google在2006年之前的几篇论文奠定云计算领域基础,尤其是GFS.Map-Reduce. Bigtable被称为云计算底层技术三大基石.GFS.Map-Reduce技术直接支持了Apache Hadoop项目的诞生.Bigtable和Amazon Dynamo直接催生了NoSQL这个崭新的数据库领域,撼动了RDBMS在商用数据库和数据仓库方面几十年的统治性地位.FaceBook的Hive项 目是建立在Hadoop上的数据仓库基础构架,提供了一

本文翻译自Building Analytics Engine Using Akka, Kafka & ElasticSearch,已获得原作者Satendra Kumar和网站授权. 在这篇文章里,我将和大家分享一下我用Scala.Akka.Play.Kafka和ElasticSearch等构建大型分布式.容错.可扩展的分析引擎的经验. 我的分析引擎主要是用于文本分析的.输入有结构化的.非结构化的和半结构化的数据,我们会用分析引擎对数据进行大量处理.如下图所示为第一代架构,分析引擎可以用REST

面 对大数据OLAP分析的一些问题 发布时间:2012.05.16 09:25 &http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;    来源:赛迪网     作者: OLAP分析需要进行大量的数据分组和表间关联,而这些显然不是NoSQL和传统数据库的强项,往往必须使用特定的针对BI优化的数据库.比如绝大多数针对BI优化的数据库采用了列存储或混合存储.压缩.延迟加载.对存储数据块的预统计.分片索引等技术. Hadoo

问题描述 Splunk是一个IT搜索和分析引擎它是软件–5分钟就可以下载安装完成它可以运行在几乎所有当前主流的操作系统平台提供跨企业整个IT架构的搜索,并提供可视化展现和报表图片2.png(114.93KB,下载次数:0)2011-12-3113:33:14上传下载次数:0图片1.png(146.97KB,下载次数:0)2011-12-3113:33:13上传下载次数:0 解决方案 解决方案二:软件很强大,就是价格太贵.竟然按流量收费!!!