【Spark Summit EU 2016】Spark如何赋能聚合型应用新浪潮

本讲义出自Tug Grall在Spark Summit EU上的演讲,主要分享了Spark如何赋能聚合型应用,使得既能够通过实时的线上计算分析保证数据的实时性价值,也能通过离线计算获取大量数据所产生的的价值,从而360度地挖掘出数据的价值。

随着Hadoop以及Spark技术的不断发展,工作的时延也不断缩小,从Hadoop小时级别的时延一直发展到目前Spark流计算毫秒级别的时延。无论对于数据分析还是ETL而言,数据的价值都会随着时间的流逝而大大降低,但是随着数据量的增多,价值将会增加。

为了保证数据分析以及ETL所得到结果的实时性必须使用流计算,而且流计算能够应对在计算过程中不断产生新数据的挑战。并且需要Spark所提供的聚合型计算能力,Spark既能够提供在线的计算分析能力,也能够提供离线的数据分析能力。

时间: 2024-10-15 05:17:18

【Spark Summit EU 2016】Spark如何赋能聚合型应用新浪潮的相关文章

【Spark Summit EU 2016】摆脱传统ETL,让我们走向Spark吧!

本讲义出自Bas Geerdink在Spark Summit EU 2016上的演讲,主要介绍了什么是ETL,其实ETL就是对于数据的提取.转换.加载(Extract-Transform-Load),并介绍了ETL的一些常用工具,除此之外,Bas Geerdink着重介绍了为什么要用Spark来做ETL,并对于一些代码示例进行了分享.

【Spark Summit EU 2016】Spark数据感知

本讲义出自Zoltan Zvara在Spark Summit EU 2016上的演讲,聚合了物联网.社交网络和电信数据的应用在"玩具"数据集上运行的非常好,但是将应用部署到真实的数据集上时就没有看上去那么合适了,事实上可能变得令人惊讶的缓慢甚至会崩溃,这就是所谓的数据倾斜(data-skew),为了应对这一问题,Zoltan Zvara与他的团队致力于实现基于Spark的数据感知分布式数据处理框架.本讲义就介绍了这个基于Spark的数据感知分布式数据处理框架的技术细节.

【Spark Summit EU 2016】基于Spark+Lucene构建近实时预测模型

本讲义出自Debasish Das与Pramod Narasimha在Spark Summit EU 2016上的演讲,主要介绍了基于Spark和Lucene构建的近实时预测模型.

【Spark Summit EU 2016】沃森媒体分析系统:从单租户Hadoop到3000租户Spark的架构演进

本讲义出自Ruben Pulido和Behar Veliqi在Spark Summit EU 2016上的演讲,主要介绍了IBM公司的沃森媒体分析系统,介绍了该系统之前针对于单租户的架构,所需面对的多租户挑战和面对该挑战产生出的新系统架构. 在讲义的最后Ruben Pulido和Behar Veliqi总结了从沃森媒体分析系统架构演变过程中所获取的经验,新的发展途径可能会基于Spark.Kafka和Zookeeper,并将具有健壮性的特点,能够满足延迟和吞吐量的需求,并且能够支持更多的分析.

【Spark Summit EU 2016】从使用Spark Streaming中所学到的经验

本讲义出自Miklos Christine在Spark Summit EU 2016上的演讲,简单介绍了DataBricks,并主要介绍了Spark Streaming的总体架构设计,Spark Streaming与结构化的流计算相比的不同之处以及目前阶段Spark Streaming的5大问题:类型不匹配.无法找到主要偏移量.toDF不属于RDD成员.任务不是序列化的以及有关JSON记录的相关问题.

【Spark Summit EU 2016】基于Spark的分布式计算,提升业务洞察力

本讲义出自Stephan Kessler在Spark Summit EU 2016上的演讲,主要介绍了目前商业智能的相关技术蓝图,并且从业务应用和大数据以及数据科学的角度谈论了目前商业智能蓝图中的不足,并分享了在Spark上集成的业务功能以及如何在Spark上利用不同来源的数据,并对HANA Vora 1.3进行了介绍.

【Spark Summit EU 2016】Apptopia:仅凭勇气、速度与Spark集群,构建APP市场

本讲义出自Johnathan Mercer在Spark Summit EU 2016上的演讲,主要介绍了作为移动应用智能公司的Apptopia,Apptopia致力于解决移动应用市场的问题,他们通过Spark将共有数据以及自己的私有数据进行结合,并利用结合后的数据进行分析预测. Johnathan Mercer还分享了Spark以及开源工具如何改变了Apptopia,以及从改变中学习到的四点经验.

【Spark Summit EU 2016】Spark——打造处理石油工业数据的全球化计算引擎

本讲义出自Yaroslav Nedashkovsky与Andy Starzhinsky在Spark Summit EU 2016上的演讲,主要介绍了从数据收集到预测分析的石油行业的数据分析过程,分享了石油工业的概览,以及从数据源头到数据收集,再到数据分析的全过程,并且分享了如何利用Spark打造处理石油工业数据的全球化计算引擎.

【Spark Summit EU 2016】从Spark中学会的问题解决秘诀

本讲义出自Stavros kontopoulos与Justin Pihony在Spark Summit EU 2016上的演讲,在演讲中他们分享了内存空间不足问题(OOM).该方法不存在问题.大小混乱问题以及安全的流恢复问题,以及如何使用Spark解决相应的问题.