【Spark Summit EU 2016】Spark数据感知

本讲义出自Yaroslav Nedashkovsky与Andy Starzhinsky在Spark Summit EU 2016上的演讲,主要介绍了从数据收集到预测分析的石油行业的数据分析过程,分享了石油工业的概览,以及从数据源头到数据收集,再到数据分析的全过程,并且分享了如何利用Spark打造处理石油工业数据的全球化计算引擎.

本讲义出自Heiko Korndorf在Spark Summit EU 2016上的演讲,主要分享了R语言以及现实场景下使用R语言进行数据分析的应用案例,并且将引领大家使用SparkR扩展R语言应用,并介绍了SparkR1.X和2.X架构,并介绍了这两个版本的SparkR分别如何获取. 除此之外,Heiko Korndorf还分享了如何使用SparkR将数据科学与数据工程集成到一起,将SparkR用于生产环境下的数据科学应用中,并对于Spark无限发展空间的生态系统进行了展望.

本讲义出自Bas Geerdink在Spark Summit EU 2016上的演讲,主要介绍了什么是ETL,其实ETL就是对于数据的提取.转换.加载(Extract-Transform-Load),并介绍了ETL的一些常用工具,除此之外,Bas Geerdink着重介绍了为什么要用Spark来做ETL,并对于一些代码示例进行了分享.

本讲义出自Stephan Kessler在Spark Summit EU 2016上的演讲,主要介绍了目前商业智能的相关技术蓝图,并且从业务应用和大数据以及数据科学的角度谈论了目前商业智能蓝图中的不足,并分享了在Spark上集成的业务功能以及如何在Spark上利用不同来源的数据,并对HANA Vora 1.3进行了介绍.

本讲义出自Johnathan Mercer在Spark Summit EU 2016上的演讲,主要介绍了作为移动应用智能公司的Apptopia,Apptopia致力于解决移动应用市场的问题,他们通过Spark将共有数据以及自己的私有数据进行结合,并利用结合后的数据进行分析预测. Johnathan Mercer还分享了Spark以及开源工具如何改变了Apptopia,以及从改变中学习到的四点经验.

本讲义出自Qifan Pu在Spark Summit EU 2016上的演讲,主要介绍了如何在多核机器上提升Spark的性能表现以及如何研究和实现内存shuffle. 因为Spark开始时是作为集群计算框架出现的,所以产生了多核机器上关于Spark的性能表现的研究,Spark的设计是基于多计算节点的,本讲义中Qifan Pu着重探讨了数据交互也就是shuffle.

本讲义出自Elena Lazovik在Spark Summit EU 2016上的演讲,主要介绍了对于对于Spark驱动的应用而言,需要能够在某些情景下修改某些功能或者参数以及改变数据来源,而这些操作不能让整个应用停止运行,这就需要对于Spark应用的动态实时修改来完成.

本讲义出自Rolf Jagerman在Spark Summit EU 2016上的演讲,主要介绍了Spark的异步参数服务器Glint,随着机器学习的数据量越来越多,其所生成的模型的规模也越来越大,于是就出现了模型大小已经超出了一台机器的内存的情况,于是就需要参数服务器来解决这一问题.参数服务器其实是一个机器学习框架,它将机器学习模型分布到多台机器上进行计算实现.

本讲义出自Jakub Háva在Spark Summit EU 2016上的演讲,主要介绍了由开源的人工智能平台H2O.AI结合Spark构建的机器学习平台Sparkling Water,Sparkling Water集成了H2O平台与Spark生态系统,使用了H2O的数据结构以及算法与Spark的API,Sparkling Water平台将用于构建人工智能和机器学习的应用. Jakub Háva在演讲中,从建立模型.数据治理再到流处理等一系列如何使用Sparkling Water进行了分享,并