【Hadoop Summit Tokyo 2016】利用电力公司智能电表数据比较Spark SQL与Hive

本讲义出自 Alex Gorelik在Hadoop Summit Tokyo 2016上的演讲,主要介绍了数据湖泊的相关概念,介绍了数据湖泊可以赋能数据驱动的决策制定以及最大化商业价值,以及如何通过正确的数据+正确的平台+正确的接口构建成功的数据湖泊.

本讲义出自Enis Soztutar与Ankit Singhal在Hadoop Summit Tokyo 2016上的演讲,在他们的演讲中按照HBase之上SQL的过去,现在和未来进行划分进行了分别的讲解,对于"过去"部分讲义中分享了Phoenix的基础.架构和目前具有的特点,在"现在"部分讲义中分享了Phoenix最新的版本以及Phoenix查询服务器,而在未来部分则分享了Calcite的集成以及Phoenix与HBase的相关知识.

本讲义出自Yaniv Rodenski与Karel Alfonso在Hadoop Summit Tokyo 2016上的演讲,主要分享了数据管道的相关知识以及其主要作用,并且分享了数据管道建造者的原型.数据操作以及协作等相关内容,还分享了大数据应用的持续集成的案例,最后还介绍了Apache下的开源分布式资源管理框架Mesos的相关内容.

本讲义出自CHARLES SEVIOR在Hadoop Summit Tokyo 2016上的演讲,主要分享了面对企业级数据仓库向着数据量剧增.实时处理数据的需求增加以及数据分析的需求不断涌现的情况,如何定制个性化以及增强的现代化企业级数据仓库服务成为了一项巨大的挑战,而面对这样的挑战使用数据湖泊技术成为了一种新的解决方案.

本讲义出自Michael Plazzer在Hadoop Summit Tokyo 2016上的演讲,主要分享了Spark在电力行业中的智能电表上的应用,并分享了通过大数据分析能源情况的研究以及能源时间数据序列的相关的内容.

本讲义出自Vinay Shukla在Hadoop Summit Tokyo 2016上的演讲,主要介绍了 Spark的安全体系.以及YARN AM上的Spark驱动以及Kerberos身份验证等相关内容,最后还介绍了SparkSQL的相关内容.

本讲义出自 Julien Le Dem在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Columnar Era是利用Parquet,Arrow and Kudu获取数据计算的高性能的,并且分享了社区驱动的标准以及互操作性和Columnar Era的生态系统.

本讲义出自Damien Contreras在Hadoop Summit Tokyo 2016上的演讲,主要分享了东日本可口可乐公司的Hadoop技术应用的经验.Hadoop实际项目以及Hadoop在以可口可乐为代表的的制造业的应用和未来东日本可口可乐公司的Hadoop技术发展方向.

本讲义出自Tomomichi Hirano在Hadoop Summit Tokyo 2016上的演讲,主要分享了Rakuten公司遇到的大规模多租户Hadoop集群造成的迷之问题:从来不结束任务.数据结点冻结.命名结点冻结.命名节点重新启动后出现高负载以及在解决上述问题中获取的经验教训,并且分享了Rakuten的服务器配置和管理经验.