【Hadoop Summit Tokyo 2016】云上的大象

本讲义出自Keith Manthey在Hadoop Summit Tokyo 2016上的演讲,主要分享了关于混合数据分析的两种架构的迁移,对于从服务器迁移到云端和从云端迁回到服务器进行了分析介绍,并且对于数据湖泊的概念进行了介绍.

本讲义出自SATO Naoki在Hadoop Summit Tokyo 2016上的演讲,主要从What.Why和How三个角度解释了在云上应该如何使用Hadoop,在Why方面,他分享了Hadoop运行在云上的好处:在What方面,主要分享了云上Hadoop的选项以及云上的Hadoop集群以及集群定制等内容:在How方面,主要分享了如何在云上部署Hadoop架构.

本讲义出自Hemanth Yamijala在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Hortonworks云数据平台以及其架构设计,并分享了Hortonworks如何帮助企业做好云数据存储的准备,以及如何帮助企业进行数据治理以及对于数据的可靠性和容错性进行保障.

本讲义出自Nicolas Poggi在Hadoop Summit Tokyo 2016上的演讲,在演讲中首先介绍了BSC 与ALOJA以及PaaS服务概览,之后介绍了SQL基准以及PaaS服务的演进变化,最后分享了从云上的SQL-on-Hadoop中获取的经验.

本讲义出自Abhishek Modi在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Qubole的Hadoop技术.Qubole的架构设计.短生命周期的Hadoop集群的相关内容以及面对的挑战以及YARN的自动扩展和不断发展的HDFS技术.

本讲义出自Owen O'Malley在Hadoop Summit Tokyo 2016上的演讲,主要分享了面对企业的数据安全和威胁问题,应该如何面对并且最小化攻击面,并且分享了如何保证Hive安全,列举了多种企业需要面对的数据安全威胁,并且分享了如何使用Apache Hadoop上保护企业数据安全.

本讲义出自Yuta Imai在Hadoop Summit Tokyo 2016上的演讲,主要分享了为什么选择LLAP,并对于LLAP的相关概念进行了分享,在演讲中还介绍了Hive 2 与LLAP的架构概览,并对于MR.Tez与Tez+LLAP的三种方式进行了比较,并分享了为什么LLAP能够让查询变得更快.

本讲义出自Akiyoshi SUGIKI与Phyo Thandar Thant在Hadoop Summit Tokyo 2016上的演讲,主要分享了Hokkaido大学的学术云的发展历史以及对于大数据分析的支撑情况,并介绍了基于容器规格的Apache Hadoop集群框架,以及对于Hadoop的多目标优化方案.

本讲义出自Owen O'Malley在Hadoop Summit Tokyo 2016上的演讲,主要分享了Avro, JSON, ORC & Parquet这些文件基本格式的相关内容,介绍了文件格式如何发挥不同的作用以及他们如何才能更好地发挥作用以及这些文件数据格式的各自的优点,还分享了如何使用真实的.多样化的数据集,并介绍了过度依赖类似的数据导致的弱点以及开放和审查基准.