【Hadoop Summit Tokyo 2016】基于容器规格的Apache Hadoop/Spark集群框架

本讲义出自Graham Gear在Hadoop Summit Tokyo 2016上的演讲,主要分享了数据工程开发管道的相关内容并介绍了持续部署的Hadoop数据分析平台Cloudera.

本讲义出自Kai Fukazawa在Hadoop Summit Tokyo 2016上的演讲,主要分享了与Hadoop相关的网络技术,并分享了雅虎日本的网络技术转型发展之路和网络相关的问题以及解决方案,介绍了雅虎日本IP CLOS的网络架构设计以及遇到的挑战以及在未来雅虎日本在网络技术方面的发展计划.

本讲义出自Damien Contreras在Hadoop Summit Tokyo 2016上的演讲,主要分享了东日本可口可乐公司的Hadoop技术应用的经验.Hadoop实际项目以及Hadoop在以可口可乐为代表的的制造业的应用和未来东日本可口可乐公司的Hadoop技术发展方向.

本讲义出自Pankaj Rastogi与Debasish Das在Hadoop Summit Tokyo 2016上的演讲,主要分享了网络数据相关知识.网络异常DDoS攻击以及使用基于Lambda架构的Spark的近实时的网络异常检测和流量分析的架构设计,并分享了Trapezium的相关概念.

本讲义出自YongHua (Henry) Zeng在Hadoop Summit Tokyo 2016上的演讲,主要分享了基于Spark的高性能时空轨迹分析的相关背景.架构以及技术设计,在技术设计方面主要讲解了大数据平台的设计.数据治理的设计.算法模型以及Spark轨迹计算等内容,最后还对于高性能时空轨迹分析的未来发展进行了展望.

本讲义出自Abhishek Modi在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Qubole的Hadoop技术.Qubole的架构设计.短生命周期的Hadoop集群的相关内容以及面对的挑战以及YARN的自动扩展和不断发展的HDFS技术.

本讲义出自Robert Hryniewicz在Hadoop Summit Tokyo 2016上的演讲,主要介绍了数据科学以及机器学习的相关基本概念以及机器学习的例子,并分享了机器学习的方法,还分享了K-means的聚类方法.决策树以及随机森林等相关知识.

本讲义出自Maryann Xue与Julian Hyde在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Apache Phoenix项目,Phoenix 是 HBase 的 SQL 驱动,其可以使得 HBase 支持通过 JDBC 的方式进行访问,并将SQL 查询转成 HBase 的扫描和相应的动作,在演讲中分享了Phoenix的一些优点以及其架构设计,并且分享了Phoenix + Calcite的架构设计.

本讲义出自Sanjay Radia在Hadoop Summit Tokyo 2016上的演讲,主要介绍了HDFS的相关知识以及HDFS的过去以及未来发展的动机,分享了HDFS的优势所在以及面对的主要挑战,并分享了弹性的HDFS以及泛化存储层的存储容器.