【Hadoop Summit Tokyo 2016】在Apache Hadoop上保护企业数据

本讲义出自Junping Du在Hadoop Summit Tokyo 2016上的演讲,主要分享了在Apache Hadoop 3.0中YARN和MapReduce已经拥有和正在演进的新特性,并且对于Apache Hadoop 3.0 版本的时间轴进行了分享.

本讲义出自Jerry Peng在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Apache Storm的相关知识内容.目前遇到的挑战和问题并且对于资源感知调度器进行了详细介绍.

本讲义出自Joe Percivall在Hadoop Summit Tokyo 2016上的演讲,主要对于Apache NiFi进行了介绍,还介绍了NiFi中新的特性,并且对于MiNiFi的相关概念以及架构设计进行了介绍. Apache NiFi是Apache基金会的开源项目,其设计目标是自动化系统间的数据流.基于其工作流式的编程理念,NiFi非常易于使用,强大,可靠及高可配置.两个最重要的特性是其强大的用户界面及良好的数据回溯工具.NiFi的用户界面允许用户在浏览器中直观的理解并与数据流举行交互

本讲义出自Rafael Coss在Hadoop Summit Tokyo 2016上的演讲,主要分享了与Apache NiFi相关的知识,Apache NiFi 是一个易于使用.功能强大而且可靠的数据处理和分发系统,Apache NiFi 是为数据流设计.它支持高度可配置的指示图的数据路由.转换和系统中介逻辑.讲义中还讲解了与数据流相关的基本概念,以及在数据流的使用中面临的挑战和困难.

本讲义出自Koji Kawamura与Arti Wadhwani在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Apache NiFi的相关内容,并分享了Apache NiFi 1.0版本的增强以及目前 NiFi的边界,以及与NiFi相关的问题和未来展望.

本讲义出自Vinay Shukla在Hadoop Summit Tokyo 2016上的演讲,主要介绍了 Spark的安全体系.以及YARN AM上的Spark驱动以及Kerberos身份验证等相关内容,最后还介绍了SparkSQL的相关内容.

本讲义出自Abhishek Modi在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Qubole的Hadoop技术.Qubole的架构设计.短生命周期的Hadoop集群的相关内容以及面对的挑战以及YARN的自动扩展和不断发展的HDFS技术.

本讲义出自Enis Soztutar与Ankit Singhal在Hadoop Summit Tokyo 2016上的演讲,在他们的演讲中按照HBase之上SQL的过去,现在和未来进行划分进行了分别的讲解,对于"过去"部分讲义中分享了Phoenix的基础.架构和目前具有的特点,在"现在"部分讲义中分享了Phoenix最新的版本以及Phoenix查询服务器,而在未来部分则分享了Calcite的集成以及Phoenix与HBase的相关知识.

本讲义出自Alex Lv与Amber Vaidya在Hadoop Summit Tokyo 2016上的演讲,主要分享了构建于Spark和Hadoop上的开源数据质量平台Griffin,Griffin可以用于处理批量数据.实时数据和非结构化的数据,并且构建了统一的过程来检测无效或者不准确等DQ问题,讲义中介绍了eBayGriffin的技术架构.以及用例等.

本讲义出自Yusuke Furuyama与Yang Xie在Hadoop Summit Tokyo 2016上的演讲,主要分享了对于电力公司智能电表数据的数据分析案例,并分享了利用MapReduce与Spark 1.6进行计算的性能比较情况,并对于Spark 2.0的进化情况进行了分享.