【Hadoop Summit Tokyo 2016】Apache Storm中的资源感知调度

本讲义出自Frank Zhao.Fenghao Zhang与 Yusong Lv在Hadoop Summit Tokyo 2016上的演讲,主要介绍了分布式流系统的相关概念,可靠性处理.Apache Storm的解决方案以及面对的挑战.新提出的方法以及 Apache Storm的原型和基准.

本讲义出自Bikas Saha在Hadoop Summit Tokyo 2016上的演讲,主要分享了如何使得数据科学在企业中变得容易实现以及目前企业中实现数据科学所面临的的挑战,并分享了在企业中如何使用Apache Zeppelin以及企业中数据科学的未来的发展规划.

本讲义出自Joe Percivall在Hadoop Summit Tokyo 2016上的演讲,主要对于Apache NiFi进行了介绍,还介绍了NiFi中新的特性,并且对于MiNiFi的相关概念以及架构设计进行了介绍. Apache NiFi是Apache基金会的开源项目,其设计目标是自动化系统间的数据流.基于其工作流式的编程理念,NiFi非常易于使用,强大,可靠及高可配置.两个最重要的特性是其强大的用户界面及良好的数据回溯工具.NiFi的用户界面允许用户在浏览器中直观的理解并与数据流举行交互

本讲义出自Junping Du在Hadoop Summit Tokyo 2016上的演讲,主要分享了在Apache Hadoop 3.0中YARN和MapReduce已经拥有和正在演进的新特性,并且对于Apache Hadoop 3.0 版本的时间轴进行了分享.

本讲义出自Rafael Coss在Hadoop Summit Tokyo 2016上的演讲,主要分享了与Apache NiFi相关的知识,Apache NiFi 是一个易于使用.功能强大而且可靠的数据处理和分发系统,Apache NiFi 是为数据流设计.它支持高度可配置的指示图的数据路由.转换和系统中介逻辑.讲义中还讲解了与数据流相关的基本概念,以及在数据流的使用中面临的挑战和困难.

本讲义出自Madhan Neethiraj在Hadoop Summit Tokyo 2016上的演讲,主要分享了如何使用Apache Ranger和Apache Atlas保障数据安全并进行数据治理,首先分享了Apache Ranger的概览.授权策略.行过滤和列标记策略以及审计日记等相关内容,之后分享了Apache Atlas的概览的相关内容.

本讲义出自Arun Murthy在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Arun Murthy与团队的从各种流使用中学习到的最佳实践和经验,演讲的内容非常简单易懂并且非常有趣,在演讲的最后还介绍了像搭乐高一样搭建Storm与Spark Streaming Pipelines块的相应工具.

本讲义出自San Jose在Hadoop Summit Tokyo 2016上的演讲,主要介绍了为什么在钻探行业复合数据流非常重要,以及当前Apache Nifi的发展概况和突破点,还介绍了不被期待的工作流的概况.

本讲义出自 Makoto YUI与NTT Takashi Yamamuro在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Hivemall的相关知识以及Hivemall在Spark上的应用,Hivemall是可以用于Apache Hive/Spark/Pig 的可扩展机器学习库.