【Hadoop Summit Tokyo 2016】雅虎日本的大规模Hadoop集群网络

本讲义出自Amandeep Modgil与David Hamilton在Hadoop Summit Tokyo 2016上的演讲,主要分享了数据湖泊的起源问题.数据的安全性问题.数据治理.修改管理以及企业内的Hadoop工作等相关内容.

本讲义出自Bikas Saha在Hadoop Summit Tokyo 2016上的演讲,主要分享了对于Hadoop集群的性能度量与监控.日志记录.以及跟踪和分析等的相关方法和使用到的HBase.HDFS.YARN等相关的开源技术.

本讲义出自Pankaj Rastogi与Debasish Das在Hadoop Summit Tokyo 2016上的演讲,主要分享了网络数据相关知识.网络异常DDoS攻击以及使用基于Lambda架构的Spark的近实时的网络异常检测和流量分析的架构设计,并分享了Trapezium的相关概念.

本讲义出自Stephen Oakley在Hadoop Summit Tokyo 2016上的演讲,主要分享了Marketo的Web跟踪技术以及其合法的Web跟踪设施的架构设计以及相关法律问题,并对于Marketo的大规模Web跟踪基础设施的技术需求和业务需求进行了介绍,并且分享了在架构设计中使用到的Spark Streaming以及HBase等相关技术.

本讲义出自Damien Contreras在Hadoop Summit Tokyo 2016上的演讲,主要分享了东日本可口可乐公司的Hadoop技术应用的经验.Hadoop实际项目以及Hadoop在以可口可乐为代表的的制造业的应用和未来东日本可口可乐公司的Hadoop技术发展方向.

本讲义出自Tomomichi Hirano在Hadoop Summit Tokyo 2016上的演讲,主要分享了Rakuten公司遇到的大规模多租户Hadoop集群造成的迷之问题:从来不结束任务.数据结点冻结.命名结点冻结.命名节点重新启动后出现高负载以及在解决上述问题中获取的经验教训,并且分享了Rakuten的服务器配置和管理经验.

本讲义出自Owen O'Malley在Hadoop Summit Tokyo 2016上的演讲,主要分享了Avro, JSON, ORC & Parquet这些文件基本格式的相关内容,介绍了文件格式如何发挥不同的作用以及他们如何才能更好地发挥作用以及这些文件数据格式的各自的优点,还分享了如何使用真实的.多样化的数据集,并介绍了过度依赖类似的数据导致的弱点以及开放和审查基准.

本讲义出自Bikas Saha在Hadoop Summit Tokyo 2016上的演讲,主要分享了如何使得数据科学在企业中变得容易实现以及目前企业中实现数据科学所面临的的挑战,并分享了在企业中如何使用Apache Zeppelin以及企业中数据科学的未来的发展规划.

本讲义出自Vinay Shukla在Hadoop Summit Tokyo 2016上的演讲,主要介绍了 Spark的安全体系.以及YARN AM上的Spark驱动以及Kerberos身份验证等相关内容,最后还介绍了SparkSQL的相关内容.