【Hadoop Summit Tokyo 2016】使用Amaterasu项目进行数据操作

本讲义出自 Egor Pakhomov在Hadoop Summit Tokyo 2016上的演讲,主要分享了数据收集.存储和分析的技巧,介绍了为什么SQL如此的重要以及如何在Hadoop中使用SQL,以及在数据存储过程中如何此案呢过做到使得存储的数据能够既能易于查询又能容易地进行改变,以及如何使用BI工具聚合数据.

本讲义出自W Daniel Cox III与Chhitesh Shrestha在Hadoop Summit Tokyo 2016上的演讲,在演讲中简要地介绍了数据转换的相关概念以及KNIME数据分析平台,并且在现场演示了对于能源数据规划和定价的预测,并且分享了如何将KNIME工具集与Hortonworks进行结合.

本讲义出自 Jayush Luniya在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Apache Ambari,Apache Ambari是用于创建.管理.监视 整个Hadoop生态圈软件的集群的分布式架构的软件,Ambari 可以让 Hadoop 以及相关的大数据软件更容易使用,本讲义就介绍了如何使用Apache Ambari简化Hadoop项目的开发和运维.

本讲义出自Joe Percivall在Hadoop Summit Tokyo 2016上的演讲,主要对于Apache NiFi进行了介绍,还介绍了NiFi中新的特性,并且对于MiNiFi的相关概念以及架构设计进行了介绍. Apache NiFi是Apache基金会的开源项目,其设计目标是自动化系统间的数据流.基于其工作流式的编程理念,NiFi非常易于使用,强大,可靠及高可配置.两个最重要的特性是其强大的用户界面及良好的数据回溯工具.NiFi的用户界面允许用户在浏览器中直观的理解并与数据流举行交互

本讲义出自Damien Contreras在Hadoop Summit Tokyo 2016上的演讲,主要分享了东日本可口可乐公司的Hadoop技术应用的经验.Hadoop实际项目以及Hadoop在以可口可乐为代表的的制造业的应用和未来东日本可口可乐公司的Hadoop技术发展方向.

本讲义出自Maryann Xue与Julian Hyde在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Apache Phoenix项目,Phoenix 是 HBase 的 SQL 驱动,其可以使得 HBase 支持通过 JDBC 的方式进行访问,并将SQL 查询转成 HBase 的扫描和相应的动作,在演讲中分享了Phoenix的一些优点以及其架构设计,并且分享了Phoenix + Calcite的架构设计.

本讲义出自Owen O'Malley在Hadoop Summit Tokyo 2016上的演讲,主要分享了Avro, JSON, ORC & Parquet这些文件基本格式的相关内容,介绍了文件格式如何发挥不同的作用以及他们如何才能更好地发挥作用以及这些文件数据格式的各自的优点,还分享了如何使用真实的.多样化的数据集,并介绍了过度依赖类似的数据导致的弱点以及开放和审查基准.

本讲义出自Bikas Saha在Hadoop Summit Tokyo 2016上的演讲,主要分享了如何使得数据科学在企业中变得容易实现以及目前企业中实现数据科学所面临的的挑战,并分享了在企业中如何使用Apache Zeppelin以及企业中数据科学的未来的发展规划.

本讲义出自Vinay Shukla在Hadoop Summit Tokyo 2016上的演讲,主要介绍了 Spark的安全体系.以及YARN AM上的Spark驱动以及Kerberos身份验证等相关内容,最后还介绍了SparkSQL的相关内容.