阿里云E-Mapreduce动态
E-Mapreduce团队
1.3.4版本 (已经发布)
- 升级jdk到1.8
- 升级Hadoop到2.7.2
- 添加python2.7.1及python3.4版本
- 添加numpy库
- 支持Presto、phoenix、jstorm、oozie
- 支持Hadoop跟Hbase混合部署
- 支持深圳、上海机房
1.4版本(正在研发):
- 用户执行计划及集群运行状态自定义报警
1.4.1版本
- 集群整体运行情况的仪表盘
- 集群状态监控报警
资讯
从Hadoop Summit 2016看大数据行业与Hadoop的发展
总体来讲,Hadoop在各行各业得到了广泛的应用,在IOT、机器学习、实时方向是最近的热点。
从理论到实践,深谈大数据可视化
大数据的挑战在于数据采集、存储、分析、共享、搜索和可视化。本文的目的是通过介绍传统可视化方法及其在处理大数据时的扩展方法,来展现大数据可视化的前沿技术。同时讨论大数据可视化的挑战,并其取得的进步
spark结构化数据处理:Spark SQL、DataFrame和Dataset
spark的三种查询语言的详细对比。
Spark数据分析实战:大型活动大规模人群的检测和疏散
主要是以一个数据分析者的角度来与大家分享如何使用spark进行大数据分析。
spark流数据处理:Spark Streaming的使用
已经有越来越多的公司使用spark streaming,本文深入分析了spark streaming及在用的过程中遇到的问题,值得一看。
Spark大数据处理系列之Machine Learning
对spark mllib有一个简单的介绍,新入门的同学可以看下。
spark 应用程序性能优化|12 个优化方法
讲述了spark 12个性能优化的点,例如:avoid shuffle when possible、use reduceByKey instead of GroupByKey when possible等
国内大数据相关会议
会议 | 地点 | 时间 | 费用 |
---|---|---|---|
2016上海china Hadoop Summit | 上海 | 2016年07月29日-2016年07月30日 | 收费 |
Strata + Hadoop World | 北京 | 2016年8月04- 2016年8月06日 | 收费 |
2016北京云栖大会 | 北京 | 2016年08月07日 | 免费 |
版权声明
信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。
阿里云E-Mapreduce团队 出品
历史周刊链接
开源大数据周刊-第12期
开源大数据周刊-第11期
开源大数据周刊-第10期
开源大数据周刊-第9期
开源大数据周刊-第8期
开源大数据周刊-第7期
开源大数据周刊-第6期
开源大数据周刊-第5期
开源大数据周刊-第4期
开源大数据周刊-第3期
开源大数据周刊-第2期
开源大数据周刊-第1期