开源大数据周刊-第15期

阿里云E-Mapreduce动态

E-Mapreduce团队

1.4版本(已经发布)

  • 作业运行失败报警
  • 作业并行提交
  • 添加sqoop、shell类型的作业

1.4.1版本(正在研发)

  • 完善失败报警
  • 完善定时任务,增加小时、分钟定时任务

1.5.0版本 (正在研发)

  • 集群整体运行情况的仪表盘
  • 集群状态监控报警

1.5.0版本

  • 交互式查询(支持hive、spark)

资讯

中国大数据发展10大趋势5大挑战
中国大数据发展10大趋势5大挑战,如:大数据的首席数据官开始崛起、可视化推动大数据平民化、智能化嵌入、机器学习迎来上扬态势、开源应用加速等10大趋势及相应的挑战。

数据在工业的崛起将重塑整个商业社会,你信吗?
无论是德国的工业4.0,还是美国的工业互联网,或是我国的中国制造2025,都离不开大数据,可以说,大数据在工业的崛起将重塑整个商业社会,其影响力甚至不是互联网所能比的,你信吗?事实上,工业4.0带来的智能生产、智能运维、智能服务、云工场及跨界打击将重构整个商业体系

涂子沛:都说收集数据很难,也许是思维错了
互联网上流行过一个“查水表”的段子:“开门,查水表的”, 就是不开,因为“水表在外面”(看不懂的自行百度,另一个关键词是爆破组)。台词后来又演变为“水表已拆”——有人在说完话之后刻意补上这4个字,然后心照不宣地笑了

国家统计局科学研究所副所长许亦频:大数据思维让政府统计更准确
在居民收入统计当中,大家可能常常说,收入统计低了、高了、或被提高了。在大数据时代,国家统计局找到了一个有效的办法,用居民的纳税记录来反推高收入人群的收入数据。这个方法对于个体分析是不可以的,但是作为国家管理部门取得一个宏观平均数据是可以操作的。我们正在做这个尝试,希...

巧用MapReduce+HDFS,海量数据去重的五种方法
随着存储数据信息量的飞速增长,越来越多的人开始关注存储数据的缩减方法。数据压缩、单实例存储和重复数据删除等都是经常使用的存储数据缩减技术。

Hadoop、Spark、HBase与Redis的适用性讨论
本文跟大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景

基于Hadoop集群的大规模分布式深度学习
在过去的十年里,Yahoo 一直持续投资建设和扩展 Apache Hadoop 集群,到目前为止共有超过 4 万台服务器和 600PB 数据分布在 19 个集群上。

国内大数据相关会议

会议 地点 时间 费用
2016上海china Hadoop Summit 上海 2016年07月29日-2016年07月30日 收费
Strata + Hadoop World 北京 2016年8月04- 2016年8月06日 收费
2016北京云栖大会 北京 2016年08月07日 免费

版权声明

信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。
阿里云E-Mapreduce团队 出品

历史周刊链接

开源大数据周刊-第13期
开源大数据周刊-第12期
开源大数据周刊-第11期
开源大数据周刊-第10期
开源大数据周刊-第9期
开源大数据周刊-第8期
开源大数据周刊-第7期
开源大数据周刊-第6期
开源大数据周刊-第5期
开源大数据周刊-第4期
开源大数据周刊-第3期
开源大数据周刊-第2期
开源大数据周刊-第1期

时间: 2024-11-03 00:43:28

开源大数据周刊-第15期的相关文章

开源大数据周刊-第17期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(已经发布) 作业运行失败报警 作业并行提交 添加sqoop.shell类型的作业 1.4.1版本(已经发布) 完善失败报警 完善定时任务,增加小时.分钟定时任务 1.5.0版本 (正在研发) 集群整体运行情况的仪表盘 集群状态监控报警 1.6.0版本 交互式查询(支持hive.spark) 资讯 大数据投资人必读:中国大数据发展与投资分析报告 随着大数据蕴涵价值的逐步释放,使其成为IT信息产业中最具潜力的蓝海.大数据正以一

开源大数据周刊-第16期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(已经发布) 作业运行失败报警 作业并行提交 添加sqoop.shell类型的作业 1.4.1版本(正在研发) 完善失败报警 完善定时任务,增加小时.分钟定时任务 1.5.0版本 (正在研发) 集群整体运行情况的仪表盘 集群状态监控报警 1.6.0版本 交互式查询(支持hive.spark) 资讯 Apache Spark 2.0.0 发布,APIs 更新 该版本主要更新APIs,支持SQL 2003,支持R UDF ,增强

开源大数据周刊-第12期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.3.4版本 (已经发布) 升级jdk到1.8 升级Hadoop到2.7.2 添加python2.7.1及python3.4版本 添加numpy库 支持Presto.phoenix.jstorm.oozie 支持Hadoop跟Hbase混合部署 支持深圳.上海机房 1.4版本(正在研发): 用户执行计划及集群运行状态自定义报警 1.4.1版本 集群整体运行情况的仪表盘 集群状态监控报警 资讯 5W1H(六何分析法)全景洞察大数据 我

开源大数据周刊-第13期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.3.4版本 (已经发布) 升级jdk到1.8 升级Hadoop到2.7.2 添加python2.7.1及python3.4版本 添加numpy库 支持Presto.phoenix.jstorm.oozie 支持Hadoop跟Hbase混合部署 支持深圳.上海机房 1.4版本(正在研发): 用户执行计划及集群运行状态自定义报警 1.4.1版本 集群整体运行情况的仪表盘 集群状态监控报警 资讯 从Hadoop Summit 2016看

开源大数据周刊-第14期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(正在发布): 作业运行失败报警 作业并行提交 添加sqoop.shell类型的作业 1.4.1版本 集群整体运行情况的仪表盘 集群状态监控报警 资讯 创业公司如何构建数据指标体系? 对于庞大的创业群体和数据运营新手来说,这将是一篇非常具有参考价值的干货贴,作者将在文章中深入阐述两套构建指标体系的方法,即关键指标法和海盗指标法. 怎样选择数据平台的建设方案 文中对比了MPP.Hadoop传统的数据库等不同方案的优缺点,值得一

开源大数据周刊-第30期

阿里云E-MapReduce实践 泰为在E-MapReduce上的考量与实践 阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户将数据在存储平台和计算平台之间进行输入输出,以满足不同业务类型的需要,所以对阿里云EMR充满期待. HIVE MapJoin在E-MapReduce上的调优与处理总结 HIVE被很广泛的使用,使用过程中也会遇到各种千奇百怪的问题.这里就遇到的MapJoin Local 内存不足的问题进行讨论,从问题

开源大数据周刊-第43期

阿里云E-MapReduce动态 E-MapReduce发布新版本,可以在控制台管理meta表结构. 资讯 人脸识别,要靠哪些技术支撑,是否会泄露个人隐私? 本文介绍人脸识别用到哪些技术,讨论如何保护用户隐私 一图看懂AI阵营:学习AI 站错队可导致自取灭亡 本文介绍现在AI技术阵营,对AI各流派进行细分,梳理了17种方法,并用 图直观展现. 物联网大规模爆发成既定现实 安全标准亟待建立 物联网大规模爆发式增长的序幕已经开启.但在物联网发展中不断涌现新技术的同时,新问题也逐渐暴露出来. 大数据投

开源大数据周刊-第61期

EMR资讯: 在北京举行的Strata Data 会议上,EMR团队的木艮进行了<Hadoop遇到云上对象存储--实现原理.陷阱和性能优化>的主题分享 EMR + ECS D1机型的数据高可靠方案进行中,8月底将会正式提供服务. EMR团队将会在Hadoop上进行改造,支持阿里云的主子账号的AK认证访问Hadoop体系. 资讯 全球最顶级大数据盛会Strata Data Conference在北京成功落幕 2017年7月13-15日,全球最顶级大数据会议Strata Data Conferen

开源大数据周刊-第60期

资讯 Apache Spark 2.2.0正式发布 Spark 2.2.0 持续了半年的开发,近期发布了2.2.0版本,此版本是 2.x 版本线的第三个版本.在这个版本 Structured Streaming 的实验性标记(experimental tag)已经被移除,这也意味着后面的 2.2.x 之后就可以放心在线上使用了.除此之外,这个版本的主要集中点是系统的可用性和稳定性.关于 Apache Spark 2.2.0 的详细新功能介绍请参见文章 <网络安全法>实施一个月,大数据创业进入迷