开源大数据周刊-第30期

阿里云E-MapReduce实践

  • 泰为在E-MapReduce上的考量与实践
    阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户将数据在存储平台和计算平台之间进行输入输出,以满足不同业务类型的需要,所以对阿里云EMR充满期待。
  • HIVE MapJoin在E-MapReduce上的调优与处理总结
    HIVE被很广泛的使用,使用过程中也会遇到各种千奇百怪的问题。这里就遇到的MapJoin Local 内存不足的问题进行讨论,从问题描述、mapjion原理以及产生该问题的原因,解决方案做一下介绍,最后对该问题进行了进一步的思考,希望对解决该类问题的朋友有所帮助。

资讯

  • CloudSort 夺冠,阿里云性价比高出 AWS 保持的世界记录三倍
    重磅新闻。2016 年 11 月 10 日,Sort Benchmark 在官方网站公布了 2016 年排序竞赛 CloudSort 项目的最终成绩。阿里云以$1.44/TB 的成绩获得 Indy(专用目的排序)和 Daytona(通用目的排序) 两个子项的世界冠军,打破了 AWS 在 2014 年保持的纪录 4.51$/TB。这意味着阿里云将世界顶级的计算能力,变成普惠科技的云产品。
  • 2016年10月大数据投融资分析报告:精准营销最终将实现“无营销”的营销
    根据不完全统计,2016年10月大数据行业共计发生42起投融资事件,相比上个月环比增长24%,其中已披露具体金额的有39起,涉及金额33.83亿人民币。
  • 基于大数据技术的二手车交易服务商大搜车完成1亿美元融资
    11月15日,二手车交易服务商——大搜车宣布获得了C轮1亿美元融资,蚂蚁金服和神州租车共同参与了此次投资。大数据技术功不可没啊。
  • 大数据加持 自动化快递物流支撑电商千亿时代
    2016年天猫“双十一”全球狂欢节签收的第一单,物流反应速度之快,也创了新纪录。 反应速度提速背后,是大数据加持的结果。伴随着“双十一”电商狂欢进入第八个年头的快递物流行业,已经全面进入数据化、信息化、自动化发展路径,初步摆脱最初“双十一”时爆仓、损耗,累垮快递员的局面,而开始收获订单激增与口碑变好的双重福利。
  • MIT科技评论:阿里巴巴成为大数据变革者
    阿里已经成为一家大数据公司,阿里巴巴大数据价值不仅体现在数量上,更体现在数据的质量上,巨头推进大数据向前发展。
  • (技术)大数据统一的批处理和流处理标准Apache Beam
    Apache Beam 是 Apache 软件基金会越来越多的数据流项目中最新增添的成员,这个项目的名称表明了设计:结合了批处理(Batch)模式和数据流(Stream)处理模式。它基于一种统一模式,用于定义和执行数据并行处理管道(pipeline),这些管理随带一套针对特定语言的SDK用于构建管道,以及针对特定运行时环境的Runner用于执行管道。
  • (技术)深入理解Flink核心技术
    Flink项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多的人关注Flink项目。本文将深入分析Flink一些关键的技术与特性,希望能够帮助读者对Flink有更加深入的了解,对其他大数据系统的开发者也能有所裨益。
  • (技术)大数据时代的9大Key-Value存储数据库
    各种规模的组织开始有了处理大数据的需求,而目前关系型数据库在可缩放方面几乎已经达到极限。一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。本文介绍了9种用于大数据处理的免费键值存储数据库。

欢迎加入阿里云开源大数据交流钉钉群

国内大数据相关会议

| 会议 | 地点 | 时间 | 费用 |
| CBIS 2016中国(上海)大数据产业创新峰会 | 上海 | 2016.12.1 | 2080元起 |

版权声明

信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。

阿里云E-Mapreduce团队 出品

时间: 2024-09-13 12:45:38

开源大数据周刊-第30期的相关文章

开源大数据周刊-第12期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.3.4版本 (已经发布) 升级jdk到1.8 升级Hadoop到2.7.2 添加python2.7.1及python3.4版本 添加numpy库 支持Presto.phoenix.jstorm.oozie 支持Hadoop跟Hbase混合部署 支持深圳.上海机房 1.4版本(正在研发): 用户执行计划及集群运行状态自定义报警 1.4.1版本 集群整体运行情况的仪表盘 集群状态监控报警 资讯 5W1H(六何分析法)全景洞察大数据 我

开源大数据周刊-第15期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(已经发布) 作业运行失败报警 作业并行提交 添加sqoop.shell类型的作业 1.4.1版本(正在研发) 完善失败报警 完善定时任务,增加小时.分钟定时任务 1.5.0版本 (正在研发) 集群整体运行情况的仪表盘 集群状态监控报警 1.5.0版本 交互式查询(支持hive.spark) 资讯 中国大数据发展10大趋势5大挑战 中国大数据发展10大趋势5大挑战,如:大数据的首席数据官开始崛起.可视化推动大数据平民化.智能

开源大数据周刊-第13期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.3.4版本 (已经发布) 升级jdk到1.8 升级Hadoop到2.7.2 添加python2.7.1及python3.4版本 添加numpy库 支持Presto.phoenix.jstorm.oozie 支持Hadoop跟Hbase混合部署 支持深圳.上海机房 1.4版本(正在研发): 用户执行计划及集群运行状态自定义报警 1.4.1版本 集群整体运行情况的仪表盘 集群状态监控报警 资讯 从Hadoop Summit 2016看

开源大数据周刊-第14期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(正在发布): 作业运行失败报警 作业并行提交 添加sqoop.shell类型的作业 1.4.1版本 集群整体运行情况的仪表盘 集群状态监控报警 资讯 创业公司如何构建数据指标体系? 对于庞大的创业群体和数据运营新手来说,这将是一篇非常具有参考价值的干货贴,作者将在文章中深入阐述两套构建指标体系的方法,即关键指标法和海盗指标法. 怎样选择数据平台的建设方案 文中对比了MPP.Hadoop传统的数据库等不同方案的优缺点,值得一

开源大数据周刊-第17期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(已经发布) 作业运行失败报警 作业并行提交 添加sqoop.shell类型的作业 1.4.1版本(已经发布) 完善失败报警 完善定时任务,增加小时.分钟定时任务 1.5.0版本 (正在研发) 集群整体运行情况的仪表盘 集群状态监控报警 1.6.0版本 交互式查询(支持hive.spark) 资讯 大数据投资人必读:中国大数据发展与投资分析报告 随着大数据蕴涵价值的逐步释放,使其成为IT信息产业中最具潜力的蓝海.大数据正以一

开源大数据周刊-第16期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(已经发布) 作业运行失败报警 作业并行提交 添加sqoop.shell类型的作业 1.4.1版本(正在研发) 完善失败报警 完善定时任务,增加小时.分钟定时任务 1.5.0版本 (正在研发) 集群整体运行情况的仪表盘 集群状态监控报警 1.6.0版本 交互式查询(支持hive.spark) 资讯 Apache Spark 2.0.0 发布,APIs 更新 该版本主要更新APIs,支持SQL 2003,支持R UDF ,增强

开源大数据周刊-第36期

[阿里云E-MapReduce动态] 1.6.0版本上线,增加交互式工作台.支持独享机型 国际站上线,海外用户可以购买E-MapReduce服务 资讯 看行业观察家和技术专家对大数据在2017年的发展预测 业界权威市场研究和咨询机构Ovum公司日前估计,大数据市场规模将从2016年的17亿美元增长到2020年的94亿美元.随着市场的增长,企业的挑战正在转变,对人们的技能需求正在改变,而大数据服务供应商的景观也在风云变幻.2017年将是大数据专业人士更为忙碌的时刻.文章介绍了来自相关行业观察家和技

开源大数据周刊-第49期

资讯 实时流数据分析--2017 年的 27 个预测 概述:根据Markets & Markets的预测,流数据分析市场将从 2016 年的 30 8 亿美元增长到 2021 年的 137 亿美元.各个企业都将快速意识到他们需要利用实时数据集成和流数据分析来获得更有价值的信息.使数据变得更安全以及保持增长 高清无码,2017全球大数据产业版图! 汇聚了大数据生态的相关产业版图和全景版图. Caffe2正式发布!新框架有何不同?贾扬清亲自解答 今天凌晨召开的F8大会上,Facebook正式发布Ca

开源大数据周刊-第52期

阿里云E-Mapreduce动态 E-MapReduce调度功能添加重试机制 ## 资讯 重磅|MapD宣布开源:在多GPU服务器上二次查询数十亿条记录的核心数据库和代 全球人工智能:专注为AI开发者提供全球最新AI技术动态和社群交流.用户来源包括:北大.清华.中科院.复旦.麻省理工.卡内基梅隆.斯坦福.哈佛.牛津.剑桥等世界名校的AI技术硕士.博士和教授:以及谷歌.腾讯.百度.脸谱.微软.华为.阿里.海康威视.滴滴.英伟达等全球名企的AI开发者和AI科学家. 实时离线融合在唯品会的进展:在实时