阿里云E-Mapreduce动态
- E-MapReduce 2.3.1镜像版本(已发布)
- 基础镜像CentOS 6.5内核版本升级到2.6.32-642
- 支持Hadoop YARN Job failover
资讯
- 大数据的寒冬已至,谁将倒下,谁成巨人?
本文就近期百分点和亚信数据内部人事调整的新闻出发,提出了“大数据寒冬已至”的观点,而过度竞争是大数据寒冬的主要因素。对于未来大数据公司如何生存,文章中提出了产品聚焦、成本控制等方向,为度过寒冬做准备。
- 大数据第一案,微博为什么赢了?
微博赢得了“脉脉非法抓取使用微博用户信息”案件的胜利,作者认为脉脉主要输在以下几点:1、非法获取用户信息,并用于商业化;2、行为构成了不正当竞争;3、脉脉没有起到保护用户信息的作用。此案对行业也有警示作用:各平台方都有责任推动数据生态的繁荣,积极建立数据使用规则,对那些滥用数据,过度使用数据额行为进行制止。
- Apache软件基金会宣布Apache Eagle成为顶级目
Apache软件基金会正式宣布Eagle从Apache孵化器项目毕业,正式升级成为顶级项目。Eagle是由eBay开源的大数据分布式实时监控和预警解决方案,已被应用于eBay,Paypal,1号店等公司。以Hadoop为代表的开源大数据解决方案正在朝着安全、稳定、可观测等企业级需求方案演进。
技术
- 梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践
梨视频是一款脱胎于传统媒体的创业型短视频软件,在视频领域异军突起,本文介绍了如何通过阿里云快速构建核心的数据平台和推荐系统,实现业务落地,整套系统利用ECS,OSS,SLS,EMR,Redis,RDS全套产品搭建完成,数据流全打通。
- 基于Docker的京东大数据实时计算平台
文章介绍了京东公司内部使用Storm平台时遇到的问题,比如用户资源需求多样复杂、大集群维护、成本节省等,以及如何使用docker技术对storm进行改造,达到了用户申请即可用、配置个性化、大规模集群的要求,操作高效且自动化。
- 英特尔开源分布式深度学习库BigDL:支持高性能大数据分析
近日,英特尔开源了一个运行在 Apache Spark 上的分布式深度学习库 BigDL,其可以利用已有的 Spark 集群来运行深度学习计算,并且还能简化从 Hadoop 的大数据集的数据加载。在 Xeon 服务器上的测试表明BigDL相比于Caffe、Torch 或 TensorFlow 等开源框架实现了显著的速度提升。其速度可与主流的 GPU 相媲美
- Hadoop 3.0 纠删码之性能评测
Hadoop 3.0.0-alpha1 新版本中增加的主要功能之一是纠删码技术,本文先简单介绍纠删码技术,然后主要评测纠删码技术的性能,以及纠删码技术和 HDFS 默认3备份技术的性能比较。
欢迎加入阿里云开源大数据交流钉钉群
版权声明
信息都是来自互联网,都给出了原文的链接,如果侵权,请联系我们,我们负责删除。
阿里云E-Mapreduce团队 出品