阿里云E-MapReduce实践
- 如何在E-MapReduce上使用引导操作安装kafka组件
当前E-MapReduce中没有kafka组件，需要额外安装。本文介绍如何用E-MapReduce引导操作来安装kafka_2.10-0.10.0.0版本。
资讯
- 大数据行业成资本市场新宠 数据源或成大数据公司核心竞争力
日前，大数据发展浪潮正在席卷全球，资本也敏锐追逐着高增长市场。大数据是我国的战略性新兴产业，而投资界持续看好大数据产业的发展未来，这种趋势明显增强。 - LinkedSee灵犀获5000万元A轮融资，把大数据落地硬件运维
LinkedSee灵犀的定位是运维大数据公司，主要侧重帮企业解决硬件运维方面的需求。 LinkedSee灵犀对市场的判断是，小微企业为了节约成本使用公有云会偏多，虽然不需要自己去维护机房，但仍需监控别人维护的状况，对这部分企业提供告警服务比较合适。而大企业依旧会用私有化部署，即使有业务迁移到共有云上，对机房管理的需求不是消失，而是转嫁到像阿里云这种底层IaaS厂商身上，也就是说，厂商的硬件维护成本是越来越高的，针对这种情况，提供一套监控维护方案就比较合适。 - 2017年值得关注的十大IaaS云发展趋势
如今各云服务供应商开始为客户提供更多选择，包括遍布全球各地的主机、更多虚拟化实例配置以及工作负载优化机制，同时亦推出了更多对云环境内数据进行管理与分析的选项。文章分析了 IaaS公有云市场在2017年又将迎来哪些转变
技术
- Catalyst — Spark SQL中的函数式关系查询优化框
Catalyst是Spark SQL中的一套函数式关系查询优化框架，本演讲将Catalyst中最为关键的TreeNode和Rule结构提炼出来，并用之实现了一个完整的带编译优化的Brainfuck解释器， 全部代码不到三百行。通过这个迷你解释器，观众将可以完整理解Catalyst的基本工作原理，并体会到函数式、申明式编程的强大 - Apache Flink 1.2.0新功能概述
文章介绍了Apache Flink 1.2.0新功能。在Apache Flink 1.1+版本上，社区主要的集中点在操作性（Operations）、生态系统（Ecosystem）、更广泛的用户（Broader Audience）以及应用特性（Application Features）等方面的开发 - HBase RegionServer宕机数据恢复
为了防止数据写入缓存之后不会因为RegionServer进程发生异常导致数据丢失，在写入缓存之前会首先将数据顺序写入HLog中。如果不幸一旦发生RegionServer宕机或者其他异常，这种设计可以从HLog中进行日志回放进行数据补救，保证数据不丢失。HBase故障恢复的最大看点就在于如何通过HLog回放补救丢失数据 - Spark Streaming + Elasticsearch构建App异常监控平台
文章介绍了美团使用Spark和ES在实时日志监控/查询中的一些实践
欢迎加入阿里云开源大数据交流钉钉群
版权声明
信息都是来自互联网，都给出了原文的链接，如果侵权，请联系我们，我们负责删除。
阿里云E-Mapreduce团队 出品
时间： 2024-09-11 14:28:07