阿里云E-MapReduce 创建集群

进入创建集群页面

登录阿里云 E-MapReduce 控制台集群列表。

完成 RAM 授权,操作步骤请参见角色授权。

在上方选择所在的地域(Region),所创建集群将会在对应的地域内,一旦创建后不能修改。

单击右上方的创建集群按钮,进行创建。

创建集群流程

要创建集群,您需要继续完成以下 3 个步骤:

软件配置
硬件配置
基础配置

步骤1:软件配置

配置项说明:

产品版本:选择默认最新的软件版本

集群类型:目前的EMR提供了

Hadoop标准的 Hadoop 集群,包含了大部分的 Hadoop 相关的组件,具体的组件信息可以在选择界面的列表中查看。
Kafka独立的 Kafka 集群,提供消息服务。
包含配置:使用默认的配置,后期可以在管理界面中添加和启停服务。

安全模式:是否开启集群的 Kerberos 认证功能。一般的个人用户集群无需该功能,默认关闭它。

步骤2:硬件配置

配置项说明:

付费配置

付费类型测试的场景下使用按量开始,测试都正常了以后。可以新建一个包月的生产集群正式使用。
集群网络配置

集群可用区:一般使用默认的可用区即可。

网络类型:推荐使用VPC。若还未创建,可前往VPC控制台进行创建。

注意:经典网络与专有网络不互通,购买后不能更换网络类型。

ECS 实例系列:使用默认最新的系列。

VPC:选择在该地域的VPC。

交换机:选择在对应的VPC下的在对应可用区的交换机,如果在这个可用区没有可用的交换机,那么就需要前往去创建一个新的使用。

新建安全组:一般用户初次来到这里还没有安全组,打开“新建安全组”开关,在“安全组名称”里面填上新的安全组的名字。

选择安全组:若已经有在使用的安全组可以直接这里选择使用。

集群节点配置

高可用集群:后续正式集群如果是使用高可用的,测试情况下也打开高可用。

节点类型:只需要使用Master和Core,Task可以不用,需要的时候再追加。

节点配置: 使用默认配置

数据盘类型:根据需要选择高效或者是SSD云盘。

数据盘容量:根据需要调整磁盘容量,推荐至少80G

实例数量:根据需要调整

步骤3:基础配置

配置项说明:

基本信息

集群名称:集群的名字,长度限制为 1-64 个字符,仅可使用中文、字母、数字、“-”和“_”。
运行日志

运行日志:是否保存作业的日志,日志保存默认是打开的。开启后会需要您选择用来保存日志的 OSS 目录位置,会将您的作业的日志保存到该 OSS 存储目录上。当然,您要使用这个功能必须先开通 OSS,同时上传的文件会按照使用的量来计算用户的费用。强烈建议您打开 OSS 日志保存功能,这会对您的作业调试和错误排查有极大的帮助。

日志路径:保存日志的 OSS 路径。

统一Meta数据库:推荐先关闭。

权限设置 无需调整,使用默认即可。

登录设置

登录密码:设置 master 节点的登录密码。8 - 30 个字符,且必须同时包含大写字母、小写字母、数字和特殊字符!@#$%^&*
配置清单和集群费用

在配置清单上确认配置和对应的费用

确认创建

当所有的信息都有效填写以后,“创建”按钮会亮起,确认无误后单击创建将会创建集群。

注意:

若是按量付费集群,集群会立刻开始创建。页面会返回集群列表页,就能看到在列表中有一个“集群创建中”的集群。请耐心等待,集群创建会需要几分钟时间。完成之后集群的状态会切换为“集群空闲”。

若是包年包月集群,则会先生成订单,在支付完成订单以后集群才会开始创建。

创建失败

如果创建失败,在集群列表页上会显示“集群创建失败”,将鼠标移动到红色的感叹号上会看到失败原因,如下图所示。

创建失败的集群可以不用处理,对应的计算资源并没有真正的创建出来。这个集群会在停留3天以后自动隐藏。

时间: 2024-09-20 09:26:11

阿里云E-MapReduce 创建集群的相关文章

阿里云计算资深总监:阿里云已实现单个集群5000节点规模

阿思达克通讯社10月24日讯,阿里云计算资深总监.飞天负责人唐洪24日在http://www.aliyun.com/zixun/aggregation/13501.html">阿里云开发者大会中表示,目前阿里云实现了单个集群5000节点的规模,从1500到5000用了半年的时间,已经完成包括软硬件在内的大部分标准化工作. 据介绍,飞天5k单点集群拥有10万核计算能力.100PB存储空间,可处理15万并发任务数,承载亿级别文件数目. 所谓飞天开放服务,是指主要为用户应用程序提供了计算和存储两

在阿里云上进行Docker集群的自动弹性伸缩

简介 在刚刚结束的云栖大会上,阿里云容器服务演示了容器的自动弹性伸缩,能够从容应对互联网应用的峰值流量.关于阿里云上容器的自动弹性伸缩,可以参考文章在阿里云上进行Docker应用的自动弹性伸缩. 同时在流量变大的时候自动进行容器的弹性伸缩,要求容器集群有很好的容量规划,必须有多余的集群资源以支持弹性扩容.但问题是当流量变大,容器扩容导致集群资源不够的时候怎么办呢,是否需要手工进行容器集群的扩容?实际阿里云容器服务不仅支持容器级别的自动弹性伸缩,也支持集群节点级别的自动弹性伸缩.从而真正做到从容应

平台云Deis部署1-CoreOS集群安装

1.前置条件 三台云计算主机(coreos-无外网,deis要求至少三台)   一台工作机(fedora-有外网)   官方文档:http://docs.deis.io/en/latest/installing_deis/baremetal/   CoreOS离线安装参照:<平台云基石-CoreOS之离线安装篇(无需互联网)>   CoreOS集群明细参照:<平台云基石-CoreOS之集群篇(无需互联网)>   官方要求最低CoreOS版本为472.0.0,本例使用的是494.0.

阿里云ftp服务器创建和使用(WinServer2003)

  阿里云ftp服务器创建使用手册                  最近ITOO项目需要发布到阿里云上,每天传东西都是先传到云盘上然后在从云盘上下载到服务器上.总结起来就是你两个字--麻烦!于是乎就想到了在服务器上建一个FTP服务器,接下来就就详细介绍一下如何在阿里云服务器上创建FTP的过程.           一.添加用户         1.右击我的电脑,选择管理                   2.如图找到需要选择"用户",右击选择添加                  

云环境下的集群负载分析及调度策略研究

云环境下的集群负载分析及调度策略研究 杭州电子科技大学 应俊 本文首先研究了传统数据中心的特点及其缺点,分析了云数据中心的特点,接着研究了云集群的负载监控技术以及基于libvirt的虚拟机负载搜集技术.介绍了云环境下调度的概念和特征,并以OpenStack云平台为例详细分析了云环境下的调度机制.以CloudSim为例分析了云模拟技术,并研究了其中的主要模块. 随后,为了能深入理解云数据中心负载特征,本文搜集了实际公有云中生产集群的负载数据,涉及1082个虚拟机实例和100台物理机,时间跨度为20

云环境下产业集群信息服务平台的新模式

云环境下产业集群信息服务平台的新模式 王玉: 刘春: 赵海军 文章分析了现有产业集群信息服务平台的政府主导.行业协会联盟主导及信息技术公司主导3种模式的服务内容与服务状况,针对其存在的局限性,构建了云环境下产业集群的信息服务平台新模式,分析了新模式的信息服务内容及运营模式. 云环境下产业集群信息服务平台的新模式

云上实现NoSQL集群的自动化扩展

迅达云成(SpeedyCloud)的首席技术官董伟在会上做了主题为<云平台上的NoSQL集群的自动化扩展>的演讲.为小伙伴们演示了在云主机上创建并初始化NoSQL集群的方法:以及如何通过监控系统发现主机故障,并且自动调用云端API进行故障设备替换的过程,最后还展示了如何通过命令行的方式销毁主机的整个过程. 但是因为时间仓促,没有给小伙伴们留出太多时间进行问题解答和难点的详细介绍,所以董伟在会后将大家比较关注的一些问题整合起来,并分析了在搭建的过程中碰到的一些难点问题及解决方案,以下是他整理出来

阿里云如何使用创建磁盘接口

创建磁盘 描述 创建磁盘需要通过实名认证.没有通过实名认证的可以前往 阿里云官网 中的用户中心 -> 会员信息中进行实名认证. 本接口是用于创建可卸载云盘的数据盘,包括普通云盘.高效云盘和SSD云盘,系统盘的快照不能用来创建数据盘.创建磁盘时,默认在删除磁盘时删除自动快照,即 DeleteAutoSnapshot=true,可以通过 修改磁盘属性 修改该参数.通过该接口创建的盘Portable属性为true.收费方式为按量付费. 请求参数中 Size 和 SnapshotId 必须选择其中一项来

平台云基石-CoreOS之集群篇(无需互联网)

    官方文档中关于集群的配置需要在cloud-config.yaml中配置discovery,而我的实验环境没有外网.     Java代码   #cloud-config      coreos:     etcd:       # generate a new token for each unique cluster from https://discovery.etcd.io/new       discovery: https://discovery.etcd.io/<token>