大数据虚拟化零起点(六) 使用CLI创建Apache Hadoop集群

在大数据虚拟化基础运维第五步创建Hadoop集群开始之前,我想先说明,这里我不通过BDE提供的可视化界面来创建集群。原因是,我们之前部署好的vApp包括BDE管理服务器,是通过虚机的方式在运行。此时,它还没能跟vSphereWeb Client进行绑定,从而暂时无法交付可视化管理界面。在之后的博客文章里,我将介绍如何交付可视化界面。

但大家不要担心,BDE管理服务器自身已经提供了完备的对外服务接口(RestAPI),用户只需通过命令行(CLI)的方法操控它,就能开始对Hadoop集群进行快速部署和管理。下图说明了CLI与RestAPI的关系。

我们已经通过之前发布的基础运维系列博客文章部署好了BDE管理服务器。现在,就使用CLI创建第一个Hadoop集群吧!具体步骤如下:

1.SSH登录BDE管理服务器的虚拟机 Console

在第一次登录服务器虚拟机时,屏幕上方会提供初始密码。登录成功后,为了确保安全性,请务必通过脚本更改初始密码。

更改密码的脚本:

sudo/opt/serengeti/sbin/set-password –u

如下图所示:

2.服务器端运行CLI

在Console命令行中直接输入Serengeti,就可以进入SerengetiCLI 程序。SerengetiCLI提供了丰富的集群管理相关命令行和帮助体验。如下图所示:

时间: 2024-11-02 21:12:42

大数据虚拟化零起点(六) 使用CLI创建Apache Hadoop集群的相关文章

大数据虚拟化零起点(四) 部署vCenter Server Virtual Appliance 5.1

在大数据虚拟化零起点基础运维第二步中,我们完成了vSphere5.1的安装.接下来,我们可以开始第三步--部署vCenterServer Virtual Appliance 5.1. 在开始部署之前,我想先介绍一下什么是vCenterServer Virtual Appliance(VSVA),以让大家了解部署它的用途和价值. 顾名思义,VSVA本质上是vCenterServer,但其部署模式变成了vApp形式.在这种形式下,VSVA保留了vCenterServer的特性,包括可以管理多个ESX

大数据虚拟化零起点(七) 安装Big Data Extensions Plugin

今天我们就将实现大数据虚拟化POC环境的零起点部署.在下面的文章内容中,我将通过6个步骤,带领大家完成BigData Extensions Plugin的安装.具体步骤如下: 1.在浏览器打开Big Data Extensions的plugin注册界面: 输入URL http://<serengeti-mgmt-server's-ip-address:8080/register-plugin,选择Install.如下图所示: 2.输入vCenter Server的IP地址(注意不要在IP前加ht

大数据虚拟化零起点(二) 基础运维第一步 环境规划和准备

大数据的虚拟化之旅以POC开启最为合适.POC是Proofof Concept的简称,意思是概念验证,也就是通常意义上指的测试,用以了解产品的特性是否符合预期的需求. 那么,如何从零起点部署大数据虚拟化的POC环境呢? 我认为,工欲善其事,必先利其器. 这里的"器",就是虚拟化环境.虚拟化环境是开始搭建大数据基础架构的一个前提,但是,我相信各位读者的"器"目前可能各不相同.所以,为了保证所有读者都能顺利完成部署,我会从一开始的搭建虚拟化环境开始,从源头帮助大家了解搭

大数据虚拟化零起点(三) 基础运维第二步 安装vSphere 5.1

在大数据虚拟化的环境规划和准备完成之后,我们便可以开始安装vSphere5.1了.安装vSphere5.1并不复杂,却是大数据虚拟化基础运维的重要一步.在下面的文章里,我将把安装vSphere5.1归纳为12个步骤,带领大家一步一步完成安装. 1.登录Dell PowerEdge服务器.方法是通过http://<remote_host_ip>.你需要从网络管理员手中获得这台服务器所在网络的IP地址,以及管理员账号和密码,以用来远程登陆这台服务器的管理界面.如下图所示: 这里需要提醒以下两点:

大数据虚拟化零起点(五)部署vSphere Big Data Extensions 1.0 vApp

VMware vSphere Big Data Extensions(简称BDE)beta版本于2013年6月正式发布,同年9月22日作为vSphere 5.5的新功能正式上市.作为VMware推出的基于Serengeti开源技术的商业发行版,BDE的发布将延伸vSphere这一受到广泛认可的IT基础架构,使其成为部署.运行和管理大数据集群和负载的最佳基础架构平台. BDE是基于Serengeti的商业发行版.下图为BDE1.0 版的功能清单.在众多功能中,最令人惊喜的莫过于BDE1.0 版提供

大数据虚拟化零起点(一) 开篇

大数据的虚拟化:企业IT发展潮流 大数据的虚拟化是当前大数据以及Hadoop社区的一个发展趋势.Gartner在2013年6月举行的Hadoop Summit大会上提到,为了让Hadoop等大数据技术真正落地企业,我们要从具体业务需求出发,驱动大数据相关技术和产品的进一步发展,逐渐告别之前技术驱动的创新.Gartner同时指出,虚拟化是这个新阶段的重要趋势.随着全球企业IT虚拟化的比例突破三分之二,以虚拟化为基础的软件定义的数据中心对企业来讲变得越来越普及和重要,大数据在这样的浪潮下如何影响和融

虚拟化Hadoop集群的部署和管理:基本操作

在Big Data Extensions(BDE)上不仅可以在分钟级别非常快速地部署Hadoop集群,这点可以通过前文<大数据虚拟化零起点-6基础运维第五步-使用CLI创建Apache Hadoop集群>和<大数据虚拟化零起点-7基础运维第六步-安装Big Data Extensions Plugin>感受到.部署完成后,BDE还能够方便地管理它们,从软件定义的角度,通过简单的图形界面和直观的命令行两种方法对集群的对象进行管理.下面我们就具体展开,讨论这些日常所需的集群运行管理.

深入解析大数据虚拟化的架构(下)- 系统架构

继<零起点部署大数据虚拟化>系列教程之后,本着"知其然,亦知其所以然"的原则,本系列走进大数据虚拟化的内部,分上下两篇博文,帮助读者了解vSphere Big Data Extensions(以下简称BDE)的部署架构和系统架构,理解部署原理和内部构成,以及各自的作用.希望对您有所帮助,也欢迎您留言评价. 上: Serengeti虚拟化应用 下: Serengeti管理服务器的系统架构(即本文) Serengeti管理服务器的系统架构 Serengeti管理服务器包括几个重

深入解析大数据虚拟化的架构(上)- 部署架构

继<零起点部署大数据虚拟化>系列教程之后,本着"知其然,亦知其所以然"的原则,本系列走进大数据虚拟化的内部,分上下两篇博文,帮助读者了解vSphere Big Data Extensions(以下简称BDE)的部署架构和系统架构,理解部署原理和内部构成,以及各自的作用.希望对您有所帮助,也欢迎您留言评价. 上: Serengeti虚拟化应用(即本文) 下: Serengeti管理服务器的系统架构 Serengeti虚拟化应用 vSphere Big Data Extensi