深入解析大数据虚拟化的架构(上)- 部署架构

继《零起点部署大数据虚拟化》系列教程之后,本着“知其然,亦知其所以然”的原则,本系列走进大数据虚拟化的内部,分上下两篇博文,帮助读者了解vSphere Big Data Extensions(以下简称BDE)的部署架构和系统架构,理解部署原理和内部构成,以及各自的作用。希望对您有所帮助,也欢迎您留言评价。

上: Serengeti虚拟化应用(即本文)

下: Serengeti管理服务器的系统架构

Serengeti虚拟化应用

vSphere Big Data Extensions (BDE)是VMware基于 Serengeti开源技术的企业发行版。其重点是增强vSphere基础架构对Serengeti的支持,更好地部署、运行和管理大数据相关负载。

从部署角度看,BDE打包了Serengeti虚拟化应用,并且包括一个vCenter网页客户端的插件。

Serengeti虚拟化应用(VirtualAppliance)包括Serengeti管理服务器和虚拟机模板。这个应用可以很容易地部署在VMware的vCenter之上。

大数据虚拟化(BDE/Serengeti)的部署结构图

Serengeti管理服务器是整个Serengeti的核心部件,提供Hadoop集群在虚拟化环境下的部署,管理的功能。并且为不同用户提供不同的资源使用策略。

对资源利用率要求高的客户,可以在Serengeti的帮助下,使资源在hadoop应用和其他应用之间有效的共享。而对于Hadoop的performance有更高要求的客户,则可以通过Serengeti实现资源在不同应用之间完美隔离,达到在资源独占情况下的最优使用效果。

Serengeti管理服务器对外提供RESTAPI,以便远程客户端访问和控制hadoop集群。SerengetiCLI和BDE的UI 插件都是通过RESTAPI访问Serengeti管理服务器的。

Hadoop 集群的所有虚拟机都是从Serengeti虚拟机模板直接或间接复制而来,其中包括一个基本的CentOS操作系统,简单的集群安装需要的软件。但是其中不包含Hadoop的安装包,是因为Serengeti可以支持多种Hadoop发行版,这些软件的安装是在集群的创建过程中完成的。

部署完成之后,Serengeti管理服务器作为一个虚拟化应用运行在某一台虚拟主机中。并且注册成为vCenter的一个扩展服务器。之后,Serengeti会和vCenter建立SSL链接,确保数据交互的安全性和可靠性。

未完待续... 之后会讨论下篇 - vSphere Big Data Extensions/Serengeti的系统架构,敬请期待!

作者简介

蔺永华 (Emma Lin)

VMware高级开发工程师,Staff Engineer

担任VMware大数据产品vSphere BDE、Serengeti开源项目的技术带头人,引领和参与Serengeti核心架构与功能的设计和研发,经历Serengeti自问世以来的6个版本的研发和发布。长期致力于通过vSphere BDE/Serengeti使VMware虚拟化基础架构成为大数据应用的最好选择。在VMware之前,就职于BEA/Oracle软件开发中心,长期从事分布式系统的开发、设计工作,拥有丰富的企业软件开发经验。

查看本栏目更多精彩内容:http://www.bianceng.cnhttp://www.bianceng.cn/Servers/virtualization/

时间: 2024-12-01 09:24:29

深入解析大数据虚拟化的架构(上)- 部署架构的相关文章

深入解析大数据虚拟化的架构(下)- 系统架构

继<零起点部署大数据虚拟化>系列教程之后,本着"知其然,亦知其所以然"的原则,本系列走进大数据虚拟化的内部,分上下两篇博文,帮助读者了解vSphere Big Data Extensions(以下简称BDE)的部署架构和系统架构,理解部署原理和内部构成,以及各自的作用.希望对您有所帮助,也欢迎您留言评价. 上: Serengeti虚拟化应用 下: Serengeti管理服务器的系统架构(即本文) Serengeti管理服务器的系统架构 Serengeti管理服务器包括几个重

大数据虚拟化零起点(四) 部署vCenter Server Virtual Appliance 5.1

在大数据虚拟化零起点基础运维第二步中,我们完成了vSphere5.1的安装.接下来,我们可以开始第三步--部署vCenterServer Virtual Appliance 5.1. 在开始部署之前,我想先介绍一下什么是vCenterServer Virtual Appliance(VSVA),以让大家了解部署它的用途和价值. 顾名思义,VSVA本质上是vCenterServer,但其部署模式变成了vApp形式.在这种形式下,VSVA保留了vCenterServer的特性,包括可以管理多个ESX

大数据虚拟化零起点(二) 基础运维第一步 环境规划和准备

大数据的虚拟化之旅以POC开启最为合适.POC是Proofof Concept的简称,意思是概念验证,也就是通常意义上指的测试,用以了解产品的特性是否符合预期的需求. 那么,如何从零起点部署大数据虚拟化的POC环境呢? 我认为,工欲善其事,必先利其器. 这里的"器",就是虚拟化环境.虚拟化环境是开始搭建大数据基础架构的一个前提,但是,我相信各位读者的"器"目前可能各不相同.所以,为了保证所有读者都能顺利完成部署,我会从一开始的搭建虚拟化环境开始,从源头帮助大家了解搭

大数据虚拟化零起点(七) 安装Big Data Extensions Plugin

今天我们就将实现大数据虚拟化POC环境的零起点部署.在下面的文章内容中,我将通过6个步骤,带领大家完成BigData Extensions Plugin的安装.具体步骤如下: 1.在浏览器打开Big Data Extensions的plugin注册界面: 输入URL http://<serengeti-mgmt-server's-ip-address:8080/register-plugin,选择Install.如下图所示: 2.输入vCenter Server的IP地址(注意不要在IP前加ht

大数据虚拟化零起点(六) 使用CLI创建Apache Hadoop集群

在大数据虚拟化基础运维第五步创建Hadoop集群开始之前,我想先说明,这里我不通过BDE提供的可视化界面来创建集群.原因是,我们之前部署好的vApp包括BDE管理服务器,是通过虚机的方式在运行.此时,它还没能跟vSphereWeb Client进行绑定,从而暂时无法交付可视化管理界面.在之后的博客文章里,我将介绍如何交付可视化界面. 但大家不要担心,BDE管理服务器自身已经提供了完备的对外服务接口(RestAPI),用户只需通过命令行(CLI)的方法操控它,就能开始对Hadoop集群进行快速部署

大数据未来是App 并非基础架构

[编者按]本文作者Justin LaFayette,为我们解读他眼中大数据的未来. 在大数据被各种媒体热炒的同时,真相被蒙蔽了:App才是大数据的未来.过去http://www.aliyun.com/zixun/aggregation/13748.html">基础架构和平台一直是被捧吹的对象,但它们只提供了承载大数据的环境,无法利用大数据创造长期价值,所以它们并不是大数据的未来核心. 在市场上它需要公司提供大数据App,能够洞察特定市场版块或业务流程.及时反馈数据.到达尽可能多的调差对象.

大数据不只是数据大 全面解析大数据

在写这篇文章之前,我发现身边很多IT人对于这些热门的新技术.新趋势往往趋之若鹜却又很难说的透彻,如果你问他大数据和你有什么关系?估计很少能说出一二三来.究其原因,一是因为大家对新技术有着相同的原始渴求,至少知其然在聊天时不会显得很"土鳖";二是在工作和生活环境中真正能参与实践大数据的案例实在太少了,所以大家没有必要花时间去知其所以然. 我希望有些不一样,所以对该如何去认识大数据进行了一番思索,包括查阅了资料,翻阅了最新的专业书籍,但我并不想把那些零散的资料碎片或不同理解论述简单规整并堆

大数据虚拟化零起点(三) 基础运维第二步 安装vSphere 5.1

在大数据虚拟化的环境规划和准备完成之后,我们便可以开始安装vSphere5.1了.安装vSphere5.1并不复杂,却是大数据虚拟化基础运维的重要一步.在下面的文章里,我将把安装vSphere5.1归纳为12个步骤,带领大家一步一步完成安装. 1.登录Dell PowerEdge服务器.方法是通过http://<remote_host_ip>.你需要从网络管理员手中获得这台服务器所在网络的IP地址,以及管理员账号和密码,以用来远程登陆这台服务器的管理界面.如下图所示: 这里需要提醒以下两点:

php-PHP提供了一个借口 用Java调用然后实现解析json数据展示到界面上最好能有demo

问题描述 PHP提供了一个借口 用Java调用然后实现解析json数据展示到界面上最好能有demo PHP提供了一个借口 用Java调用然后实现解析json数据展示到界面上最好能有demo 解决方案 说真的其实我也不会,你可以问高手 解决方案二: 使用了新浪云的php,直接json_encode数据库查询结果 代码如下 <?php header("Content-type: text/html; charset=utf-8"); //echo 'Hello, SAE!'; $my