高性能数据云的设计与实现

Sector and Sphere: the design and implementation of a high-performance data cloud

YUNHONG GU AND ROBERT L. GROSSMAN

Cloud computing has demonstrated that processing very large datasets over commodity clusters can be done simply, given the right programming model and infrastructure. In this paper, we describe the design and implementation of the Sector storage cloud and the Sphere compute cloud.

Keywords: cloud computing; data-intensive computing; distributed computing 高性能数据云的设计与实现

时间： 2024-09-25 15:30:39

高性能数据云的设计与实现的相关文章

在Hadoop集群下的智能电网数据云仓库设计

在Hadoop集群下的智能电网数据云仓库设计郑柏恒孟文易东梁晓波针对电网数据规模大.类型多.价值密度小.变化速度快.地理位置离散的特点,为了对这些数据进行有效.可靠.低廉地存储以及快速地访问与分析,满足智能电网运行.检修.效益管理等应用的需求,提出了在Hadoop廉价PC机集群下的智能电网数据云仓库的解决方案,为挖掘海量电网数据提供有效.可靠.低廉的工具.首先分析了电网大数据的特点,再结合IEC61970标准通用信息模型的特点,基于Hadoop框架,设计出满足电网大数据处理需求的电力信

低成本和高性能MySQL云数据的架构探索

原文地址:http://www.alibabatech.org/article/detail/3405/0?ticket=d69f07f8-b60b-43f8-9572-7d795bb8429d 作者:鸣嵩 PPT这里下载: 该文已在<程序员>2012年10期上发表. MySQL作为一个低成本.高性能.可靠性好而且开源的数据库产品,在互联网企业应用非常广泛,例如淘宝网有数千台MySQL服务器的规模.虽然近两年来NoSQL的发展很快,新产品层出不穷,但在业务中应用NoSQL对开发者来说要求比较高

个人云系统移动终端数据同步的设计与实现

个人云系统移动终端数据同步的设计与实现北京邮电大学冯久凌本文提出了一种新的移动数据同步方法来达到数据的一致性,采用了日志的方式存储差异,以及C/S结构乐观复制方法.该方法有效减少了通信开销,有效的解决了移动环境中终端数据同步及一致性问题.系统设计充分考虑了易用性.高效性.全面性.扩展性和可访问性,保证系统健壮以及数据的有效利用.系统可划分为平台侧和移动终端侧,平台侧接收各个客户端的同步请求,进行同步处理后,同各个客户端交互,与各个客户端保持数据同步:移动终端在本地保持一个与云端数据一致的

基于云平台的医疗数据交换中间件设计

基于云平台的医疗数据交换中间件设计张植蓝宝魏振钢信息技术的不断发展对医疗信息化不断提出新的要求,云计算的发展与成熟为医疗信息化的发展提供了新的契机.中间件作为云计算中核心的一环,在医疗云平台的实现中起着至关重要的作用.本文提出了一种基于云计算技术医疗数据共享中间件,可以充分利用云平台的计算资源,降低重复开发交换共享程序的成本. 基于云平台的医疗数据交换中间件设计

揭秘红包场景下的高性能本地存储架构设计

前言:红包是最近兴起的全民参与的活动,2017年新春红包在参与人数和业务峰值上都到达了历史新高,其中红包除夕开奖峰值达到90W/s.近日,阿里云系统和块存储负责人.资深专家马涛从高性能本地存储架构设计.高性能本地存储要点分享.高性能本地存储性能数据等方面分享了高性能本地存储的实战经验. 以下内容根据现场分享和幻灯片整理而成. 红包业务特点支付宝红包的大致业务架构包括单元化部署.统一接入.网关.DAO.数据库以及在线\离线数据处理,整体流程很长.其中数据库在整理的交易链路中起到承上启下的作用.在

互联工厂大数据云平台打造中国版CPS

摘要:10月13日2016杭州云栖大会拉开帷幕,智能工业专场的上海名匠智能系统有限公司董事长陈俊带来了"工业大数据与云制造"的重要演讲.本文从智能制造带来的机遇和挑战开始谈起,进而对互联工厂进行定位,并讲解了互联工厂的特点,接着重点说明了工业大数据下的互联工厂模型及应用场景,最后简要介绍了立体仓库货位优化控制系统. 以下内容根据演讲PPT及现场分享整理: 本文从智能制造带来的机遇和挑战开始谈起,进而对互联工厂进行定位,并讲解了互联工厂的特点,接着重点说明了工业大数据下的互联工厂模型

云计算如何改变数据中心的设计运维成本

文章讲的是云计算如何改变数据中心的设计运维成本,随着数据中心向云技术的靠拢,低成本.大规模的运行环境已经成为不可阻挡的历史走向.而那些陈旧的设计与经济模式则逐渐淡出了人们的视野. 虽然许多人认为比起云计算带来的成本优势,提高资源池利用率及快速反应能力可以带来更明显的回报.不过我们仍然坚信以规模.效益以及商业流程为核心内容的数据中心二次规划,才是能够带来根本性转变的不二法门. 换句话来说,前者的成本优势(充分利用现有资源等)依赖于对现有数据中心设计模式的高效调动;而后者则通过转化创造出全新的设计模

基于英特尔平台打造高性能游戏云

3月8日,2017游戏行业全球同服和安全攻防技术沙龙在上海举行,英特尔技术人魏彬带来题为"基于英特尔平台打造高性能游戏云"的演讲.本文首先从最新英特尔平台技术简介开始,接着讲解了性能优化方法论,着重分析了游戏优化方案,包括TBB Malloc.ICC优化.微架构NUMA优化和High-Bin Xeon的优势,最后进行了简要总结.一起来了解下! 直播视频回放以下是精彩内容整理: 最新英特尔平台技术简介 Tick-Tock Development Model Tick-Tock Deve

投资20亿宁波大数据云基地揭牌

月17日,宁波大数据云基地揭牌暨项目签约仪式在慈溪市政府举行,该基地特许经营期限为25年,项目计划前5年总投资20亿,这是全国首个特许经营的大数据云基地.杭州数梦工场科技有限公司与慈溪市政府达成战略共识,将承建该区域综合性大数据云基地. 在特许经营期内,除本项目外,慈溪市不再自行或者引进其他投资进行政务云建设.除上级政府强制规定外,慈溪市只向项目公司购买政务云服务和政务大数据服务.在保证数据信息安全和数据权利人同意的前提下,只有项目公司及合作者可以利用沉淀于慈溪市政务云的政府大数据,开展面向社会