清华大学云存储应用实践

无论是在产业界还是在学术界,云计算无疑都是一大热点。作为国内的最高等学府,清华大学计算机科学与技术系高性能计算技术研究所在国内云计算理论研究及应用领域一直处于领先地位。清华大学已率先在高性能计算和云计算领域进行了诸多的尝试和实践,并在校内广泛普及应用。对此,IT168记者采访了清华大学计算机科学与技术系高性能计算研究所教授武永卫,探寻清华大学在云存储和高性能计算领域的建设与应用实践。

  “我们每个人每天都在产生大量的数据,但是却没有时间精力,或者没有很好的平台帮我们管理好数据。比如我会给家人拍DV照片,会将各种各样的数据刻盘,可是如果光盘坏了,就一点办法都没有。随着信息时代的发展,每个人产生的数据量越来越大,但是每个人对数据的管理却是越来越无力,所以我认为云存储的首要目标就是为每个人提供管理数据,存储和备份的条件,而且做到不丢失,因为现在数据已经成为了一种遗产。” 相信武永卫教授分享的观点大多数人都感同身受,也正是基于这个出发点,让他看好云存储的应用与发展。

武永卫教授介绍,自身的研究工作主要涵盖两个方面,一方面是云存储,在这个方面也花费了最多的精力,他十分强调云存储的实用性:“我们倾向于把云存储做的比较实际,有实验的环境来检验我们技术的先进性以及系统的可用性。”另一方面是虚拟计算,类似于亚马逊的弹性计算云(EC2),清华大学计算机系搭建的虚拟集群可供给学校高性能计算课程上机实验来使用,通过浏览器或者网络客户端的形式提供虚拟计算环境和运行环境,满足院系在高性能计算方面的教学实验需求。

  共享激活海量存储

  清华大学的Corsair云存储服务是专为在清华大学教职工及在校大学生群体打造的海量存储仓库,用户注册之后获得大容量私密存储空间,通过Corsair客户端方便地获取各种学习、软件、影音和游戏等资料,此外,清华大学将社区的设计理念引入到海量存储中,“在云存储中,产生的数据量会越来越大,对相同的数据产生共同兴趣的人会聚合在一起成为一个集体,我们叫做社区。” 用户可以根据自身的爱好创建社区,并担任社区的管理员,对社区进行简单的描述然后共享出来,所有的用户都会看到这个社区,感兴趣的同学可以申请加入社区,通过这样的办法来构建社区网络。因此在清华大学构建的云存储中,除了传统的数据备份之外,还有社区的数据共享,比如将一些知名的教学视频和课件在公共的存储空间展示出来,供学校各个学院学生使用。

▲Corsair云存储服务

  数据的共享使得的存储的数据被更多的学生使用,发挥出数据的最大价值,同时,数据共享还激发出了新的应用。武永卫教授介绍,基于如此海量的数据,可以提供很多应用服务。比如在清华大学校园内有一款广受欢迎的视频节目“康熙来了”,清华大学校内无线网络覆盖广泛,因此,通过手机和wifi,学生就可以收看这个节目,节目视频内容就来自于校园的云存储。

  据了解,目前清华大学校园云存储的规模已达到100TB,部署在位于不同地理位置的三个存储节点上。

打造坚实的平台 迎向开放

  目前,清华大学云存储只限于在学校内部使用,同时在全国七八个大学和一些软件园区中使用,并没有向社会开放。武永卫教授谈到,其主要原因是云存储是以数据为核心的应用,所以对网络的要求比较高,校园网提供了一个很好平台和网络环境,为云存储的使用提供了有利的条件,创造良好的用户体验。另外,也是出于对数据安全性和敏感性的考虑。

  谈到对未来的发展规划,武永卫教授表示:“我们希望把不同区域的云存储互相链接起来,比如说上海高校的学生,可能加入清华的某一个社区,这样大家可以产生更广泛意义上的数据共享。”

  武永卫教授介绍会将云存储打造成一个基础平台,然后在这个基于数据的基础平台上开发更多的应用和服务,像现在非常普遍的手机上小应用一样。但是前提是要将基础平台做好,否则应用便无从谈起。“而且平台技术含量要比做应用技术含量更高,从大学的角度来说,我们更关注做系统结构,把平台做好。把平台真正做好以后,我们鼓励开放,并提供平台接口,每个人可以基于我们平台开发自己的应用,就像苹果或者国内的百度一样。我们以后肯定也要朝着这个方向努力,但目前要做的是把平台做好。”他说。

  云存储底层架构

  在云存储的底层架构方面,清华大学采用开源的分布式文件系统,并在此基础上,针对个人存储做了一些优化和改进,他介绍道:“针对普通用户的文件存储系统的元数据量会比较大,因此我们设计了一个分布式元数据管理系统;再比如说个人的文档文件在许多时候都需要随即修改,因此如何改善用户使用体验就显得比较重要,我们在这些方面花了比较多的时间和精力。”

  此外,武永卫教授透露,在清华大学的云存储实验平台中,已开始使用自主研制的分布式文件系统。

  对于分布式处理,面对的数据量通常比较大,也需要大量的硬盘,并通过软件和硬件的协作来达到稳定性、可靠性。作为非商业性的科研单位,清华大学的存储平台也是免费向校园提供使用的,因此在性能和成本的平衡方面,清华大学也有自身的考虑。“我们云存储的应用,用到了很多戴尔的存储设备,我们也通过买很多的硬盘,来扩容设备。” 武永卫教授说道。

时间: 2024-10-16 12:32:20

清华大学云存储应用实践的相关文章

基于Hadoop平台的云存储应用实践

云计算(Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云.用户通过电脑.笔记本.手机等方式接人数据中心,按自己的需求进行运算.目前,对于云计算仍没有普遍一致的定义.结合上述定义,可以总结出云计算的一些本质特征,即分布式计算和存储特性.高扩展性.用户友好性.良好的管理性. 1云存储架构图 橘色的作为存储节点(Storage Node)负责存放文件,蓝色作为控制节点((Control Node)则是负责文件索引,并负责监控存储

“技术女神”清宵:云存储之基本技巧和上云实践

5月20日,阿里"技术女神"清宵带领大家在云端漫游了一番,为大家分享了阿里云存储业务的相关产品和技术特点,业务解决构架和解决方案.让大家对阿里云存储产品有一定的了解. 其实作为大数据计算的入口,阿里云存储为挖掘数据的更大价值提供了更多可能.对象存储,表格存储,文件存储等阿里云云存储的系列产品的功能和特点有哪些?各自的应用场景又有何不同?到底怎样的优势能够吸引众多企业从传统的本地存储毅然上云?如何能够更好地利用云上产品的天然优势加开及用地搭建行业中的经典场景和架构.同兼具SAN高速直接访

加快你的云存储实践

本文讲的是加快你的云存储实践,[IT168 资讯]我们总是在问什么是云存储?云存储是不是集群存储,是不是存储虚拟化,与SAN+NAS有什么区别?其实,答案也很简单,是也不是.说它不是,按照朱近之的提示,云存储不是一个设备,而是一种服务.而存储虚拟化.SAN+NAS是具体的产品和服务.而集群存储是面向单一应用的发展,有一定的局限性. 我认为也可以说是,试想在现有的企业实践中,如果能够将存储虚拟化.Thin Provisioning.SAN+NAS.FCoE.IPSAN等技术,根据实际情况尽可能的加

地质大学云存储风景独好,AnyShare实践出真知

  要说当前高校的信息化热点是什么,各个高校的答案不一样,可无论答案是什么,利用信息化手段是他们共同的方式,尤其是利用云计算.大数据和移动互联网,帮助高校建设更好的信息系统,服务学生.老师和管理人员. 从当前趋势看,未来智慧校园的重点之一就是对数字资源的梳理和高效利用.简单来说就是存储问题.试想一下,高校数万名学生在同一时间点访问一个课件时会发生什么?可想而知,这不仅仅是网络的问题,还有访问权限.安全.共享等问题. 中国地质大学(武汉)(下简称地大)巧妙解决了这个问题,它是怎么做到的? 存储成为

郭松柳:做中国领先的云存储服务提供商

郭松柳:1997年考入清华大学计算机系,2001年本科毕业后直读博士,其间曾担任学生辅导员和系学生组长.2006年在清华科技园启迪控股工作,2009年自主创业,并合伙创办了北京兴宇中科投资有限公司.现任北京兴宇中科科技开发股份有限公司总经理.北京兴宇中科科技开发股份有限公司其实是一个年轻的公司,从2009年创办到现在仅仅3年 多时间,这个公司团队也非常年轻,多为70末与80后, 但是这个年轻的公司和这帮年轻的人找准了一个新兴的方向,把握住了一个未来的趋势,他们努力想要成为中国领先的云存储服务提供

RAMCloud:内存云存储的内存分配机制

现在全闪存阵列已经见怪不怪了,EMC的XtremIO,还有VNX- F(Rockies),IBM FlashSystem.全闪存真正为效率而生,重新定义存储速度.凭借极致性能,高可用性,为您极大提高企业级应用效率.提到闪存的优势,那么毋庸置疑的就是速度!而在速度优势背后,SSD则面临着价格.容量以及寿命等方面的限制. 当然随着技术的发展,成本的下降,SSD有可能会取代机械硬盘,成为下一代企业存储的主要介质.机械硬盘可能转变为磁带的角色. 但是,闪存速度的确就是现在存储系统的极限吗?现在有需要基于

使用STS授权您的客户端直接访问云存储

摘要:当阿里云客户使用云存储服务来保存来自其客户端的用户数据时,现有的解决方案都存在一些问题.针对这一场景及问题,本文介绍了一种轻量级的安全解决方案,即使用STS服务授权客户端直接访问云存储.本文阐述了STS方案的基本原理,并且结合具体应用场景,对实施步骤进行了详细的描述. 1 引言 假设您是阿里云客户,您打算使用公共云服务来构建应用系统,比如为您的用户提供安防监控视频存储解决方案.当您使用云存储服务来保存来自客户端的用户数据(如支持wifi的摄像头所记录的数据)时,一种典型设计模式是让客户端通

DockOne微信分享(一四三):FreeWheel基于Kubernetes容器云构建与实践:应用编排与服务质量保证

本文讲的是DockOne微信分享(一四三):FreeWheel基于Kubernetes容器云构建与实践:应用编排与服务质量保证[编者的话]随着公司业务不断发展以及逐渐向微服务的转变,我们借助于Kubernetes容器化解决方案来标准化和简化应用发布的整个流程,使原来需要大量人工维护和干预的工作变为自动化.本次内容主要是FreeWheel现阶段基于Kubernetes容器化经验和实践的总结,目标是提供一个持续.稳定.高效的容器云平台. 服务健康检查与自我恢复 对线上业务来说,保证服务的正常稳定是重

82期:直播回顾《美女程序媛:教你玩转云存储》

云周刊 本周要点  查看更多 [直播回顾]美女程序媛:教你玩转云存储 阿里云存储团队"技术女神"清宵将在分享了云存储相关内容.目前存储常见问题有哪些,怎么解决?如何利用云上产品快速玩转行业经典场景?NAS分布式共享的对象存储在阿里云上怎样真正做到即开即用?点击查看. [精彩回顾]技术实战:21天搭建推荐系统 [精彩回顾]阿里云云数据库PostgreSQL最佳实践 技术干货 查看更多 使用日志服务LogHub替换Kafka 交通和个性化推荐实战经验分享 史上最全的机器学习资料(上) 开发