基于Hadoop的气象云储存与数据处理应用浅析

前言: 本文是<基于Hadoop开发网络云盘系统架构设计方案>的第二篇,针对界面原型原本考虑有两个方案:1.类windows模式,文件夹.文件方式,操作习惯完全按照Windows方式进行,提供右键菜单管理命令.2.浏览列表式,提供常规界面按钮式命令.本文采用的方式是文件清单列表式,至于第一种方式,另列专题进行说明. 一.界面原型 二.设计说明 连接管理:建立连接.断开连接.设置连接参数 文件操作:浏览文件.上传文件.下载文件.删除文件.导入文件(批量).刷新列表 用户管理:查看用户信息.修改用

基于Hadoop 的校园云存储系统的研究 高新成, 王莉利 针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点.通过对Hadoop 框架和MapReduce 编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop 框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop 的校园云存储系统. 关键词-Hadoop; MapReduce; 云计算; 分布式计算; 存储模型 temp_1210021608512

云计算(Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云.用户通过电脑.笔记本.手机等方式接人数据中心,按自己的需求进行运算.目前,对于云计算仍没有普遍一致的定义.结合上述定义,可以总结出云计算的一些本质特征,即分布式计算和存储特性.高扩展性.用户友好性.良好的管理性. 1云存储架构图 橘色的作为存储节点(Storage Node)负责存放文件,蓝色作为控制节点((Control Node)则是负责文件索引,并负责监控存储

引言 云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度.新浪.网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统,方案为初步设计方案,不断完善中. 一.总体架构 二.方案说明 2.1 系统切分 从用户角度,整个系统划分为ECDisk客户端.ECDisk运营管理平台.HDFS分布式文件存储集群和账户数据应用平台四部分. 2.2 功能需求 文件管理:浏览.文件上传.文件下载.文件删除 用户管理:用户注册.用户登录.用户注销.账户充值.账户查询 三.技

 一.读写机制 首先来看文件读取机制:尽管DataNode实现了文件存储空间的水平扩展和多副本机制,但是针对单个具体文件的读取,Hadoop默认的API接口并没有提供多DataNode的并行读取机制.基于Hadoop提供的API接口实现的云盘客户端也自然面临同样的问题.Hadoop的文件读取流程如下图所示: 使用HDFS提供的客户端开发库,向远程的Namenode发起RPC请求: Namenode会视情况返回文件的部分或者全部block列表,对于每个block,Namenode都会返回有该blo

作者:张子良  声明:版权所有,转载请注明出处 一.概述 基于任何平台实现的云盘系统,面临的首要的技术问题就是客户端上传和下载效率优化问题.基于Hadoop实现的云盘系统,受到Hadoop文件读写机制的影响,采用Hadoop提供的API进行HDFS文件系统访问,文件读取时默认是顺序.逐block读取:写入时是顺序写入. 二.读写机制 首先来看文件读取机制:尽管DataNode实现了文件存储空间的水平扩展和多副本机制,但是针对单个具体文件的读取,Hadoop默认的API接口并没有提供多DataNo

基于Hadoop云存储系统在设计院的应用研究 黄滨 徐勇 吕岩 近年来,三维设计.协同设计在设计院中逐渐推广使用,设计院面临着文件和数据量的快速增长,现有的文件存储设施已不能适应业务增长的需求.本文首先描述了云计算和云存储的概念,分析了云存储的体系结构和技术优势,提出了基于 Hadoop 构建的云存储系统模型,并应用于数据备份.归档及数据共享等领域,满足了设计院对海量数据存储.数据共享和数据挖掘等要求. 关键词-设计院:云计算:云存储:Hadoop:海量数据 temp_1211210942558

基于Hadoop的云计算模型研究及气象应用 南京信息工程大学  张建 本文的主要工作如下: 首先对气象数据的特点进行分析,并指出将气象数据直接存储于Hadoop中存在的问题.根据气象数据的特点将设计基于Trie树变形的文件合并算法.在此基础上通过实验验证,数据高效率处理.安全等方面得到有效的提升和保障. 其次,设计并实现基于Hadoop的海量气象异构数据存储和计算框架,针对气象数据中实时提取有效数据的性能效率.数据保密安全.灾害备份等问题,利用HDFS存储气象数据以及利用MapReduce构建并

基于属性加密的气象云数据访问控制策略研究 方忠进 夏志华 周舒 随着气象业务水平的不断提高,气象数据的云存储和即时共享问题也日益突出.针对云计算环境下气象数据存储与共享面临的身份认证和访问控制问题,提出了一种基于多方授权的属性加密的访问控制模型.该模型采用一种适合云环境下大数据的属性加密方案,解决了气象部门用户多类性情况下的资料细粒度访问控制问题,同时引入全局ID概念和多方授权机制,解决了不同机构用户在气象部门各资料存储机构间的访问权限问题.系统具有较高的安全性和良好的实用价值. 基于属性加密的