基于Hadoop云存储系统在设计院的应用研究

基于Hadoop云平台的水利普查数据挖掘系统的设计和实现 樊龙 万定生 顾昕辰 针对水利普查数据量大.属性维度多等特点,论文通过探讨和分析Hadoop的组成和运行机制,提出了一种基于Hadoop云平台的水利普查数据挖掘系统,介绍了系统的设计思想及架构,详细阐述系统内各个模块的功能作用.该系统利用Hadoop云平台实现了一种改进后的并行关联规则算法,既充分利用了Hadoop平台并行处理数据的能力,又降低了开发所需的成本.通过进行单机对比测试和集群测试,证明了系统具有更好的可用性和较高的挖掘效率.

 一.读写机制 首先来看文件读取机制:尽管DataNode实现了文件存储空间的水平扩展和多副本机制,但是针对单个具体文件的读取,Hadoop默认的API接口并没有提供多DataNode的并行读取机制.基于Hadoop提供的API接口实现的云盘客户端也自然面临同样的问题.Hadoop的文件读取流程如下图所示: 使用HDFS提供的客户端开发库,向远程的Namenode发起RPC请求: Namenode会视情况返回文件的部分或者全部block列表,对于每个block,Namenode都会返回有该blo

基于Hadoop云计算平台的图像分类与标注 陆寄远 黄承慧 侯昉 李斌 为有效处理并利用互联网海量的图像和视频数据,提出了一种基于Hadoop云平台的图像分类和标注解决方案.针对如何高效地进行训练集提取这一重要问题,搭建了基于云计算的图像抓取平台,利用互联网的图像资源作为原始数据集,为提取训练集图像提供足够的数据;实现了基于概率潜在语义分析模型的训练集图像提取功能,对原始数据集进行基于主题的聚类,帮助用户快速选取训练集图像;加入了SVM分类模型,利用提取出来的训练集对未标注图像进行分类标注,实现

基于Hadoop 的校园云存储系统的研究 高新成, 王莉利 针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点.通过对Hadoop 框架和MapReduce 编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop 框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop 的校园云存储系统. 关键词-Hadoop; MapReduce; 云计算; 分布式计算; 存储模型 temp_1210021608512

云计算(Cloud Computing)是一种基于因特网的超级计算模式,在远程的数据中心里,成千上万台电脑和服务器连接成一片电脑云.用户通过电脑.笔记本.手机等方式接人数据中心,按自己的需求进行运算.目前,对于云计算仍没有普遍一致的定义.结合上述定义,可以总结出云计算的一些本质特征,即分布式计算和存储特性.高扩展性.用户友好性.良好的管理性. 1云存储架构图 橘色的作为存储节点(Storage Node)负责存放文件,蓝色作为控制节点((Control Node)则是负责文件索引,并负责监控存储

面向海量数据的云存储系统实现与应用研究 南京理工大学 艾明 本文对海量数据存储及海量数据挖掘做了调研.由于网络中数据的表现形式是多种多样的,为了方便研究,本文以科研工作者管理文献为例,将海量数据来源具体化为网络中的电子文献数据.在此基础上,本文通过云存储和云计算平台,成功搭建了一个面向海量文献数据的云存储系统,该系统实现了文献数据管理与分析.系统首先需要用户注册,然后用户可以上传文献(如PDF文件)存储在云端,接着用户便可以管理自己上传的文献,如增加文献.删除文献等,同时系统还提供文献信息检索和

基于粒子群调度器的云存储系统针对交互密集型任务的缓存模型研究 华东师范大学 华夏渝 本文的研究依托于Hadoop Distribute File System分布式文件系统所构建的分布式存储平台,提出了一种基于粒子群调度分配算法的主从名字节点缓冲架构,旨在解决原有系统在面对具有频繁写入读出特性的一类用户应用程序时系统吞吐量剧烈降低这一问题. 关键词:分布式文件系统   HDFS  分布式缓存  粒子群  云计算   下载地址:http://bbs.chinacloud.cn/showtopic-

基于Hadoop的云安全存储系统的设计与实现 广东工业大学  蒋向阳 云计算是分布式计算.并行计算和网格计算的发展,给人类生活.生产方式和商业模式带来根本性改变,是当前全社会关注的热点之一.云存储是从云计算概念上延伸发展出来的一个新的概念,它是指通过集群应用.网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统.随着云计算技术与云存储技术的广泛应用,其存在的安全问题不断突显出来,安全问题已成为阻碍云计算和云存

前言: 本文是<基于Hadoop开发网络云盘系统架构设计方案>的第二篇,针对界面原型原本考虑有两个方案:1.类windows模式,文件夹.文件方式,操作习惯完全按照Windows方式进行,提供右键菜单管理命令.2.浏览列表式,提供常规界面按钮式命令.本文采用的方式是文件清单列表式,至于第一种方式,另列专题进行说明. 一.界面原型 二.设计说明 连接管理:建立连接.断开连接.设置连接参数 文件操作:浏览文件.上传文件.下载文件.删除文件.导入文件(批量).刷新列表 用户管理:查看用户信息.修改用