面向海量数据的云存储系统实现与应用研究

面向海量数据的云存储系统实现与应用研究

南京理工大学 艾明

本文对海量数据存储及海量数据挖掘做了调研。由于网络中数据的表现形式是多种多样的,为了方便研究,本文以科研工作者管理文献为例,将海量数据来源具体化为网络中的电子文献数据。在此基础上,本文通过云存储和云计算平台,成功搭建了一个面向海量文献数据的云存储系统,该系统实现了文献数据管理与分析。系统首先需要用户注册,然后用户可以上传文献(如PDF文件)存储在云端,接着用户便可以管理自己上传的文献,如增加文献、删除文献等,同时系统还提供文献信息检索和聚类分析功能。

关键词：海量数据 云计算 云存储 GlusterFS Nutch Hadoop Mahout 文本聚类

temp_12080207244991.rar

时间： 2024-10-22 11:18:28

面向海量数据的云存储系统实现与应用研究的相关文章

基于Hadoop云存储系统在设计院的应用研究

基于Hadoop云存储系统在设计院的应用研究 黄滨 徐勇 吕岩 近年来,三维设计.协同设计在设计院中逐渐推广使用,设计院面临着文件和数据量的快速增长,现有的文件存储设施已不能适应业务增长的需求.本文首先描述了云计算和云存储的概念,分析了云存储的体系结构和技术优势,提出了基于 Hadoop 构建的云存储系统模型,并应用于数据备份.归档及数据共享等领域,满足了设计院对海量数据存储.数据共享和数据挖掘等要求. 关键词-设计院:云计算:云存储:Hadoop:海量数据 temp_1211210942558

金山推出安全云存储系统　凸显安全易用性

日前,金山软件推出安全云存储系统,该系统主要针对企业私有云.据了解,目前已经在使用金山安全云存储系统的主要为大型企业,金山方面也在考虑面向中小企业推广自己的安全云存储系统. 金山安全云存储系统十分注重安全问题,其会对上传文件进行碎片分割.加密存储,并具有多重安全验证及权限管理,上传文件还可以根据用户的选择进行安全扫描. 金山安全云存储系统凸显易用性,十分适合企业内部的协同办公.金山方面也在考虑与相关IT产品厂商接触,进行整合合作. 金山软件自1988年成立以来,一直秉承技术立业的理念,先后推出了

一种新型云存储系统的设计与实现

一种新型云存储系统的设计与实现 董昌坤,侯宾,吕玉琴 随着数据的暴增,传统的存储方式已经不再满足海量数据的存储需求,云存储技术的飞速发展,使得云存储成为了一种新型的数据存储解决方案.本文分析了国内外云存储技术的发展现状,提出了一个具有高可扩展性.高可靠性.兼容不同存储设备的分布式云存储解决方案.本文从分布式文件系统HDFS 出发,设计实现文件读写模块,在兼容Amazon S3协议的基础上,设计实现核心业务逻辑处理模块.面向前端请求的代理模块.安全认证模块.基于数据库的元数据存储模块.前端页面显示

哪一种云存储系统与你的数据相匹配？

一些公共云提供商,如亚马逊.微软和谷歌,会定期添加一些新功能来吸引企业客户,毫无疑问,基于云的存储有很多选择.从这么多备选中做出选择的关键在于:对于你的特定云部署来说,评估哪种特性是最重要的.延迟,应用程序编程接口,将本地应用程序与存储系统相集成具有重大的意义-- 需要注意的是面向客户的应用程序和互动内部应用程序都会产生一定的延迟.网页太慢或者应用程序太慢都会影响使用,如果在几秒钟内没有响应,用户经常会直接关闭网站.内部用户也会有类似的情况.研究商业智能数据库的经理和分析师,也会受到数据和查询工

基于Hadoop 的校园云存储系统的研究

基于Hadoop 的校园云存储系统的研究 高新成, 王莉利 针对海量数据的存储问题,传统方法一般是通过购置更多数量的服务器来提升计算和存储能力,存在硬件成本高,存储效率低等缺点.通过对Hadoop 框架和MapReduce 编程模型等云计算核心技术的分析和研究,提出了一种基于Hadoop 框架的海量数据存储模型,并在此模型的基础上,设计并实现了基于Hadoop 的校园云存储系统. 关键词-Hadoop; MapReduce; 云计算; 分布式计算; 存储模型 temp_1210021608512

华为UDS云存储系统助力欧洲核子研究中心

全球领先的信息与通信解决方案提供商华为,今日宣布UDS云存储系统通过了欧洲核子研究中心(theEuropeanOrganizationforNuclear Research,简称CERN)的性能测试.本次测试是华为与CERN合作的重要组成部分,用于存储领域创新技术和架构的研究与验证,以应对高能物理领域海量数据存储和高性能处理需求的挑战. CERN是世界上最大的粒子物理研究组织,其拥有全球大型强子对撞机(LHC)系统计算网格中唯一的0级(最高级)数据中心,每年有超过20PB的有关大型强子对撞机(L

开始云私有云存储系统：让数据更安全高效

企业数据中70%的数据是非结构化数据.大数据时代,企业非结构化数据的几何式增长,给企业带来了巨大的机遇和财富.许多中大型企业都希望建设自己的私有云存储系统,做好海量数据的积累与传承. 但是,企业该如何满足不断变化的存储需求,保持系统的稳定性?如何有效地规避系统运行中因各种软硬件问题而导致的数据丢失.损坏等风险?当数据增长到一定量级时,又如何对数据进行高效利用?围绕企业数据管理,又存在着一系列的难题与挑战. 但毋庸置疑的是,数据已经成为企业最重要.最具有发展价值的数字资产.统一管理与充分利用好企业

云存储系统监控服务分析

      监控在我们的日常生活和生产随处可见,交通.银行.超市.商场.学校.工厂等等,在刑侦.勘探.科研.安保等各种领域,发挥了越来越大的作用,已经成为人们不可或缺的安全屏障和有力工具.      监控对于计算机网络同样有着巨大的意义和价值,从服务器性能到应用服务状态,从硬件资源到网络流量,为业务应用.系统运维等提供准确的运行状态信息,及时发现.暴露问题.       OSS作为智能分布式云存储系统,对外提供海量.安全和高可靠的存储服务,使得用户无需关心系统资源和服务器运维问题,将更多的精力专

面向服务的云制造系统架构分析

面向服务的云制造系统架构分析 康玲 吴华 王时龙 周杰 为了解决当前云制造尚缺应用模式的问题,根据云制造全生命周期智慧制造.按需动态构建及多粒度服务等特点,提出了基于Agent的云制造系统5层架构.基于面向服务的思想,建立了云制造OWLS本体模型,通过本体映射.推理机.匹配器完成服务请求.发布和绑定流程,提出了一种面向云制造服务的OWLS本体扩展框架和Web语义化描述方法,为云制造服务匹配奠定了理论基础.构建了基于Agent的云制造服务协商机制,通过Agent分工.合作.竞争及协商实现云制造