基于HDFS的云计算安全技术研究与实现

基于HDFS的云计算安全技术研究与实现

广东工业大学  郭圣昌

本文创新点如下:(1)基于IBE算法原理,设计HDFS下DataNode对Client访问的身份认证安全机制,以弥补原有HDFS架构下Client访问DataNode未曾认证的缺陷,使得恶意或者仿冒用户无法在不经过主服务器NameNode的情况下窃取DataNode上的私人数据,保证了数据安全。同时,采用类IBE算法原理,摒弃了第三方可信机构,私钥由客户端Client自主产生,减少了因密钥生成、分发和存储带来的密钥管理复杂性,简化了密钥管理。(2)设计与实现基于HDFS云计算文件管理系统中数据传输与存储的安全方案,采用对称加密算法DES、AES、3DES等在客户端Client对文件块数据加密上传,以确保Client向云计算文件管理系统传输和存储数据安全。其中,通过对传输数据摘要的处理,以验证数据在传输或存储过程中的完整性。(3)设计并实现了监测用户行为的日志管理和控制用户访问权限的访问控制方案。日志管理便于系统管理和维护数据,防止数据丢失,还可监测用户的行为;访问控制则主要控制文件数据的私有和共有,处于共享列表内的文件为共有,其余则为个人私有,仅文件属主可见。

基于HDFS的云计算安全技术研究与实现

时间: 2024-11-05 20:25:45

基于HDFS的云计算安全技术研究与实现的相关文章

基于Hadoop的云计算模型研究及气象应用

基于Hadoop的云计算模型研究及气象应用 南京信息工程大学  张建 本文的主要工作如下: 首先对气象数据的特点进行分析,并指出将气象数据直接存储于Hadoop中存在的问题.根据气象数据的特点将设计基于Trie树变形的文件合并算法.在此基础上通过实验验证,数据高效率处理.安全等方面得到有效的提升和保障. 其次,设计并实现基于Hadoop的海量气象异构数据存储和计算框架,针对气象数据中实时提取有效数据的性能效率.数据保密安全.灾害备份等问题,利用HDFS存储气象数据以及利用MapReduce构建并

基于信任的云计算安全模型研究

基于信任的云计算安全模型研究 山东师范大学 张艳东 云安全始终是云服务商不能不面对的软肋,它与云计算的发展前景息息相关.可以说,脱离了安全保障,云计算的应用及推广无从谈起.虽然传统的安全解决方案在一定程度解决了云计算中的安全问题,但完全将此套方案移植到云平台绝对不可取.由于云计算的高虚拟化程度,部署的复杂性以及高度的可扩展性等新特点,都促使我们必须研究适用于云计算的安全机制.其中信任问题是云计算推广面临的最大障碍之一,也即云用户和云服务商是否能够相互信任.针对上述问题,本文提出了相应的解决方案,

云关键技术及基于Hadoop的云计算模型研究

引言 云计算是由企业界开始发展,然后才进入学术界引起重视的,这与网格计算相反.经过对迄今为止的云计算相关学术论文进行统计分析后,显示学术界对于云 计算的研究主要集中在云技术关键技术方面.云计算研究的关键技术包括虚拟机.安全管理.数据管理.云监测.能耗管理和计算模型等.云计算的计算模型是研究 如何针对某类应用特点提出效率更高的编程方式,目前云计算模型众多,而Hadoop是一个开源的分布式系统基本架构,正日益成为具有较强实用性的开发平 台.淘宝就是国内率先使用Hadoop的公司之一. 1 云计算关键

基于多维免疫的煤矿云计算数据安全技术研究

基于多维免疫的煤矿云计算数据安全技术研究 王海荣 煤矿行业作为我国主要的能源行业在数据建设中严重不足,目前的数据水平严重制约了煤矿企业的发展.云计算作为一种新型的革命性技术,是以网络为主,能对所有任务进行处理,充分的发挥网络这种媒介的优势,有着强大的功能,完全能适应煤矿企业的发展需要,为解决煤矿企业数字建设提供技术支持.而本文介绍了一些能适用于煤矿企业的云计算服务系统,并且分析了基于云计算的煤矿企业多维免疫的优势,为煤矿企业数据的发展提供了一种具有良好前景的模式. 基于多维免疫的煤矿云计算数据安

基于HDFS的云存储安全技术研究

基于HDFS的云存储安全技术研究 余琦 凌捷 针对目前云存储技术存在的数据泄露和数据篡改等安全问题,结 合HDFS数据完整性校验机制的特点,设计并实现了一种基于HDFS的数据传输存储安全技术方案.对用户上传至HDFS中的数据文件实施AES加密,文件 以密文形式存储,同时应用RSA算法保障AES密钥的安全,可有效防止数据在传输和存储过程中被泄露.设计了基于HDFS的文件密文和文件明文两种存储格 式,用户可自主选择是否进行加密.通过安全性分析和性能测试,验证了方案的安全性和可行性. 基于HDFS的云

基于密码的云计算虚拟化网络安全研究

基于密码的云计算虚拟化网络安全研究 董贵山,邓春梅,邓子健 虚拟化网络技术是构建新一代的云计算数据中心,为云计算环境提供基础设施支撑的关键.在研究云计算数据中心典型架构与访问应用模式的基础上,从用户安全接入.通信隔离与机密性保护等方面分析了数据中心虚拟化网络的安全需求,提出了虚拟化网络安全技术框架,重点针对基于密码技术强化虚拟化网络安全,保障虚拟机之间的通信保护.信息隔离与安全交换等安全机制进行了分析与设计,提出了一种可供参考的解决方案. [关键词] 云计算:数据中心:虚拟化网络:密码技术 基于

基于Spark 的抄袭检测云计算框架研究

基于Spark 的抄袭检测云计算框架研究 于海浩 抄袭检测从根本上说是一个文本相似度的计算问题,需要迅速准确的在海量文集中对文本的原创性进行检测,耗费大量时间和资源,是计算密集和数据密集的复杂过程.采用分布式计算是是提高检测效率的有有效手段之一.本文提出了一套基于Spark的分布式抄袭检测云计算框架该框架使用由集群资源管理器Apache Mesos,支持内存驻留的 MapReduce计算框架,分布式 Hadooop 文件系统构成的分布式计算集群.测试结果表明,此框架比Hadooop传统分布式计算

基于HDFS的分布式存储研究与实现

基于HDFS的分布式存储研究与实现 电子科技大学 舒康 本文深入分析了 HDFS 的结构和运行机制,指出了其部分设计缺陷,针对HDFS的副本策略进行改进,主要工作如下: (1) HDFS默认的静态副本冗余策略并不能区分热点数据,导致存放这些数据的节点成为集群的一个瓶颈.针对这一问题,本文提出了一种基于数据热度的动态冗余策略.该策略统计并预测每个文件的访问情况,并且每个文件的统计周期随其访问频率的变化而变化,这样能快速反映出数据热度的趋势,及时增加或减少副本.使用该策略能加快系统响应速度,提高集群

基于 HDFS管理 MapGIS K9瓦片地图集的研究与实现

基于 HDFS管理 MapGIS K9瓦片地图集的研究与实现 万波  党琦  杨林 关系型数据库在管理海量空间数据时遇到诸多瓶颈,HDFS(Hadoop Distributed Filesystem)通过将大数据分割为多个小数据块,并将其分别存储在多个数据节点组成的分布式集群中,成为一种新的存储海量空间数据的方法.使用HDFS作为平台,利用数据结构类型MapFile设计一种管理MapGIS K9瓦片地图集的方式,并进行实验.实验表明用HDFS管理海量瓦片地图比传统方式管理更易扩展,更加安全,效率