异构大数据存储方法研究

异构大数据存储方法研究

北京交通大学   单旭

主要的研究内容包括以下几个方面：首先,针对大数据的产生及所带来的挑战,从技术的角度论述了非关系数据库的发展历程。从总体上对关系数据库和非关系数据库的特点进行了对比,详细分析了关系数据库的优缺点及在大数据环境下遇到的瓶颈,深入研究了非关系数据库的架构、理论、特征及存储模型,阐述了其相比于关系数据库所存在的优势。然后,从功能上和性能上对微博系统具体的存储要求进行了深入分析,采用非关系数据库中三种具有不同存储模型的数据库,包括Redis、HBase和MongoDB,结合各自的特点来研究微博系统相关存储功能的实现,提出了适合微博系统的数据存储方案,设计了数据存储结构,可以满足对实时性、扩展性、可靠性和并发性的要求。同时使用关系数据库进行设计,通过对比,从理论上证明了非关系数据库研究的合理性。最后,针对微博系统设计的存储结构,选取典型的测试场景,使用不同数据库平台,进行了一系列的验证测试。通过对测试结果的分析与比较,可以证明本文设计的数据存储方案是有效的,能够满足微博系统的存储需求,并为异构大数据环境下具有类似需求的数据存储问题提供解决思路。

异构大数据存储方法研究