基于NoSQL数据库的大数据查询技术的研究与应用

基于NoSQL数据库的大数据查询技术的研究与应用

朱建生  汪健雄  张军锋

基于NoSQL数据库理论,根据应用场景的不同,将NoSQL数据库分为面向高性能读写、面向文档和面向分布式计算的3种类型.对比分析这3种类型数据库的6种代表产品的优缺点,结合铁路客票实名制售票信息综合分析系统中的大数据操作的需求,选用NoSQL数据库中的面向分布式计算的Cassandra数据库.基于Cassandra数据库,提出铁路客票实名制信息综合分析系统的技术架构,并设计反向索引以构建客票实名制乘车信息的查询策略和查询流程.通过性能测试,验证了NoSQL数据库技术在处理大数据查询和分析中的高可用性,可突破传统关系型数据库和数据仓库在应用中所遇到的查询性能、扩展性以及投资成本的瓶颈.

基于NoSQL数据库的大数据查询技术的研究与应用

时间： 2024-10-01 15:28:24

基于NoSQL数据库的大数据查询技术的研究与应用的相关文章

基于NoSQL数据库的大数据存储技术的研究与应用

基于NoSQL数据库的大数据存储技术的研究与应用 孙中廷 实际工程中采集和处理的数据量特别大,这对传统数据库技术提出巨大挑战.针对传统关系型数据库存储速度慢.对硬件要求高的缺点,提出一种以NoSQL数据库为基础的大数据处理方法,打破了传统数据库的关系模型,数据以一种自由的方式存储,而不依赖固定的表结构.该方法主要是将经验模态分解并与NoSQL数据库技术相结合,应用于大型结构件的变形监测中,构建出一个基于NoSQL数据库系统的大型结构件变形监测系统.仿真结果表明,该方法可以实现大型结构件变形监测数

一种基于NoSQL的地图瓦片数据存储技术

一种基于NoSQL的地图瓦片数据存储技术 陈超 ,王亮,闫浩文,仇阿根,李玉祥,朱芳菲 本文首先介绍了NoSQL(非关系型数据库)的起源与发展,对比其与关系型数据库的优缺点,提出了基于NoSQL的地图瓦片数据存储策略,通过实验对比分析了面向文档型的NoSQL数据库产品Mongo DB与SQL Serv-er 2000在瓦片入库与并发访问性能上的差异.研究结果表明,Mongo DB在海量空间数据存储与并发访问方面具有明显的高效性. 一种基于NoSQL的地图瓦片数据存储技术

大数据平台技术发展脉络

作为集团"大数据平台技术"战略研究的准备工作,本文梳理了近年来作者观测到的大数据行业技术演进的路径,希望把握发展脉络,找到适合公司业务实际的方向.文章力求用通俗的方式描述概念,最大程度减少专业图表与细节,以便向公司管理层与业务部门同事介绍大数据平台技术的发展与趋势,这里分享给金融行业的朋友参考. 数据技术演进 软件系统,小到HelloWorld编程入门,大到数亿人同时使用的社交软件.搜索引擎,或者是基于公有云的软件即服务(SaaS),本质上都是在处理两件事情:业务逻辑与数据.随着信息时

NoSQL如何处理生物医学大数据 - 产品和技术

NoSQL如何处理生物医学大数据 发布时间:2012.05.31 12:24      来源: 中关村在线      作者:涂兰敬 大数据区别于海量数据的一个重要特质就是处理大量混合结构的数据.在生物医学领域,有很多这类数据需要处理.军事医学科学院卫生勤务与医学情报研究所副研究员王玉峰在第四届中国云计算大会上分享了,他运用NoSQL处理生物医学大数据的过程.王玉峰表示,大数据整合应用涵盖健康管理数据,海量测序数据:而大数据管理.整合.分析则是大数据下IT的挑战. 王玉峰表示,生物医学是融合了医学

.NET平台开源项目速览(7)关于NoSQL数据库LiteDB的分页查询解决过程

原文:.NET平台开源项目速览(7)关于NoSQL数据库LiteDB的分页查询解决过程 在文章:这些.NET开源项目你知道吗?让.NET开源来得更加猛烈些吧!(第二辑) 与 .NET平台开源项目速览(3)小巧轻量级NoSQL文件数据库LiteDB中,介绍了LiteDB的基本使用情况以及部分技术细节,我还没有在实际系统中大量使用,但文章发布后,有不少网友( loogn)反应在实际项目中使用过,效果还可以吧.同时也有人碰到了关于LiteDB关于分页的问题,还不止一个网友,很显然这个问题从我的思考上来

2012数据库与大数据产品评选结果公布

本文讲的是2012数据库与大数据产品评选结果公布,2012年12月28日消息,由盛拓传媒IT168主办的2012数据库与大数据产品年度评选于近日正式落下帷幕.本次评选分别对数据库产品和大数据产品,共选出数据库卓越产品奖.最具创新数据库产品奖.最具创新数据库产品奖.大数据卓越产品奖.最具创新大数据产品奖.最受欢迎大数据产品奖六项大奖.其中卓越产品奖和最具创新产品奖由专业评委投票选出,最受欢迎产品奖完全由网友投票产生. 此次评选共有35款产品进入候选名单,其中数据库产品20款,大数据产品15款.经过

开源大数据查询分析引擎现状

引言 大数据查询分析是云计算中核心问题之一,自从Google在2006年之前的几篇论文奠定云计算领域基础,尤其是GFS.Map-Reduce. Bigtable被称为云计算底层技术三大基石.GFS.Map-Reduce技术直接支持了Apache Hadoop项目的诞生.Bigtable和Amazon Dynamo直接催生了NoSQL这个崭新的数据库领域,撼动了RDBMS在商用数据库和数据仓库方面几十年的统治性地位.FaceBook的Hive项 目是建立在Hadoop上的数据仓库基础构架,提供了一

2012年数据库与大数据领域回顾与展望

本文讲的是2012年数据库与大数据领域回顾与展望,2012注定是不平凡的一年,玛雅人将世界末日定在这一年的12月21日,然而这一天也许并不意味着结束,而是重生.正如2012对于大数据的意义一样,经过一年的历练,IT业界将在2013年迎来大数据元年. 一.2012年度回顾:大数据蓄势待发迎接元年 (一)2012年大数据呈现新特征 大数据不是刚刚出现的概念,"大数据"最早可以追溯到Apache的开源项目Nutch,当时大数据用来描述更新网络搜索索引所需批量处理或分析的大量数据集.随着谷歌M

流式大数据实时处理技术、平台及应用

摘要:大数据处理系统根据其时效性可分为批式大数据和流式大数据两类.上述两类系统均无法满足"事中"感知查询分析处理模式的需求.为此,从分析大数据应用场景入手,提出了"流立方"流式大数据实时处理技术和平台,在完整大数据集上实现了低迟滞.高实时的即席查询分析.目前基于"流立方"平台开发的业务系统已应用到金融风控反欺诈.机器防御等领域,具有广阔的应用前景. 1.引言 大数据技术的广泛应用使其成为引领众多行业技术进步.促进效益增长的关键支撑技术.根据数据处