如何处理巨量数据的存储

问题描述

问题是这样的 就是一张数据库表中要存入巨量条记录 这样的话对某条数据的查询就变的非常的不可行了 请问这种问题一般怎么处理?大家讨论讨论一下 问题补充:myali88 写道

解决方案

可以对表进行Sharding,即把数据分布式部署,分别查询,当然最后要把结果汇总。如果不完全依赖关系数据库的话,可以参考现在的NoSQL数据库,对海量数据处理比较好的,比如:Mongodb
解决方案二:
根据情况,可以按字段分区存储,建分区索引,全区索引一样还是比较快的
解决方案三:
数据库就是用来存储大量数据的。建立好索引,速度就快了!

时间: 2024-08-03 23:10:37

如何处理巨量数据的存储的相关文章

并发处理巨量的List(适用快速批量处理巨量数据 )2

import java.util.ArrayList; import java.util.List; import java.util.concurrent.Callable; import java.util.concurrent.ExecutionException; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.F

联通A股昨巨量涨停:或与引入3G版iPad有关

"苹果效应"引爆联通A股昨巨量 涨停 联通3G业务明年开始盈利? 每经记者 陈未临 胡玉慧 发自上海.成都 "今天联通涨停,是之前一段时间未释放的利好集体释放的结果:WCDMA制式的成熟.iPhone等 '杀手级'终端吸引3G用户效应的显现.携号转网试点启动,都是联通大涨的原因." 昨日 (12月13日),中国联通(600050,收盘价5.72元)开盘后一路走高,进入午盘后毫无悬念封死涨停,全日成交放出5.4亿股.30亿元的巨量.一根长阳,今年以来表现一直低迷的中国

NoSQL如何处理生物医学大数据 - 产品和技术

NoSQL如何处理生物医学大数据 发布时间:2012.05.31 12:24      来源: 中关村在线      作者:涂兰敬 大数据区别于海量数据的一个重要特质就是处理大量混合结构的数据.在生物医学领域,有很多这类数据需要处理.军事医学科学院卫生勤务与医学情报研究所副研究员王玉峰在第四届中国云计算大会上分享了,他运用NoSQL处理生物医学大数据的过程.王玉峰表示,大数据整合应用涵盖健康管理数据,海量测序数据:而大数据管理.整合.分析则是大数据下IT的挑战. 王玉峰表示,生物医学是融合了医学

NVMe:未来数据中心存储变革的代理

易失性快速存储器协议(NVMe)定义了一种通过PCIe总线访问固态硬盘驱动器(SSD)的新方法,并且预计在未来几年内将会呈指数级增长,与传统协议(如SATA协议)相比,其更高的性能和较低的延迟具有一定的优势. NVMe支持的存储基础设施不仅能够得到广泛的部署,而且目前正在进入数据中心领域,通常这些数据中心仍在采用传统的机械硬盘(HDD)和固态硬盘(SSD).而NVMe协议已经成为下一代数据中心存储的代理人.为了理解这种演变,回顾存储技术的发展过程,并检查在由该协议转换的一些新的应用工作负载是十分

《C语言程序设计》一2.2 常量、数据的存储与数据类型

2.2 常量.数据的存储与数据类型 2.2.1 基本数据类型 数据是程序加工.处理的对象,也是加工.处理的结果,所以数据是程序设计中所要涉及和描述的主要内容.程序所能处理的基本数据对象被划分成一些组,或者说是一些集合.属于同一集合的各数据对象都具有同样的性质,程序设计语言中具有这样性质的数据集合称为数据类型. 所有数据都属于某种类型.一个数据的类型决定了这个数据在内存中的存储形式.取值范围和能够对它进行的操作. C/C++ 中的数据类型大致可以分为两大类:第一类是基本数据类型,基本数据类型是系统

时间序列数据的存储和计算 - 开源时序数据库解析(一)

开源时序数据库   如图是17年6月在db-engines上时序数据库的排名,我会挑选开源的.分布式的时序数据库做详细的解析.前十的排名中,RRD是一个老牌的单机存储引擎,Graphite底层是Whisper,可以认为是一个优化的更强大的RRD数据库.kdb+.eXtremeDB和Axibase都未开源,不做解析.InfluxDB开源版和Prometheus的底层都是基于levelDB自研的单机的存储引擎,InfluxDB的商业版支持分布式,Prometheus的roadmap上也规划了分布式存

畅想智能存储,2017中国计算机大会“下一代数据中心存储技术与系统”论坛举行

10月27日,2017中国计算机大会(CNCC2017) 技术论坛"下一代数据中心存储技术与系统"在福州举行.围绕论坛主题,众多学术界顶尖学者与企业界重磅嘉宾现场对新型存储器件.多核服务器.高速网络等新硬件的发展以及下一代数据中心的存储技术和系统所面临的机遇与挑战进行了深度研讨. 众所周知,存储基础架构与系统技术是大数据与云计算数据中心的重要基石.围绕"下一代数据中心存储技术与系统",在本届论坛主席中科院计算所副研究员蒋德钧.阿里巴巴资深专家朱家稷的组织下,多位学术

应对大数据的存储准备

在今天,我们频繁地地接触到"大数据"这个术语.不过业内还是对大数据究竟是什么缺少一种标准化的定义.那么,大数据对数据存储基础架构中有意味着什么呢? 企业战略集团(ESG)对大数据作出的定义是"大小规模超过常规处理能力边界的数据集,它使得你不得不采取非常规手段."简单来讲,我们可以将大数据这个词使用在任何突破了传统IT处理支撑日常业务运作能力边界的数据集合上. 这些边界可能会出现在以下几种情况下: ?过高的交易数据量导致传统的数据存储系统达到了瓶颈,无法及时地完成各项

数据中心存储架构

存储系统是数据中心IT环境的核心基础架构,是数据中心数据访问的最终承载体.存储在云计算.虚拟化.大数据等相关技术进入后已经发生了巨大的改变,块存储.文件存储.对象存储支撑起多种数据类型的读取;集中式存储已经不再是数据中心的主流存储架构,海量数据的存储访问,需要扩展性.伸缩性极强的分布式存储架构来实现. 在新的IT发展过程中,数据中心建设已经进入云计算时代,企业IT存储环境已经不能简单的从一般性业务运营需求来构建云计算的数据中心存储环境.云计算数据中心的建设不是为了满足某一个业务系统的特殊目标,是