计算机-海量数据存储,查询是如何实现的

问题描述

海量数据存储,查询是如何实现的

数据库 就用 Oracle 吧

11亿条数据在数据中是如何存储的?分物理存储,和逻辑存储两方面阐述

这11亿条数据在数据库是如何实现查询的?分物理查询,和逻辑查询两方面阐述

还是这11亿条数据在计算机是如何存储的?分物理存储,和逻辑存储两方面阐述

这11亿条数据在计算机中是如何查询的?分物理查询,和逻辑查询两方面阐述

项目例会的时候,开发经理提出来的。大家各抒己见!

解决方案

11亿在今时今日已经不能称海量了,一般都要过10t~100T的大小。如果磁盘IO高、内存也不错,单文件直接存也未尝不可。如果担心的话可以把数据库分多文件分布在不同的物理磁盘上。索引和数据分开物理文件。
11亿数据要看你怎么查,每次都查11亿,没什么优化可言,如果是少量查询,可以考虑在合适的地方建索引,并且严格按照SARG写法。

其他问题。。。问得太虚,真要说的话没有几千字说不完

解决方案二:

通用数据库存储数据的方式大同小异,换言之,你定义了字段、索引、数据类型、表结构等元数据,就确定了数据存储的方式,不会因为数据是1条或者11亿条而有任何差别。通用数据库的实现在任何一本大学教材上都有介绍,这个不是几句话可以说清楚的。比如说,使用链表+块的形式存储数据,以散列表的形式存储索引,等等。

解决方案三:

在建立表的时候,建立分区表,如果有可以的话分区尽可能不建立在同一个磁盘上; 可以根据业务和数据的规律建立组合分区,至于如何建立分区,可以找相关的资料。
可以根据业务的需求建立固化视图,建立好表的索引(建立索引的建议可以找相关的资料),
查询时尽可能指定分区表进行查询
(当跨分区的时候。并且查询常用的时候,可以考虑使用建立固化视图)

时间: 2024-07-29 13:46:50

计算机-海量数据存储,查询是如何实现的的相关文章

在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析

在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析   低成本的Blob存储是一个强大的,通用的Hadoop兼容Azure存储解决方案无缝集成HDInsight.通过Hadoop分布式文件系统(HDFS)接口,完整的组件集合在HDInsight可以 在Blob存储数据的直接操作.在本教程中,学习如何建立一个容器的Blob存储,然后在里面处理的数据. 在BLOB存储中存储的数据能够用于计算的HDInsight集群被安全地删除,而不会丢失用户数据. 注意: 该ASV://语法中不

存储查询结果

查询的信息往往需要保存下来,以便使用.在用SELECT 语句查询数据时,可以设定将数据存储到一个新建的表中或变量中. 10.6.1 存储查询结果到表中使用SELECT-INTO 语句可以将查询结果存储到一个新建的数据库表或临时表中.如果要将查询结果存储到一个表而不是临时表中,那么在使用SELECT-INTO 语句前应确定存储该表的数据库的"Select into/bulk copy "选项要设置为"True/On", 否则就只能将其存储在一个临时表中. 10.6.2

MS SQL基础教程:存储查询结果

查询的信息往往需要保存下来,以便使用.在用SELECT 语句查询数据时,可以设定将数据存储到一个新建的表中或变量中. 10.6.1 存储查询结果到表中 使用SELECT-INTO 语句可以将查询结果存储到一个新建的数据库表或临时表中.如果要将查询结果存储到一个表而不是临时表中,那么在使用SELECT-INTO 语句前应确定存储该表的数据库的"Select into/bulk copy "选项要设置为"True/On", 否则就只能将其存储在一个临时表中. 10.6.

5.22成都workshop:1、海量数据存储与多媒体处理

海量数据存储与多媒体处理 场景简介 某游戏公司小吴需要将游戏的静态数据比如图片放在在OSS上 某游戏公司小吴需要对存放在OSS上的图片进行缩略.旋转.裁剪等处理 实验概述 具体步骤 1. 下载资源包,解压后找到oss.zip,并再次解压出来 2. 登陆阿里云官网 点击登陆界面,输入账号和密码登陆即可,如果要求绑定手机号,则选择"下次再说" 3. 进入OSS控制台 4. 新建bucket bucket名称的字符集是小写字母.数字和横杠,全局唯一,自己定一个就行,本文档以storage-w

oracle procedure 的一个问题,如何存储查询结果到变量中

问题描述 oracle procedure 的一个问题,如何存储查询结果到变量中 例如: select abc from my_tabke _不确定能查出多少条记录,如何将查出的所有数据储存到变量中 新手上路,还请多多指教 解决方案 adoquery查询结果如何赋给一个变量(delphi和c++ builder) 解决方案二: 使用游标cursor有多少记录循环多少遍,可以在循环过程中对数据进行处理 解决方案三: 可以使用游标循环遍历对数据进行处理,类似于将对象存储在一个临时表中,然后对这些数据

c语言-一个OJ题,数字太大,计算机没法存储,如何解?

问题描述 一个OJ题,数字太大,计算机没法存储,如何解? http://219.218.128.149/JudgeOnline/problem.php?id=1261 这是这道题的地址,3个区域,A,B,C 开始在A,跳到别的区域,不能原地跳,且最后一次跳只能跳回A,输入跳的次数n,问一共有多少种跳法,最后把跳法数%10000,我算法已经弄好,但是发现跳法数太多,计算机无法存储,最高到2^1000,怎么解决? 解决方案 总结规律呗,不需要很多内存的

紫光西部数据海量数据存储成就中信建投证券业务创新

   近日,紫光西部数据有限公司(以下简称"紫光西部数据")和中信建投证券股份有限公司(以下简称"中信建投证券")共同宣布,中信建投证券海量数据存储创新项目实施获得成功.通过采用紫光西部数据动态归档存储系统,中信建投证券成功实现了对于海量离线数据的深入挖掘分析,并通过创新型"近线存储"方案,有效节省了整体存储成本,提高了存储系统性能,保证了数据存储的稳定性,并为中信建投证券未来金融业务创新奠定了坚实基础. 开启金融行业海量数据存储创新模式 作为中

Sybase海量数据存储、访问及管理简介

--Sybase VLDS(Very Large Data Store)解决方案及成功案例 海量数据是当今商业面对的一个现实 随着信息化程度的提高,数据已超出它原始的范畴,它包含各种业务操作数据.报表统计数据.办公文档.电子邮件.超文本.表格.报告以及图片.音视频等各种数据信息.人们用海量数据来形容巨大的.空前浩瀚的.还在不断增长的数据. 海量数据是当今商业面对的一个现实.任何一个企业都在面对其企业数据库由于规模扩大产生的沉重负担,提高海量数据访问能力和业务分析能力的要求也变得越来越迫切. ·

关于海量数据存储方式的疑问,大家有什么好的建议呢

问题描述 大家好,最近我在写一个搜索引擎的相关应用,现在涉及到一个关于海量数据的存储介质选择问题(数据能达到百万或千万级别,主要存储索引),想自己设计一个算法来查询索引,请大家讲讲用什么格式(或方式)的文件来存储效率最高? 解决方案 解决方案二:路过帮顶=============11月6日,论坛升级公告,积分已经做了调整!http://topic.csdn.net/u/20081107/11/b27dc75f-14b1-4594-9de3-5b18d9e36a11.html此次调整增加了两个新的