关于海量数据存储方式的疑问,大家有什么好的建议呢

问题描述

大家好,最近我在写一个搜索引擎的相关应用,现在涉及到一个关于海量数据的存储介质选择问题(数据能达到百万或千万级别,主要存储索引),想自己设计一个算法来查询索引,请大家讲讲用什么格式(或方式)的文件来存储效率最高?

解决方案

解决方案二:
路过帮顶=============11月6日,论坛升级公告,积分已经做了调整!http://topic.csdn.net/u/20081107/11/b27dc75f-14b1-4594-9de3-5b18d9e36a11.html此次调整增加了两个新的可用分获取渠道:1:帖子被推荐(加精)后,帖主可以获得88分的可用分奖励;2:帖子结帖后会返还帖主50%的悬赏分,无满意结帖不返还分数;3:接下来会不断增加新的可用分获取途径,比如参与活动赠送等,请大家多关注;
解决方案三:
全文搜索

时间: 2024-11-08 17:35:21

关于海量数据存储方式的疑问,大家有什么好的建议呢的相关文章

Android开发笔记之: 数据存储方式详解_Android

无论是神马平台,神马开发环境,神马软件程序,数据都是核心.对于开发平台来讲,如果对数据的存储有良好的支持,那么对应用程序的开发将会有很大的促进作用.总体的来讲,数据存储方式有三种:一个是文件,一个是数据库,另一个则是网络.其中文件和数据库可能用的稍多一些,文件用起来较为方便,程序可以自己定义格式:数据库用起稍烦锁一些,但它有它的优点,比如在海量数据时性能优越,有查询功能,可以加密,可以加锁,可以跨应用,跨平台等等:网络,则用于比较重要的事情,比如科研,勘探,航空等实时采集到的数据需要马上通过网络

Html5 Web的5中离线存储方式之localStorage

Html5 Web的5中离线存储方式之localStorage 在HTML5越来越流行的今天,如果你还不知道离线存储,那就说明你落后了很多. HTML5的离线存储方式有多种:Web SQL Database.LocalStorage.Cookie.WebStorage.IndexedDB.FileSystem. Web SQL Database目前虽然还有浏览器支持,是唯一的关系数据库结构的存储,但W3C以及停止对其的维护和发展.我就不多说了. 今天我们主要看LocalStorage这种最简单的

计算机-海量数据存储,查询是如何实现的

问题描述 海量数据存储,查询是如何实现的 数据库 就用 Oracle 吧 11亿条数据在数据中是如何存储的?分物理存储,和逻辑存储两方面阐述 这11亿条数据在数据库是如何实现查询的?分物理查询,和逻辑查询两方面阐述 还是这11亿条数据在计算机是如何存储的?分物理存储,和逻辑存储两方面阐述 这11亿条数据在计算机中是如何查询的?分物理查询,和逻辑查询两方面阐述 项目例会的时候,开发经理提出来的.大家各抒己见! 解决方案 11亿在今时今日已经不能称海量了,一般都要过10t~100T的大小.如果磁盘I

Android编程中的5种数据存储方式_Android

本文介绍Android平台进行数据存储的五大方式,分别如下: 1 使用SharedPreferences存储数据 2 文件存储数据      3 SQLite数据库存储数据 4 使用ContentProvider存储数据 5 网络存储数据 下面详细讲解这五种方式的特点 第一种: 使用SharedPreferences存储数据 适用范围:保存少量的数据,且这些数据的格式非常简单:字符串型.基本类型的值.比如应用程序的各种配置信息(如是否打开音效.是否使用震动效果.小游戏的玩家积分等),解锁口 令密

Android开发笔记之Android中数据的存储方式(一)_Android

对于开发平台来讲,如果对数据的存储有良好的支持,那么对应用程序的开发将会有很大的促进作用. 总体的来讲,数据存储方式有三种:一个是文件,一个是数据库,另一个则是网络.其中文件和数据库可能用的稍多一些,文件用起来较为方便,程序可以自己定义格式:数据库用起稍烦锁一些,但它有它的优点,比如在海量数据时性能优越,有查询功能,可以加密,可以加锁,可以跨应用,跨平台等等:网络,则用于比较重要的事情,比如科研,勘探,航空等实时采集到的数据需要马上通过网络传输到数据处理中心进行存储并进行处理,有实时性的需求等.

Android开发笔记之Android中数据的存储方式(一)

对于开发平台来讲,如果对数据的存储有良好的支持,那么对应用程序的开发将会有很大的促进作用. 总体的来讲,数据存储方式有三种:一个是文件,一个是数据库,另一个则是网络.其中文件和数据库可能用的稍多一些,文件用起来较为方便,程序可以自己定义格式:数据库用起稍烦锁一些,但它有它的优点,比如在海量数据时性能优越,有查询功能,可以加密,可以加锁,可以跨应用,跨平台等等:网络,则用于比较重要的事情,比如科研,勘探,航空等实时采集到的数据需要马上通过网络传输到数据处理中心进行存储并进行处理,有实时性的需求等.

android数据存储方式(三) Files

平时的我们如果想要保信息,一般的做法就是记在本子上,然后在使用的时候从本子中拿出来.android 保存数据的方式也可以像是这样先将数据保存在文件中,然后再从文件中读取.采取这种方式,我们可以在程 序间共享信息,但默认下,android的文件是私有的,要想共享,需要权限. 例子就用上一篇文章中的 CheckBox,用文件的方式保存点击状态(例子的详情请 看:http://www.cnblogs.com/wenjiang/archive/2013/06/02/3114017.html) 直接就是代

关于PHP session 存储方式的详细介绍

PHP为sesion的存储提供了三种方式: 文件/ 内存/ 自定义存储,默认是使用文件存储.在访问量大的网站上采用这种方式就不大合适,因为这样会导致大量的输入输出的冗余. 下面介绍一种基于Mysql数据库的session存储方式.首先要进行的配置如下:1>php.ini中将session.save_handler = files 中的files改为User,其他默认即可,重启Apache(好像没改也行啊)2>本实例创建的数据库名叫php, username: root password:roo

四大传统存储方式利弊一览

数据存放问题非常重要,然而在实际应用中却是错事连连.经常会出现掉盘.卷锁死等诸多问题,严重影响了整体系统的正常使用,所以数据专用存储已经成为市场上最关注的安防产品之一. 数据传统存储方式 在目前的数字领域中,最常用的无非是如下四种存储方式:硬盘.DAS.NAS.SAN. 1.硬盘 无论是DVR.DVS后挂硬盘还是服务器后面直接连接扩展柜的方式,都是采用硬盘进行存储方式.应该说采用硬盘方式进行的存储,并不能算作严格意义上的存储系统.其原因有以下几点: 第一,其一般不具备RAID系统,对于硬盘上的数