诚心求教大数据的对比存储问题。

问题描述

最近在做一个项目,数据库中大约有几十万条数据,需要每天用新产生的几十万条数据去和数据库中的数据对比,也就是大约需要对比几百万次,用for循环查询对比效率有点低,求有经验人士指点。新人真心求教

解决方案

解决方案二:
上学,学学排序、索引、搜索的课程。数据结构(或者算法)课程是初级课程。
解决方案三:
为什么要做这个比对?-------------------------------------------------------------------------------------------
解决方案四:
要做一下优化吧
解决方案五:
hash_mapping把数据库中的数据查询出来放入hash表。这样的话判断某条数据是否存在于集合中只需要计算这条数据的hash函数值对应的槽是否有数据即可O(1)的时间复杂度。

时间: 2024-09-26 07:10:49

诚心求教大数据的对比存储问题。的相关文章

寻找大数据时代金融集中存储解决方案

银行是我国最早安防应用领域之一,在新时期,历经诸多技术变革后,必然在存储系统出现新变化. 银行监控现状 视频监控是安防行业中发展最快.空间最大的子门类.据悉,到十二五规划末期将实现产业规模翻一番的总体目标,年均增长率达到20%左右,2015年总产值将达到5000亿元,实现增加值1600亿元.金融监控市场约占中国视频监控市场6%左右,就此计算,到今年金融安防在激增,将达到300亿元. 此外,目前我国有各类金融营业网点超过35万个,仅邮政储蓄网点就接近4万个.据有关部门预计,2015年,我国ATM机

大数据时代:存储选择变幻莫测

文章讲的是大数据时代:存储选择变幻莫测,随着企业级大数据存储需求的不断增加,存储厂商和系统管理人员都需要确定在大数据环境下的最佳实践是怎样的.因此,我们看到有越来越多像是Hadoop和"云"之类的东西.但根据Toigo Partners International的最主要的合作伙伴Jon Toigo的看法,这些方法并不是大数据环境下最好的. 在本文中,Toigo与网站编辑助理Sarah Wilson就大数据环境下的存储市场变革进行了讨论.收听音频或阅读下文中的对话内容,了解他关于大数据

何英华:大数据时代的存储之道

本文讲的是何英华:大数据时代的存储之道,当前,随着企业规模的不断成长,有效存储和管理长期累积的且仍在持续快速增长的海量数据,从中发掘商业价值,意味着巨大的市场机遇;同时,也带来了严峻的挑战:大数据将挑战企业在存储架构及数据中心基础设施等,也会引发数据仓库.数据挖掘.商业智能.云计算等应用的连锁反应.如何选择有效的组织管理数据,提供商业解决方案,已经不是单纯的IT技术问题,而是与企业未来发展前途攸关的关键性问题. 面对大数据存在的机遇与挑战,在以"海量数据 深度分析 智慧商业"为主题的第

大数据框架对比:Hadoop、Storm、Samza、Spark和Flink

简介 大数据是收集.整理.处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称.虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性.规模,以及价值在最近几年才经历了大规模扩展. 在之前的文章中,我们曾经介绍过有关大数据系统的常规概念.处理过程,以及各种专门术语,本文将介绍大数据系统一个最基本的组件:处理框架.处理框架负责对系统中的数据进行计算,例如处理从非易失存储中读取的数据,或处理刚刚摄入到系统中的数据.数据的计算则是指从大量单一数据点中提取信息和见解

如何为大数据部署下一代存储基础设施

与管理传统的大型数据基础设施相比,管理与大数据相关的拍字节级数据存储是一种全新的方式.目前在线照片分享网站Shutterfly管理着30拍字节的数据.Shutterfly在这里与我们分享了他们驯服"数据野兽"的经验. 目前,每个人都在谈论大数据分析方法和相关的商务智能成果.但是在公司能够利用这些数据前,他们必须想办法解决存储问题.管理拍字节级甚至更大规模的数据存储与管理传统大型数据集有着本质的区别. Shutterfly为一家在线照片分享网站.他们并不限制用户存储照片的数量,并且允许用

大数据需要软件定义存储

IT基础设施的方方面面都在朝着更加智能的方向发展,从服务器到网络再到存储莫不如此.我们部署了服务器虚拟化,构建了各种自动化的框架以便能够弹性地适应不断变化的工作负载,如今又在开始采用SDN来重构整个网络.而软件定义存储(SDS)或许将成为下一个大趋势. SDS可利用自动化手段让存储变得更为灵活.富有弹性,能够适应不断变化的I/O需求. 软件定义存储:大数据之所必须 移动设备.物联网化的各种企业资产的不断扩散,引发了新一轮的数据大爆炸.虽然企业可从中获得新的分析洞察,从而获得新的商机,但与此同时,

大数据爆发性增长 存储技术面临难题

随着大数据应用的爆发性增长,大数据已经衍生出了自己独特的架构,而且也直接推动了存储.网络以及计算技术的发展.毕竟处理大数据这种特殊的需求是一个新的挑战.硬件的发展最终还是由软件需求推动的.大数据本身意味着非常多需要使用标准存储技术来处理的数据.大数据可能由TB级(或者甚至PB级)信息组成,既包括结构化数据(数据库.日志.SQL等)以及非结构化数据(社交媒体帖子.传感器.多媒体数据).此外,大部分这些数据缺乏索引或者其他组织结构,可能由很多不同文件类型组成.从目前技术发展的情况来看,大数据存储技术

当一个大数据团队加入存储公司之后会发生什么?

  近几年来,大数据技术在中国得到了很快的发展,并逐渐在各大企业落地.大数据解决方案的根基是大数据量,如何将这些数据有效地利用起来成为用户和厂商急需解决的一大课题. 罗忠富-现任柏科数据技术(深圳)股份有限公司大数据事业部首席架构师.曾任职于Teradata.当当网.Oracle.联通研究院,参与或主导过中国网通决策分析系统.中国移动集团经营分析系统.当当网数据仓库.宏源证券大数据平台.新华社大数据平台等多项重大项目.而其所在团队,也已经有将近十年BI.数据挖掘.大数据分析的经验与积累,拥有基于

微软张亚勤:大数据兴起因存储成本下降

微软亚太研发主席张亚勤[搜狐IT消息]12月13日消息,今天上午,微软亚太研发主席张亚勤向媒体表示,大数据火起来主要有3个原因,其中一个原因是存储成本的下降,使IT企业从事大数据相关工作成为可能.张亚勤表示,大数据兴起的第一个原因,是"3个v",分别是数据容量(volume),速度(velocity)和种类(variety).从监测的数据 来看,数据量越来越多,每年都会 翻番,数据一直在飞速增长:针对即时数据的处理也变得越来越快:通过各种终端,比如手机.PC.服务器等产生的数据越来越多