大数据-2000万条开房数据,如何快速查询(数据库优化)

问题描述

2000万条开房数据,如何快速查询(数据库优化)

某酒店泄漏 2000 万条数据。http://kfxx.info/

如何快速查询某个姓名的全部记录。

姓名不是唯一的,有可能重名。

csv 格式数据大概 3G 大小,如果导入数据库中,大概1.5G(MySQL),而且 2000万也不是个小数目。

解决方案

索引啊,这还有什么好想的,如果你知道表结构的话,如果没有导数据库,放在linux上用cat | grep也可以

如果你舍得花时间,你可以把数据整个重构一遍,按照姓名或者其他的查询字段做分表,这样查询起来更快,如果直接用导入的csv文件的话就没办法了,只能直接索引

解决方案二:

索引处理,配合表分区处理

解决方案三:

只是查找的话就用社工库的查询工具http://www.weigongkai.com/

解决方案四:

还是在姓名字段加上合适的索引 并将你所感兴趣的列用INCLUDE包含在内。

解决方案五:

求数据 ,(答案输入的字符不够10提示就好了,帮我删我输入的内容干嘛)

解决方案六:

在姓名字段建立索引,速度提高不是一点点,本人已经将2000w数据进行导入测试,亲测可行!

解决方案七:

在姓名字段建立索引,速度提高不是一点点,本人已经将2000w数据进行导入测试,亲测可行!

解决方案八:

如果要支持模糊查询,简单的索引就不行了。但是无论如何,采用索引是一种解决的方法。

解决方案九:

最快的是全部载入内存

解决方案十:

可以利用redis数据库,把mysql的数据都写入到redis中,在利用reids查询,效率非常高,只不过在写入的时候费一些时间

时间: 2024-08-30 20:32:44

大数据-2000万条开房数据,如何快速查询(数据库优化)的相关文章

2000万条个人住店数据网上曝光

摘要: ▲经乌云网曝光后,引发网友热议 ▲乌云网曝光该网络漏洞 为全国4500多家酒店提供网络服务的浙江慧达驿站网络有限公司,由于安全漏洞问题,导致2000万条在2010年下半年至2013年上半 ▲经乌云网曝光后,引发网友热议▲乌云网曝光该网络漏洞 为全国4500多家酒店提供网络服务的浙江慧达驿站网络有限公司,由于安全漏洞问题,导致2000万条在2010年下半年至2013年上半年入住酒店的客户信息泄露. 家住上海的35岁男子王金龙遭遇信息泄露后的烦恼.他告诉<法制晚报>记者,他原本不姓王,由于

Twitter受益飓风桑迪:相关消息量达2000万条

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 腾讯科技讯(小贝)北京时间11月3日消息,据国外媒体报道,极具破坏力的飓风"桑迪"令美国数百万人受灾,很多人通过Twitter讨论自己的经历.日前Twitter宣布了一些关于飓风"桑迪"过境期间的数据,从10月27日到11月1日,有关"飓风"和"桑迪"的Twitt

关于“大数据”的15条干货思考

文章讲的是关于"大数据"的15条干货思考,1.马云创造了"DT"(大数据时代)这个词,说未来社会不是IT时代,而是DT时代,而阿里巴巴战略定位为做DT时代的基础设施.类似于IT时代的微软,移动互联网时代的苹果之类的意思.马云去年在云栖大会上提出未来30年的"五个新",分别是"新零售,新制造,新金融,新技术,新能源",其中"新能源"就是大数据,其讨论的相对比较少,似乎公众只关心的是公民数据安全问题,对于产业方

作为大数据工程师,你必须熟练运用的性能优化技术

最近几年一直参与大数据产品的研发,同时大数据产品在海量数据场景下其处理性能又是其主要卖点和突破,所以个人在这几年经常忙于如何对大数据产品进行性能上面的优化,并且想通过本文和大家聊聊具体的几种比较常见大数据性能优化技术. 常见的大数据性能优化技术一般分为两部分,其一是硬件和系统层面的观测,从而来发现具体的瓶颈,并进行硬件或者系统级的调整;其二是主要通过对软件具体使用方法的调整来实现优化. 硬件方面的监测 图1. Windows7性能指数 关于硬件性能本身,个人觉得最好对性能的诠释就像图1大家比较熟

你所不知道的大数据:一条微博得到王思聪手机号

互联网已成为人们生活工作的重要组成部分,时时的网路连接不只带来便捷,也将我们所有数据保存到了网络空间中.然而这些越积越多的个人大数据,却为黑客入侵攻击大开方便之门.在今天举办的中国互联网安全大会(ISC 2014)上,安全专家表示大数据让人变得透明起来,也让黑客攻击更加简单,但是也为网友提供了天罗地网式的防御措施. 大数据的危害:一条微博泄露土豪的手机号 知名"白帽子"猪猪侠曾举过这样一个例子:王思聪在微博上批露某电商送货太慢,还把订单号挂了出来.然而,通过这个订单号就能够查到这位&q

不玩手机的步步高玩大数据:一条短信让你多买一只澳洲大龙虾

    小明以前是卖烧饼的.  现在,为了响应潮流,小明开通了微信支付和支付宝支付,对一些老顾客,他还加了微信.那些老顾客,有时为了赶时间,会在早上先把钱用微信转账给小明,小明提前把烧饼做好等顾客来取. 有时小明生意不是特别好时,会让媳妇翠花看着烧饼摊子,他给附近社区预定烧饼的老顾客直接送上门. 小明对同行老王说:"看见没有,哥现在也玩他们城里人说的O2O了."  对,你别笑,我知道你心里想的大多数O2O是这样.  这样的O2O估计近年来已经死了大半,我们来看一种高级玩法.  你听说过

大数据能否让地震预警更加快速有效

3.11日本大地震纪念日刚过,还有媒体在炒作两年前的惨景.近日来我国南方多地就连续发生5级以下的地震,这引起了人们的恐慌,是否又有大地震要来临,我们是否需要做出应对.可喜的消息是,我国首次成功预警一次2月19日的云南巧家10时46分59秒5.0级地震.那么,我们是否可以通过信息化或者大数据技术来解决地震预测和预警这个世界难题呢? 预测地震为什么如此困难? 说地震预测预报是最重要的世界难题,这绝不为过.重要是因为它的发生会涉及大面积的人生命安全与财产安全,困难是因为其覆盖的科学领域太多,太繁杂.

大数据窥探:关于大数据的15条干货思考

马云创造了"DT"(大数据时代)这个词,说未来社会不是IT时代,而是DT时代,而阿里巴巴战略定位为做DT时代的基础设施.类似于IT时代的微软,移动互联网时代的苹果之类的意思.马云去年在云栖大会上提出未来30年的"五个新",分别是"新零售,新制造,新金融,新技术,新能源",其中"新能源"就是大数据,其讨论的相对比较少,似乎公众只关心的是公民数据安全问题,对于产业方面的大数据觉得比较抽象,实际上真正的"大数据"

百度开辟新生态:大数据酝酿万亿新商机

中介交易 SEO诊断 淘宝客 云主机 技术大厅 百度最近有三件事:发布财报,员工涨薪,开放大数据引擎. 财报营收.净利润涨势喜人;员工涨薪更有动力;百度的核心业务依旧是搜索,去哪儿爱奇艺的投资.移动互联网.O2O等服务的点缀.表面看都只是量的叠加. 但当Robin为百度技术开放日首度站台的时候,我们恍然发现,百度,甚至整个互联网已经从量变走向质变了.而质变意味着可能再造一个百度. 质变到来 正如Robin所说,很多年他在美国学人工智能的时候,发现没什么实际的用处,都是些理论的东西,真正拿到实际的