数据存储-数据量非常大可以针对每个注册用户去建表吗?

问题描述

数据量非常大可以针对每个注册用户去建表吗? 3C
类似于那种SNS网站,因为1、注册用户特别多,2、用户的讨论交流特别多(如果一个用户发出的话题数量超过上千条)如果按照常规做法,我们是建立一张关系表用来保存所有的用户id和话题id .create table student_topic(student_id int(32)topic_id int(32)),那么若要找某个用户对应的话题时,就需要遍历这张非常大的student_topic表,并且此表是会不断跟新增加的,所以可以针对每个用户去为他们建立属于他们的student_topic表吗?

解决方案

应该是会分表,但不会每个用户都建立一个属于自己的表,100万个用户建100张表?很多用户没有那么多讨论交流的信息的。

解决方案二:
简单的就是分表,比如用户根据ID对一个数取余,然后决定这个用户的信息放在哪个表,查询的时候也是根据这个反过来查询对应的表,就不用在一个表中查询

解决方案三:
分表,如果还是查询比较慢的话,建议用全文搜索引擎,如solr、Elasticsearch 等

时间: 2024-11-03 02:57:44

数据存储-数据量非常大可以针对每个注册用户去建表吗?的相关文章

一个简单算法可以帮助物联网,金融 用户 节约98%的数据存储成本 (PostgreSQL,Greenplum帮你做到)

PostgreSQL简直是工业界和学术界的完美结合,怎么说呢?下面娓娓道来.前段时间为大家分享了物联网行业分析以及PostgreSQL 为物联网场景量身定制的特性介绍.https://yq.aliyun.com/articles/18034https://yq.aliyun.com/edu/lesson/67今天再给大家分享一枚重磅炸弹,PostgreSQL 帮助物联网用户 降低98%的存储成本.这是个什么概念呢?举个例子,你原来要花100万买存储才能存下的数据,现在只需要花2万就能搞定.下面我

《大数据存储:MongoDB实战指南》一1.9 适合哪些业务

1.9 适合哪些业务 大数据存储:MongoDB实战指南 当前各行各业都离不开数据的存储与检索需求,传统关系数据库发展了这么多年,在有些垄断性行业如电信.银行等仍然是首选,因为这些行业需要数据的高度一致性,只有支持事务的数据库才能满足它们的要求.但随着这几年互联网业务的发展,数据量越来越大,并发请求也越来越高,一个大系统中只用一种数据库并不能很好地满足全部业务的发展,同时以MongoDB为代表的NoSQL数据库快速发展,在某些方面展示了它们的优越性,逐渐被采用并取代了系统中的某些部件,总的来说以

蘑菇街注册用户950万 日浏览量过亿

蘑菇街日浏览量超1亿(TechWeb配图点击查看大图)4月6日消息,蘑菇街今日公布最新数据,截至3月31日,注册用户950万,日独立访问用户220万,日浏览量超1亿,日均引导淘宝成交数达6万单.蘑菇街公布的数据显示,今年2月14日,蘑菇街注册用户600万,截至3月31日,注册用户达到950万,增长350万.据披露,蘑菇街日均为淘宝带去点击500万,日均为淘宝带去访问者75万,日均引导淘宝成交数6万单.此外,蘑菇街每天被分享的商品数量达75000个,78%为不可信内容被官方过滤,19%为可信内容,

IDC:浪潮进入中国数据存储市场前三,SAN存储出货量第一

日前,全球权威调研公司IDC公布最新的中国外部磁盘存储市场调查数据,2016年第二季度浪潮存储在除视频监控以外的数据存储市场位居市场前三,销售额增速36%,五倍于业界平均增速.在企业级关键数据为主的SAN存储市场,出货量市场第一. 2016年第二季度,中国存储市场增长表现稳健,整体销售额超35.3亿元,同比增长7%,总体存储容量1.84EB.业务数据量增长是存储市场增长的主要驱动力,存储设备需要在性能.容量.高级功能上持续提升,以匹配复杂业务. SAN存储市场浪潮出货量第一 金融.能源.电信.财

西部数据发布针对现代数据中心优化的冷数据存储硬盘

 全球领先的现代化数据中心存储领导者西部数据发布了旗下创新的WD Ae 硬盘产品线.针对在网络规模数据中心新兴的归档分层存储,该系列产品为此归档存储独特运营特点进行了特殊设计.WD Ae硬盘基于为实现最优总拥有成本(TCO)的平台设计,其最低功耗性能与Progressive Capacity (渐进式扩充容量模式) 为大规模云架构存储开创了全新的存储分层. "现代化数据中心客户给我们提出了专为持续扩展的冷数据储存而设计的硬盘解决方案需求."西部数据存储技术事业部高级副总裁兼总经理Mat

基于云上分布式NoSQL的海量气象数据存储和查询方案

前言 气象数据是一类典型的大数据,具有数据量大.时效性高.数据种类丰富等特点.气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量常在几十TB到上百TB的规模,且在爆发性增长.如何存储和高效的查询这些气象数据越来越成为一个难题. 传统的方案常常采用关系型数据库加文件系统的方式实现这类气象数据的存储和实时查询,这种方案在可扩展性.可维护性和性能上都有一些缺陷,随着数据规模的增大缺点越来越明显.最近几年,学界和业界开始不约而同的转向利用分布式N

NetApp某油田数据存储解决方案

一.行业背景及用户需求分析 地学数据存储系统,既有常规数据中心中存储设备共有特性,又有其独特的地方.分析处理.解释.油藏等地学应用不难发现,除了高度可靠性.高性能.灵活方便的在线扩容等要求外,还有如下的典型特征: ·完整的地学IT架构,应该面向多种地学应用系统,以较好的满足他们不同的需求.对处理系统来说,传统上服务器大都是SMP并行机系统,对MFLOPS有着严格的要求,对用户来说可能正在使用IBM SP系列服务器:也可能SGI ORIGIN高端服务器正在担任着繁重的处理任务:出于性价比的考虑,越

阿里云数据库,破解大型网站架构设计中的数据存储难题

摘要:3月10日,2017阿里云网站行业热点问题和解决方案线下研讨会在上海举行.在本次研讨会上,阿里云数据库团队产品专家王义成(花名挚尤)针对于大型网站的数据库架构设计以及阿里云ApsaraDB所提供的服务管理和解决方案进行了深入介绍. 分享者简介:王义成(花名挚尤),阿里云数据库团队产品专家,负责阿里云NoSQL数据库的产品规划.加入阿里巴巴近5年的时间,参与过多种云数据库的产品设计工作.目前主要负责阿里云的MongoDB.Redis以及MemCache产品,旨在为广大客户提供安全可靠的数据库

5大开源数据存储解决方案推荐

文章讲的是5大开源数据存储解决方案推荐,用于存储大数据的解决方案是当今面临的巨大技术挑战.当然,有很多不同的选择,如RDBMS,NoSQL,时间序列数据库等,本文分析了五个数据存储解决方案,这些方案是为不同目的而创建的,但所有方案都可用于保存基于时间的日志. 数据存储仅将事件保存到数据库是不够的,每个数据存储库都必须有一个接口以实时搜索,并具有良好的性能,每天至少能够存储40GB的数据,总数据大小至少约为20TB,搜索日志消息应该实时完成,搜索查询的响应时间小于10秒. 1.ClickHouse