请教一下大数据的表怎么设计

问题描述

我们现有有一张系统人员表，大概3万条记录，产品表里面的活动数据大概13万条左右，还有一张客户表系统人员可以把产品推荐给客户，理论上推荐表的数据应该2万*50个产品*50个客户=5000万条数据，而且当产品无效时在客户这边还能看到推荐的产品记录，所以就不能定期对推荐表的数据做归档处理，这样会导致这张表的数据只增不减，请问还有什么别的好办法来设计吗？

解决方案

把推荐表放到5个库，每个库1000张表，那么一个表只需要1w条记录就可以搞定，http://xiaofang168.iteye.com/blog/1523995
解决方案二：
2万*50个产品*50个客户 是什么意思？

时间： 2024-08-18 08:38:28

请教一下大数据的表怎么设计的相关文章

常见的大数据术语表（中英对照）

大数据的出现带来了许多新的术语,但这些术语往往比较难以理解.因此,我们通过本文给出一个常用的大数据术语表,抛砖引玉,供大家深入了解.其中部分定义参考了相应的博客文章.当然,这份术语表并没有100%包含所有的术语,如果你认为有任何遗漏之处,请告之我们. A 聚合(Aggregation) – 搜索.合并.显示数据的过程 算法(Algorithms) – 可以完成某种数据分析的数学公式 分析法(Analytics) – 用于发现数据的内在涵义 异常检测(Anomaly detection) – 在数

中国工程院院士谭建荣：工业大数据与定制化设计—关键技术与典型应用

5月5日,"2017中国工业大数据大会·钱塘峰会"在杭州国际博览中心举办.本届峰会以"数据驱动创新 融合引领变革"为主题,围绕工业大数据展开分享与交流.中国工程院院士.浙江大学教授谭建荣,以"工业大数据与定制化设计:关键技术与典型应用"为题探讨了自己的看法.   以下为嘉宾演讲实录: 各位领导,各位专家,大家上午好!十分高兴来到萧山区这么好的地方研究讨论中国工业大数据的峰会.前面有几位专家讲了大数据讲得非常精彩,都讲到要点上.对我最后一个人来讲,

大数据高并发数据库设计注意要点

在一个项目实施初始,数据库的设计非常重要,很多时候,我们只关心和考虑到眼前的功能,而忽略了后续的可维护性和可拓展性,以及还有一个在大数据时代会遇到的高并发问题. 在设计表结构时要注意以下几个要点: 1.数据行的长度不要超过8020字节,如果超过这个长度的话在物理页中这条数据会占用两行从而造成存储碎片,降低查询效率. 2.能够用数字类型的字段尽量选择数字类型而不用字符串类型的(电话号码),这会降低查询和连接的性能,并会增加存储开销.这是因为引擎在处理查询和连接回逐个比较字符串中每一个字符,而对于数

三：基于Storm的实时处理大数据的平台架构设计

一:元数据管理器==>元数据管理器是系统平台的"大脑",在任务调度中有着重要的作用[1]什么是元数据?--->中介数据,用于描述数据属性的数据.--->具体类型:描述数据结构,数据的具体位置,数据间的依赖关系,数据的处理过程,数据的快照信息等.[2]为何要引入元数据--->实际案例:HDFS中的NameNode节点,Hive的MySql元数据表,MooseFs的Master节点,GFS(Google分布式文件系统)中的Master节点等.--->在大数据处

大数据产业迎“顶层设计” 法律空档待逐步完善

随着数据泄露.数据倒卖现象的不断增加,大数据安全问题正逐渐引起政府.企业以及广大用户的重视.近日,<中华人民共和国网络安全法>(以下简称<网络安全法>)正式实施,为大数据等互联网产业的发展划定了红线. 观韬中茂(上海)律师事务所律师王渝伟在接受<中国企业报>记者采访时指出,根据现行法律,目前有相当一部分的数据收集企业的业务可能处于灰色地带,<网络安全法>的出台可谓"及时雨",将对行业起到净化作用.同时,他也坦承,目前<网络安全法&g

大数据时代 电力勘察设计企业信息化建设需调整方向

数据是当今社会最重要的战略资源之一,大数据技术也给各行各业带来了更多想象空间.在此背景下,电力勘察设计行业不可避免地需要转型升级,全面推进企业信息化建设,从而提升管理水平和综合竞争力. 从20世纪90年代起,计算机逐步普及,电力勘察设计企业随之开始推进信息化建设.经过近三十年发展,电力勘察设计企业信息化建设已取得显著成果. 如今,大数据.云计算等现代信息技术蓬勃发展,电力勘察设计企业的信息化建设需要再进一步,以提高生产效率和管理质量,适应新时期的特点.要求. 电力勘察设计 目前来看,经过多年持续

大数据和个性化设计是用户体验（UX）的未来

在20世纪90年代后期,大多数Web服务使用千篇一律的方法来解决用户需求.在他们开始关注人性化设计之前,这些模板化的解决方案已经盛行了近二十年. 以人为本的设计侧重于最终用户的需求,开发人员为每个用户定制个性化解决方案.尽管以人为本的设计有着明显的好处,但它仍处于起步阶段.它仍然是一个新颖的概念的原因是它在大数据出现之前是不可能的. 大数据为UX开发者们打开了新的大门.它们可以使用令牌跟踪用户,并提供定制化的用户体验. 有几种不同的方法可以将大数据应用于改进以人为中心的设计: 1)Web服务商可

第十三章——表和索引分区（2）——使用拆分删除和加载大数据

原文:第十三章--表和索引分区(2)--使用拆分删除和加载大数据 前言:         很多时候需要对大数据量进行归档或者删除,并周期性加载大数据量到一个大表中,现在来做个简单的例子,你经常需要删除大数据量表中的大量数据.同时,你想加载大量数据到这个表中,当表中数据有数十亿时,这个操作可能消耗几个小时,但是如果你的表有分区,那么执行起来会很有效. 本文将模拟删除一个季度的数据,并加载整个季度到现有表,其中使用了拆分(splitting).合并(merging)和切换分区(switching).

数据库一体机与大数据技术区别何在？

作为近期信息管理领域最为热门的两项技术,数据库一体机与大数据技术的硬件架构基本相同,但软件体系有着本质的区别,这也导致了两者拥有不同的特征表现. 随着企业数据量的快速增长,以及用户对服务水平要求的不断提高,相当长的一段时间以来,传统关系数据库 技术在生产实践中表现出明显的能力不足.如何以合理的成本获得海量数据的高可用性已经成为现代IT领域的重大挑战.为了应对这一挑战,近年来,IT市场中 相继出现了许多新的技术手段,其中最为引人注目的便是由主流数据库厂商主导的数据库一体机(例如Oracle Exa