大数据应用之双色球算奖平台总体设计大纲篇一

作者:张子良

版权所有,转载请注明出处

引子:双色球延期开奖,你Hold住了吗

  福利彩票走进百姓生活,每期的500w大奖吸引了千万彩民的眼球和关注,备受争议的双色球延期开奖也成了争议的焦点,成为继12306之后,又一个站在风口浪尖的悲催儿。黑幕说,红会说,各种说甚嚣尘上。IT人只做技术事,至于类似美美卡里究竟几个零,一套内衣值几多银子的问题,还是交给干爹们去撕扯吧。当然福彩中心是不是红会,还是交给时间来证明吧。

一 概述

  本文作者试图从纯技术的角度解决双色球延迟开奖的问题,不考虑其他因素,用最新的云计算技术建立一套海量数据处理的技术解决方案。同时考虑到把这种想法付诸实践,搞一个开源海量数据处理平台,以双色球算奖问题,作为一个业务应用案例,指引我们前进的方向。本文是这一解决方案的第一篇,目的在于把整个平台当前面临的技术问题和未来发展方向做一个纲领性的界定,考虑到一个人的能力毕竟是有限的,群众的力量是无穷,本文仅定位于抛砖引玉,希望能够得到各位技术同行的支持和关注,让大家一起来共同完成整个解决方案的设计。开源社区的兄弟们,顶一个吧。

二 纲要

  1. 数据规模评估篇
    根据双色球历史销量数据,评估存储双色球历史购彩数据所需要的数据规模,按照全部存储、一年期存储、单期存储规模进行估算。
  2. 历史数据存储篇
    根据双色球历史投注数据(每一注的选号明细),按照存储时间的长短,评估存储双色球历史投注明细数据所需要的存储容量。根据其业务特点和存储容量,探讨实际采用的存储方案,是文件存储,还是数据库存储,亦或者是其他的存储方案。针对当前期算奖需要,评估存储该规模下的,该类型的数据所需要的内存空间或硬盘空间。
  3. 实时数据算奖篇
    面对2~3亿注的数据量级,7个数据项,6个中奖级别的设置,我们需要采用什么样的存储方式,存储待算奖期次的投注明细;我们需要采用什么样的算法,算法的时间复杂度和空间复杂度如何?计算一期中奖数据需要的时间和空间是多少?给出分省中奖统计数据的时间又是多少?
  4. 开奖算奖算法篇
    因为数据量级的问题,每一期的投注规模在2~3亿注之间,这样一个计算规模的数据量级,加上奖项级别的设置,算法的时间复杂度要求还是很高的。在这一篇需要针对当前的数据规模,给出一个优化的算法,并能够给出按照该算法进行,特定的硬件配置环境下,需要的计算时间和计算频次。以及相关算法的设计原理和规则。
  5. 数据分析BI篇
    关于历史投注明细数据的应用,商业价值的提炼和数据分析,目前还没有明确的概念,期望参与的园友能够给出答案。其一,数据可以用来做什么?其二 数据应该怎么来用?其三 这些应用将会带来什么样的商业价值。

以上内容仅为作者一人之浅见,算是从业务划分的角度,将要解决的问题,进行了一次分类。遗漏部分,需要各位园子里的兄弟指正完善,谢谢各位了。至于每一部分的内容结构暂时还没有具体的东西出来,待完善总体大纲后,再单独征询各位的意见和建议。

三 招募

    考虑到解决方案的设计和开源平台的开发,特征集对本项目感兴趣并在并行计算和大数据处理方向有独到见解的同仁参与进来。让大家为大数据的应用技术共同努力,在实践中进步,在进步中成熟。建了一个技术交流QQ群,群号:307807112

 

彩票算奖只是一个引子,真正要做的是海量数据的计算和分析,欢迎拍砖,感兴趣的话,请给个推荐,并畅所欲言。

时间: 2024-11-10 05:26:23

大数据应用之双色球算奖平台总体设计大纲篇一的相关文章

大数据应用之双色球算奖平台总体设计数据规模估算篇

作者:张子良 版权所有,转载请注明出处 引子:什么才算大数据? 自从写了上一篇<大数据应用之双色球算奖平台总体设计大纲篇一>,受到许多园友的关注和指导,在此表示感谢,尤其是园友个人知识管理给出的一个评论,让我深思,原文如下"双色球算奖这么简单的活,也称大数据.先生:不是数据多,叫大数据.双色球算奖,用Oracle数据库的索引,1分钟内就算完.关键是人家不想这么快".话不太好听,尤其是称我为先生那句,但却发人深思,是啊:到底什么是大数据呢?选择双色球算奖作为大数据应用的切入点

大数据应用之双色球算奖平台总体设计历史数据存储篇

作者:张子良 版权所有,转载请注明出处 1.1 引子:文件OR数据库 历史期次的双色球选注数据的存储,采用什么样的格式比较好呢?这需要重点从三个方面考虑,一.文件访问方便吗?二.文件服务器空间够用吗?三.软硬件故障环境下,如何保障数据的可用性.基于这几个方面的考虑,到底是采用文件存储还是采用数据库存储呢?本文,从传统和前沿技术两个角度给出了两种相应的解决方案. 1.2 文件存储 1.2.1 三大问题 根据上一篇<大数据应用之双色球算奖平台总体设计数据规模估算篇>分析,双色球单期次数据的存储规模

“全国云计算大数据创新项目评选” 总奖金池为30万元人民币

" 全国云计算大数据创新项目评选"于3721.html">2014年3月正式启动.本次项目评选由中国电子学会主办,中国电子学会云计算专家委员会及中国云计算技术与产业联盟共同承办, CSDN协办.该活动最终将从各地区优秀项目中评选出若干名全国优秀项目,全国优秀项目将由中国电子学会提供价值近百万元的奖励!稍后会有详细介绍. "全国云计算大数据创新项目评选"征集活动面向更广范围内的云计算创新企业开放.力邀所有中国云计算领域的应用实践的实施团队.相关产品及技

教育大数据:真能“算”准你的未来?

教育大数据最近广受社会各界关注,尤其是高考填报志愿阶段和毕业季更是如此.目前从事教育大数据服务的相关机构众多,如何科学看待教育大数据在个性化学习.选择专业.理性就业等方面的作用?今天本报组织了部分专家和高校管理者分别从理论和实践层面进行探讨.--编者 最近,由北大光华管理学院毕业生戴威创办的ofo小黄车火了,这家创立于2014年的国内首家共享单车公司,首创无桩共享单车出行模式,致力于解决大学校园的出行和市民上下班的最后一公里问题,目前已完成D轮融资,估值巨大. 共享单车之所以能够成功,是基于移动

大数据助力打造全链条服务平台

大数据正在改变传统世界.在外贸领域,随着互联网+外贸时代的到来,数据已经在颠覆传统的外贸模式,帮助跨境贸易进入3.0阶段.数据的魔力在哪里?大数据如何让每个中小企业都可以更快捷.更专业.更高效地找订单.做出口,甚至享受到更便捷的金融.物流服务?不断升级的阿里巴巴旗下一达通外贸服务综合平台正在试图给出一个完美的解决方案. 颠覆传统:外贸3.0下的全链条服务平台 随着劳动力.土地等要素成本的持续上涨,近年来中国外贸传统的竞争优势被不断削弱已经成为普遍共识.在新的竞争优势尚未建立的背景之下,中国外贸或

大数据市场交易趋旺物联网平台争夺加剧

2016年中国互联网产业发展有如下趋势:互联网发展基础条件进一步提升.全国互联网普及率即将过半,农村与城市"数字鸿沟"进一步缩小.高速移动网络加快普及,提速降费持续推进.互联网技术进步带动市场发展.大数据交易相关标准逐步出台,市场交易转向活跃.物联网推动城市生活智能化,平台入口之争愈发激烈.云计算2.0时代下数据资源成为核心资产. 报告显示,2016年,产业互联网将蓬勃发展."互联网+工业"方面,工业互联网加速改造制造业,助推中国向制造强国转型:互联网创新成果与能源

国产游戏数据库与海外细分市场大数据紧密结合,“游戏出海O2O”平台获得认可

今日,中国游戏海外发行的劲旅 UZONE(焦扬网络)正式对外宣布完成A轮2000万元融资,估值1亿元.在获得融资之后,UZONE(焦扬网络)将全力加码海外市场,在人才.产品以及资金等多方面发力全球游戏市场.UZONE(焦扬网络)开创的全新的"游戏出海O2O"平台也首度获得资本市场认可. 国产游戏数据库与海外细分市场大数据紧密结合 国产游戏自从2006年开始进入全球市场,连续9年呈现了高速度的增长.根据<2014年中国游戏产业报告>,2014年中国国产游戏海外累计收入超过30

希捷James Hughes:大数据与希捷Kinetic开放式存储平台

6月5日上午,希捷科技高级存储部首席技术官James Hughes(裘剑一)在主题为"促进云计算创新发展培育信息产业新业态"的第七届中国云计算大会上,讲述了希捷公司在云计算及建造大数据存储方案方面的一些想法与实践. 希捷科技高级存储部首席技术官 James Hughes(裘剑一) James Hughes讲到,"我们为什么要做存储?因为存储是让我们建立今后智慧城市的一个重要组成部分.没有存储,就找不到信息和结果,不能分析信息,就无法建立智慧城市.而且希捷现在看到这个数据在过去

从大数据看最受欢迎的医院(广州篇)

先啰嗦几句: 1.最近经常跑医院,医院各种制度,各种流程,交通.住宿都很不方便.所以想做个统计,看看哪个医院比较好. 2.这是获取某个挂号网站的数据,因为挂号网站并没有形成严格垄断,所以有些医院并不在上面. 3.另外,一些小的诊所,因为没有网络挂号的必要,这些网站也是没有收录的. 4.被收录的医院一般都是比较大,人流比较多的医院. 5.如果有统计建议或者想知道哪个城市的医院情况的可以留一下言 下面直入主题吧: ●医院等级数量 结论: 1.有部分医院找不到具体级别,都归为"其他"了. 2