大数据分析流程框架的研究

大数据分析流程框架的研究

金宗泽 冯亚丽 文必龙 杨正男 张希

随着信息技术的不断创新,信息量的不断扩大,大数据已经成为了与日常生活息息相关的话题。挖掘大数据的价值已经炙手可热,如何能够更高效、更快速地分析大数据已经成为大数据发展的重要挑战之一。近年来,学术界与工业界就大数据的分析进行了研究,取得了一些研究成果,但针对大数据分析的研究还是非常有限。文中首先从传统数据仓库与大数据时代数据仓库作了对比,引入了大数据的分析流程框架,对分析流程框架的各个部分做了一一阐述,并通过实验验证分析了流程框架的可行性。

大数据分析流程框架的研究

时间： 2024-09-20 18:51:15

大数据分析流程框架的研究的相关文章

一份价值百万的大数据分析报告如何炼成？

序 曾经,咨询公司一份报告就能收取企业几十万.甚至于上百万.而今,矫枉过正,数据分析报告却常常被企业认为没有任何实际价值.我经常和企业交流,他们告诉我,需要的是能够为他带来直接价值的东西,比如广告投放能够直接带来收入,所以他们舍得投入:但是因为报告不能够对企业产生任何实际的价值,所以他们不需要数据分析报告.   的确,以往的咨询报告更多是大而全,比如说曾经看到很多大型企业采购某某个定向专题的报告,如<2016年手机终端市场的发展容量和发展规模专题报告>.而这种相对宽泛的报告太宏观.没有针对性.

大数据分析报告价值百万or分文不值？

曾经,咨询公司一份报告就能收取企业几十万.甚至于上百万.而今,矫枉过正,数据分析报告却常常被企业认为没有任何实际价值.我经常和企业交流,他们告诉我,需要的是能够为他带来直接价值的东西,比如广告投放能够直接带来收入,所以他们舍得投入;但是因为报告不能够对企业产生任何实际的价值,所以他们不需要数据分析报告. 的确,以往的咨询报告更多是大而全,比如说曾经看到很多大型企业采购某某个定向专题的报告,如<2016年手机终端市场的发展容量和发展规模专题报告>.而这种相对宽泛的报告太宏观.没有针对性.不要说对

让分级诊疗体系更完美，应如何搭建大数据分析和AI系统

分级诊疗到底有何优势?医疗信息化平台建设有何难点?本文将以龙华新区人民医院为例,进行一一详解. 目前我国医改进入深水区,分级诊疗已经在融合其他政策加快推进.数据统计显示,如今大概只有10%的患者是真正需要到大型医院就诊,大部分慢性病.常见病应该在社区医院完成.对此,国家提出了分级诊疗的模式. 分级诊疗建设遇挑战 目前看病难问题突出,但主要体现在大型医院,小的医院还是门可罗雀.而这就无形浪费了很多人力.物力及时间,小感冒去大型医院就诊就有可能让重症抢救的患者失去了最佳的治疗时间:另外很多病人在大型

大数据系列之大数据分析如何权衡存储

文章讲的是大数据系列之大数据分析如何权衡存储, 系列1:未来24个月市场趋势和IT投入重点 系列2:大数据分析对IT资源的需求 在之前的系列1和2中,我们已就大数据分析的发展趋势以及对IT资源的需求进行了解析.接下来,针对大数据分析的重要一环-存储,中桥将结合市场热门的存储技术如闪存.固态盘等,来从存储性能.数据保护等角度进行分析. 通过前文的相关数据分析,我们已经了解到,随着大数据时代应用数量.应用数据量和使用者数量的增长,系统对存储IOPS以及OLTP和OLAP的要求越来越高.传统存储也越来

首届大数据分析论坛成功举办 GPU加速大数据分析应用创新

由全球视觉计算行业领袖NVIDIA(英伟达)和中科院联合举办的首届大数据分析论坛(BDA 2015)于10月26日成功举办,该论坛汇聚了来自国内各高校及研究院所大数据分析领域的知名学者.研究人员,会上针对大数据分析领域在中国的研究成果和发展状况做了深入交流,并围绕如何利用GPU在大数据分析领域进行创新研究做了充分交流. 会上,NVIDIA全球副总裁.PSG&云计算业务总经理Ashok Pandey.中科院计算机网络信息中心副主任兼超级计算中心主任迟学斌,一同为 NVIDIA与中科院联合建立的GP

应用Tableau、Vertica的可视化大数据分析框架

大数据分析.企业BI.数据可视化等话题在坛子里日趋火热,新的技术,架构也层出不穷,今天借此文跟大家分享一款大数据下的联机分析(ROLAP)解决方案,它应用了当前主流的数据可视化工具Tableau及列存储数据库Vertica, 采用了IBM Platform Analytics数据采集框架和数据ETL(Extract, transform, load)框架完成对原始数据的采集和处理,提供可用于数据可视化处理的数据仓库,完成对业务数据的可视化分析. 数据可视化工具-Tableau Tableau主要

详解：大数据分析的学习之路

以大数据分析师为目标,从数据分析基础.JAVA语言入门和linux操作系统入门知识学起,系统介绍Hadoop.HDFS.MapReduce和Hbase等理论知识和hadoop的生态环境 一.大数据分析的五个基本方面 1,可视化分析 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了. 2,数据挖掘算法 大数据分析的理论核心就是数据挖掘算法,各种

基因测序、大数据分析——精准治癌正在成为现实

在中国,至少有6亿人口曾经感染过乙肝病毒,1亿人左右成为病毒携带者,其中,约3000万成为慢性肝炎患者. 江苏安泰生物技术有限公司董事长.泰州新康基因数码有限公司首席科学家闫小君解释说,"究竟属于6亿分之一.1亿分之一或者3000万分之一,甚至更不幸,成为其他肝硬化或者肝癌患者,主要取决于个体免疫系统差异." 若要阻断乙型肝炎病毒持续恶化的可能性,最治本的方法即早期介入,清除病毒.相比药物治疗,精准医疗概念下的"细胞免疫治疗法"正成为焦点. 近年来,致力于此研究的闫

大数据分析专题：利用向外扩展技术深入挖掘商业价值(1)

  方方面面的发展改进已经让从半结构化数据中获取有价值信息成为可能.以Hadoop为代表的新型解决方案在构建层面就充分考虑到了要如何适应跨商用服务器集群的分布式运行环境. 大数据:以需求为导向的审视角度 新型分析工具与极大丰富的处理能力为我们敞开了一道大门,如今企业已经能够借此对庞大的业务及外部数据加以审视并获取有价值结论. 作者:DAVID S. LINTHICUM 从数据池当中挖掘有价值信息,从而实现知识提升的能力早已不算什么新鲜事.事实上,早在一个多世纪以前,这样的处理方式就已经成为科学与