一种大数据时代海量数据抽取的开发模型研究

一种大数据时代海量数据抽取的开发模型研究

罗恩韬  胡志刚  林华

随着云时代的来临,时下对大数据(Big data)的关注和研究是越来越高,大数据通常是用来形容大量非结构化和半结构化数据,随着大数据增长速度提高,数据体量增大,数据的冗余也将会越来越大,传统的数据软件分析模型已经不能满足需要海量信息的处理和分析的需要,如何从大数据里面抽取有效的信息,对数据的进行有效的分析和决策,建立新的数据模型对数据进行分析和处理就显得尤为重要,本文采取了一种更适合大数据时代的数据抽取模型,并给出了数据抽取的判定方法,此方法具有复杂度低,易于实现,具有良好的估计性能。

一种大数据时代海量数据抽取的开发模型研究

时间: 2024-10-01 08:18:54

一种大数据时代海量数据抽取的开发模型研究的相关文章

大数据时代科研信息管理与决策机制研究

大数据时代科研信息管理与决策机制研究 辽宁省科学技术情报研究所 王笑 数字化浪潮席卷了全球,已经改变了传统信息传播途径.科研院所作为科学理论研究的先锋.信息资源的富集地,理应与时俱进,积极求变,通过开展信息资源的数字化建设提高资源的利用率加强交流和共享,更好更快地推动文化和科技的发展.本文从科研院所信息资源数字化的必要性.数字化平台建设的基本步骤,探讨了目前科研院所信息资源数字化建设可能存在的几点问题. 大数据时代科研信息管理与决策机制研究

大数据时代 安防行业如何保证数据存储安全?

作为大数据时代海量数据的来源之一,安防视频监控产生了巨大的信息数据.特别是近几年随着平安城市.智能交通.智能楼宇等行业的快速发展,大集成.大联网推动安防行业进入大数据时代. 安防行业大数据的存在已经被越来越多的人熟知,特别是安防行业海量的非结构化视频数据,以及飞速增长的特征数据(卡口过车数据.人像抓拍数据.异常行为数据等),安防行业的数据存储.数据安全等一系列问题,吸引着人们对安防行业的关注. 大数据引发安防行业的数据存储.数据安全问题 对于安防行业,监控技术如今正面临日新月异的变革,模拟视频监

大数据时代的安全边界

ZDNet至顶网服务器频道 02月13日 新闻消息:根据IDC数据显示,目前互联网上的数据每年增长50%,每两年翻一番,全球互联网90%以上的数据是最近几年才产生的. 最早洞见大数据时代的数据科学家维克托·迈克·舍恩伯格在<大数据时代>一书中曾指出:大数据带给人类生活的益处是多方面的,不仅是人们获得新认知.创造新价值的源泉,还是改变市场.组织结构以及政府与公民关系的方法.但他同时也指出,大数据相比传统互联网,会给网络安全带来更多威胁,给用户隐私带来更大挑战. 大数据技术给数据使用的隐私问题带来

教育研究如何跟上大数据时代

如何能有效地将巨量的数据资源转化为丰硕的教育研究成果,应用于改善教育的决策与实践,对教育研究界来说意义重大.而要实现这个目标,需要完成将数据资源转化为生产要素.合理搭配生产要素.高效完成研究生产.产品的转化与传播四个步骤. 第一步,资源转化为生产要素. 大数据被喻为"第三次浪潮",其价值已得到商业领域的充分证实.然而,如何把沉睡的数据资源变成具有增值性的生产要素,是教育研究生产的预备步骤. 首 先,作为生产要素的数据应具有明晰的价值性.大数据记录的既包括研究对象的实在行为,也包括他们的

大数据时代下的三种存储架构解析

数据的价值日益凸显,数据已经成为不可或缺的资产.作为数据载体和驱动力量,存储系统成为大数据基础架构中最为关键的核心. 大数据时代,移动互联.社交网络.数据分析.云服务等应用的迅速普及,对数据中心提出革命性的需求,存储基础架构已经成为IT核心之一.政府.军队军工.科研院所.航空航天.大型商业连锁.医疗.金融.新媒体.广电等各个领域新兴应用层出不穷.数据的价值日益凸显,数据已经成为不可或缺的资产.作为数据载体和驱动力量,存储系统成为大数据基础架构中最为关键的核心. 传统的数据中心无论是在性能.效率,

高翔:大数据时代需要提倡一种体人文情怀

清华大学校友.国美在线CEO高翔 中国网财经3月14日讯 12日,清华大学校友.国美在线CEO高翔在清华经管学院举办的大数据时代的商务与管理变革论坛上表示,电子商务未来的核心竞争力在于对大数据利用.高翔强调,大数据时代还需要提倡一种体人文情怀. 高翔称,从大数据时代信息的透明和分享出发,电子商务未来的核心竞争力在于对大数据利用.在零售方面,他以国美线上为例.国美线上正在与搜索引擎公司展开合作,逐步实现数据的共享.通过对透明数据的分析,从而为用户提供个性化的服务.而在与线下实体店的互动方面,通过记

大数据时代数字广告产业的3种模式与战略

大数据时代的到来,正在深刻改变中国广告产业的竞争格局.随着越来越多的广告主将营销预算向新媒体广告倾斜,数字广告产业将会迎来发展的黄金时期.数字广告产业规模的扩大和数字广告公司专业代理能力的提升,将会大大加速中国广告产业数字化转型进程,提升中国广告产业国际竞争力.如何提升数字广告公司的专业代理能力和市场竞争力,成为当前我国广告学界和产业界关注的新课题.综观国内外学者目前的研究成果,较少从数字广告产业经营角度展开研究.本文重点分析数字广告产业的发展模式与战略,以期为大数据环境下我国传统广告产业的数字

华夏银行:大数据时代 商业银行该如何治理海量数据?

ZD至顶网CIO与应用频道 03月11日 北京消息: "激烈的市场竞争趋势和日趋严格的外部监管要求,对我们商业银行数据的准确性提出了更高的要求.在大数据时代,如何有效治理结构化.半结构化和非结构化的海量数据,是我们现在重点考虑的问题.为保证数据的健康发展,我们将通过建立健全的大数据治理体系,推动业务发展的全面提升." --华夏银行股份有限公司架构部 商业银行的新课题 华夏银行股份有限公司(以下简称华夏银行)是一家综合实力非常强的全国性股份制商业银行.经过20多年的发展,目前,华夏银行在

大数据时代的一种设想

导读:有没有想过这种情景:网购时,你还没下单,它就已经知道你要买啥并开始出货了!这可能是大数据时代的一种设想,但去年亚马逊获得了一项名为"预判发货"的专利,通过对用户行为数据的分析,预测顾客的购买行为,在顾客尚未下单之前提前发出包裹,从而最大程度地缩短物流时间.亚马逊是真的要逆天了吗?