挑战传统数据建模技术 大数据工具成趋势

汹涌而来的大数据浪潮正在改变数据建模技术,包括模式的创建。这个观点在2016年圣地亚哥举办的EDW(企业数据世界)会议上提出,数据专业人员应该及时做出调整,适应形势的变化。

凭借海量数据和不同的数据结构,大数据的冲击也为NoSQL、Hadoop、Spark等带来了新的技术形式。尤其是NoSQL,呼吁在建立数据模型技术上做出改变。

2016年在圣地亚哥举办的EDW(企业数据世界)会议上,一些数据专家建议应该学习一些基本的命令,尤其是涉及到NoSQL数据库的,如MongoDB,Cassandra和Redis,至少要掌握其中的一种。

“没有人天生就掌握NoSQL“,纽约信息提供商LexisNexis的数据架构师Ted Hills如是说。数据建模师应该明白,他们掌握的所有关于逻辑建模的知识仍然是正确的,但他们也应该意识到NoSQL可以提供更丰富的工具箱,使开发者的工作更加便捷。

数据专业人员应该做好准备接受变化,并拥抱大数据工具的新功能,尽管大数据工具使得现有建模方法发生变化。

当数据建模技术遇上schema-on-write

大数据浪潮下,NoSQL的作用是延迟模式创建。数据模式的早期定义是数据质量实践的关键和启动一个项目的先决条件。

数据架构师和InfoAdvisors首席顾问Karen Lopez表示,在开发周期,模式创建可能会进入一个不同的阶段。

“这并不是说我们不关心质量,只是我们不关心模式创建的前期,”她说,这并不意味着要设计成为“非模式化“。相反,他们支持类似于“schema-on-read”的模型。

Hills也表示认同,人们对于NoSQL的热情逐渐缓和,因为他们不知道究竟是什么东西与数据库管理系统发生碰撞。随着初始数据的不断开发,才创建了数据模式。他预计数据建模从一个只是说明性的模式逐渐发展到包括一些描述性的建模。

敏捷性很重要

“现在,数据建模的出现使得一切变得更具描述性,”独立分析师Lakshmi Randall感叹。

NoSQL数据库可能与数据设计风格相关,比如说图形数据库。NoSQL图形数据库可以在许多交互中捕捉信息,例如,网络和客户关系系统。NoSQL图形数据库可以帮助创建一个广泛应用的描述性模型。

Hills强调,设计NoSQL数据库是一种趋势,它使企业和软件开发更加灵活。

设计NoSQL数据库也被认为是提高敏捷性的方法。与传统的建模相比,这种趋势也有许多原则要遵守。例如,项目的运作要围绕交付而进行,以及短暂而频繁的迭代和适度使用预付模式。

敏捷性意味着团队可以将项目划分成更细化的模块,提高完成项目的效率。企业业务的成功与否与每一个步骤息息相关。

Hills表示,数据建模师应该学习敏捷开发,提高工作效率。传统的数据建模过程更倾向于一蹴而就,完成项目的风格与多年形成的习惯密切相关。

在创建模式之前,在NoSQL中存储数据并无大碍。Hills叮嘱数据建模者以更加开放的心态挖掘新技术的价值。不要把新技术、新工具看成是敌人,要把它当成一个突破局限、探索新事物的好机会。

本文转自d1net(转载)

时间: 2024-09-19 09:04:28

挑战传统数据建模技术 大数据工具成趋势的相关文章

数据科学家和大数据技术人员工具包

数据科学家的常用工具与基本思路,数据分析师和数据科学家使用的工具综合概述,包括开源的技术平台相关工具.挖掘分析处理工具.其它常见工具等几百种,几十个大类,部分网址.为数据科学教育和知识分享,提高数据科学人员素质. 数据科学融合了多门学科并且建立在这些学科的理论和技术之上,包括数学.概率模型.统计学.机器学习.数据仓库.可视化等.在实际应用中,数据科学包括数据的收集.清洗.分析.可视化以及数据应用整个迭代过程,最终帮助组织制定正确的发展决策数据科学的从业者称为数据科学家.数据科学家有其独特的基本思

传统媒体欲借大数据逆风再起 当防误区科学运用

对传统媒体来说,要想真正实现数字化转型,就必须建立起自己基于大数据技术的智能信息服务平台.那么,大数据到底是什么?传统媒体进军大数据要突破哪些局限?又可以从哪些方面突破?就此,国家行政学院社会和文化教研部高级经济师.管理学博士郭全中做了分析. 2013年,是大数据元年,大数据正在给传统媒体带来革命性变化,传统媒体虽然也采取各种方式积极应对大数据的挑战,但是由于对大数据认识不够到位,导致实践变形,误区重重. 传统媒体大数据实践得益 首先,通过大数据分析及时抓取传统媒体的用户的相关阅读等信息,提高用

详谈数据科学与大数据技术专业

从IT时代进入DT时代,高校在大数据方向上设置了哪些专业,具体学什么,就业怎么样,作为新兴专业,考生如何报考? 具体内容: 专业名称:数据科学与大数据技术; 人才培养目标:以大数据为核心研究对象,利用大数据的方法解决具体行业应用问题. 学制:四年;学位:工学或理学学位. 目前已有35所高校申报了大数据专业: 第一批(3所):北京大学.对外经济贸易大学.中南大学; 第二批(32所):中国人民大学.复旦大学.北京邮电大学.华东师范大学.电子科技大学.北京信息科技大学.中北大学.长春理工大学.上海工程

传统行业如何“玩”大数据?

企业的数据分析能力金字塔:传统行业如何"玩"大数据? 写在前面 我写这篇文章的初衷源于两个故事: 故事一:一位在互联网行业做数据库架构多年的同事一起吃饭,问起我现在在说什么,我说自己在做医疗方面的数据分析,同事笑,说:你有很多资源啊,只要你能拿到电子病例的数据,就能分析很多东西了--我脸上的微笑表情瞬间僵化! 故事二:当时为内蒙一个企业做上游原材料供应商的数据管理项目,当时我们拿到的只是该企业小部分供应商的数据,下一阶段计划拿到其全国供应商的相关数据给该企业进行管理支持.有一天,我们的

未来银行发展的两大挑战是移动互联网和大数据应用

本报记者 刘振盛 新加坡.上海报道 "星展目前约有40%的收入来自中国.印尼等非新加坡市场,而过去只有37%,未来非新加坡市场的收入比例还会大幅提高."近日,星展银行首席执行官高博德接受本报在内多家媒体采访时透露. 他表示,未来业务重点将放在中小企业.财富管理领域,收入占比将提升至三分之一,目前这两块业务的收入占比为27%. 高博德还坦言,未来银行发展的两大挑战是移动互联网和大数据应用,目前星展银行已经在财富管理等领域开始应用大数据和移动互联,未来3年在这两个领域的投入为2亿美元,而此

CIO时代学院院长姚乐:传统行业遇上大数据 拥抱智能化未来

近几年,互联网行业发展突飞猛进,"大数据"技术瞬间变得炙手可热,当然,对于发展中的大数据技术而言,很多行业都不会错失良机.近日,CIO时代学院院长.中国新一代IT产业推进联盟秘书长姚乐在"2016CIO时代中国行深圳站"活动上发表了题为<大数据的行业应用策略>的主题演讲,详述大数据时代下行业的应用策略.   一.大数据之发展趋势   大数据的发展趋势已成为时下热议的话题,他指出了未来大数据技术与以下三个方面的融合是值得我们重视的.   1.区块链   如

上海多所高校均新设“数据科学与大数据技术”专业

教育部日前下发关于公布2016年度普通高等学校本科专业备案和审批结果的通知.在上海高校中,包括复旦.上海交大.华师大.上外在内,共有57个新专业获备案或审批.记者发现,多所高校均新增"数据科学与大数据技术"专业. 据悉,按照<普通高等学校本科专业设置管理规定>,教育部开展了2016年度普通高等学校本科专业设置工作,经申报.公示.审核等程序,对各地各高校正式申请备案的专业予以备案.同时,根据教育部学科发展与专业设置专家委员会评议结果,以及在征求有关行业部门意见后,确定了审批同

数据成为甲方 大数据呼来大服务时代

本文讲的是数据成为甲方 大数据呼来大服务时代,近期,中国电子信息产业发展研究院(CCID)日前发布<2011年中国数据库软件市场研究报告>(以下简称<报告>).预测2012年中国数据库软件市场规模预计达到38.71亿元,将比2011年大幅增长20.6%,以人大金仓为首的国产数据库软件市场规模预计达到3.29亿元,比2011年增长26.5%,呈现爆炸式增长.报告指出预计到2020年,世界上的数据存储总额将达到35 ZB,大数据的应用将成未来数据库的必然趋势.同时报告认为,国产数据库要

大数据优化 | 以大数据优化为基础构建未来就绪企业

打造未来就绪的企业,并非以"预测未来"为前提,而是面向未来做好准备. 大数据真正的价值即在于为面向未来做好准备,帮助企业规避风险. 戴尔提供专门为大数据目标而设计的端到端体系架构,助力企业通过大数据获得商业洞察,面向未来就绪. 正如纳特·西尔弗(Nate Silver)在他的畅销书<信号与噪声>(The Signal and the Noise)中写的,预测未来是非常困难的,因为"我们选择性地忽略了最难以衡量的风险,即便这些风险对我们的生活构成了最大的威胁&quo