大数据增长为数据存储系统带来新挑战

分析机构Gartner副总裁Donald Feinberg表示,数据存储的角色之所以会有所转变,其中一项因素就是数据不仅在数量上变多,而且日益复杂,对于5到10年前所设计出来的数据存储系统来说,就必须要能处理资源的多样性、复杂性、巨大的容量而且系统反应速度要即时等特性。而他认为,虽然大数据对不同产业都有不同的意义,但基本上,大数据代表的就是大量、复杂和非结构化的数据。

但是,对于擅长处理结构化数据的关联式数据库管理系统来说,是很难去处理大数据的。因此,Donald Feinberg表示,目前大部分的企业会特别打造一个空间或是平台来存放非结构化数据或是大数据。

应用大数据的来临,Donald Feinberg表示,未来逻辑数据存储的概念将会浮现,也就是将不同性质的数据存放在不同的数据库中,就可以用适当的工具来获取正确的资源,同时,逻辑数据存储会利用适当的后设数据连结所有数据存储系统中不同的数据。

Donald Feinberg也表示,有许多工具都是用来处理巨量而非结构化的数据,但是,将有很多应用程式是使用MapReduce技术开发。

数据存储厂商面临必须快速回应查询的挑战

大数据影响层面之广,IDC软件市场分析师锺翠玲表示,大数据对于各方厂商都是新的战场,其中也包含了存储厂商,像是EMC买下数据存储软件业者Greenplum就是一例。原因正是,她认为,数据存储的确是可应用大数据的主力。

不过,对数据存储厂商来说,还是有不少挑战存在,首当其冲的是,他们必须要强化关联式数据库的效能,增加数据管理和数据压缩的功能。

因为过往关联性数据库产品处理大量数据时的运算速度都不快,需要引进新技术来加速数据查询的功能。另外,数据存储的厂商也开始尝试不只采用传统硬盘来存储数据,像是使用快速闪存的数据库、闪存数据库等,都逐渐产生。

另一个挑战就是传统关联性数据库无法分析非结构化数据,因此,并购具有分析非结构化数据的厂商以及数据管理厂商,是目前数据存储大厂扩展实力的方向。

数据管理的影响主要是数据安全的考量。IDC软件市场分析师吴乃沛表示,大数据对于存储技术与资源安全也都会产生冲击。首先,快照、重复数据删除等技术在大数据时代都很重要,就衍生了数据权限的管理。

举例来说,现在企业后端与前端所看到的数据模式并不一样,当企业要处理非结构化数据时,就必须制定出是IT部门还是业务单位才是数据管理者。而吴乃沛表示,由于这牵涉的不仅是技术问题,还有公司政策的制定,因此界定出数据管理者是企业目前最头痛的问题。

(责任编辑:吕光)

时间: 2024-10-10 15:18:52

大数据增长为数据存储系统带来新挑战的相关文章

云计算和大数据为中国电影产业带来新机遇

中国http://www.aliyun.com/zixun/aggregation/14296.html">电影产业已进入从制作到播出的全数字化时代.多位电影专家和学者认为,云计算.大数据等新媒体技术还将给中国电影产业带来新机遇. 第23届中国金鸡百花电影节副主席康健民在此间表示,中国电影在完成从无声电影到有声电影,彩色胶片替代黑白胶片的两次伟大变革后,如今已进入全数字化时代. "中国电影越来越好看和好玩,除了有优秀的剧本和演员的逼真表演外,还在于新技术对电影的丰富.尤其是运用大

大数据时代给社会科学研究带来新问题

大数据时代的图书出版是近两年的热点,8月27日即将在北京开幕的第21届北京图博会之前,不少出版界人士已纷纷开始筹备热议.那么,大数据时代,对学术出版乃至http://www.aliyun.com/zixun/aggregation/39459.html">社会科学研究有什么样的影响及意义呢?中国传媒大学调查统计研究所所长沈浩近日在第十五届全国皮书年会上,就相关话题做了专题报告. 沈浩认为,大数据时代,数据科学让人们越来越多地从数据观察到人类社会的复杂行为模式,以数据为基础,并非是数据改变了

SaaS瓶颈给中小企业CIO带来新挑战

我国中小企业比重很大,到2007年底,在我国近一千万家工业企业和生产单位中,中小型企业比重高达96.89%.然而,如此大的信息化潜在市场却存在这样尴尬的局面:大型企业持有巨资享用了先进的企业信息化服务,在竞争中更具优势; 而中小企业因无力承担高昂的信息化成本,愈发处于竞争劣势. 众多中小企业因自身规模小.资金不足,对信息化成本高度敏感.因为传统信息化的改造,前期需购买昂贵的信息化设备,以后还要配置专门人员对系统进行维护升级,因此它们渴望一种简单实效的信息化模式."我们当然希望信息化,但成本费用一

专家:大数据给认知计算技术发展带来新机遇

北京(CNFIN.COM / XINHUA08.COM)--11日在此间 举行的 一场研讨会上,来自科研院所?高校及企业研发部门的国内外专家济济一堂,就大数据时代的认知计算发展展开热烈讨论?与会专家表示,大数据给认知计算技术的发展带来 新的机遇,认知数据的实践正倒逼认知科学的发展? 在这场名为"从大数据到认知计算"的研讨会上,多位专家 认为,大数据时代使认知计算面临前所未 有的发展机遇?中国工程院院士李德毅发表演讲说,在大数据时代,自然?生命?社交等多个领域http://www.ali

云计算是把双刃剑,新活力带来新挑战

多年来,网络和系统管理软件一直朝着云计算这个大方向发展,并且比你能想到的更适合采取这个下一个步骤.但是,这个行业在某些方面还需要做更多的工作. 要理解这问题的规模,让我们首先看看云计算是什么.云计算有许多定义,但是,它的核心定义就是云计算是抽象以前没有抽象过的东西.不必拥有专门用于某些任务的服务器.软件.应有程序和存储,所有这些都抽象给用户,甚至抽象给IT管理员.我们不能否认,云正在给网络带来革命性的变化,为软件管理注入了新的活力,但同时,这种彻底改变给习惯于观察.监视和控制自己的网络和系统的I

云计算为管理软件带来新挑战

[摘要]云正在给网络带来革命性的变化.这种彻底改变给习惯于观察.监视和控制自己的网络和系统的IT管理人员带来了巨大的挑战. 云正在给网络带来革命性的变化.这种彻底改变给习惯于观察.监视和控制自己的网络和系统的IT管理人员带来了巨大的挑战. 多年来,网络和系统管理软件一直朝着云计算这个大方向发展,并且比你能想到的更适合采取这个下一个步骤.但是,这个行业在某些方面还需要做更多的工作. 要理解这问题的规模,让我们首先看看云计算是什么.云计算有许多定义,但是,它的核心定义就是云计算是抽象以前没有抽象过的

ABI:数据加密削弱视频优化市场 为运营商带来新挑战

据国外媒体报道,市场研究机构ABI Research日前指出,音频和视频移动宽带流量在过去一年中翻番表明,用户对于移动娱乐的需求并没有放缓的迹象.网络间谍窃密事件和内容供应商对于网络质量的担忧促使该行业采用数据流端到端加密,以应对危机. 但ABI Research发现,2015年,数据加密吞噬了近60%的视频和音频优化市场.展望未来,电信运营商和设备供应商需要采取重大.具有战略意义的运营举措,保护网络性能,并以流媒体娱乐创造竞争优势. ABI Research董事总经理及副总裁乔·霍夫曼(Joe

赛门铁克郭尊华:移动互联对企业安全带来新挑战

近日,赛门铁克全球高级副总裁.亚太及日本地区总裁郭尊华做客搜狐IT第一访谈,和搜狐的网友分享了赛门铁克的公司愿景,以及云计算和移动互联网时代赛门铁克的应对之道. 保存到相册 赛门铁克亚太及日本地区总裁郭尊华做客搜狐IT [保存到相册] 纵观赛门铁克的发展历史,从一家软件厂商成长为一家全球五百强公司,赛门铁克先后进行了数十次并购.郭尊华表示,并购的目的是为了丰富产品线,更好的为客户服务.郭尊华认为,赛门铁克亚太区正在面临一些并购机会,比如医疗行业,政府行业,制造业,电信行业等. 郭尊华强调,中国已

转型升级压力下的贵州之变:大数据带来新的动力

透视转型升级压力下的贵州之变 当前,中国经济来到了爬坡过坎儿的关键阶段.在经济增速放缓.企业盈利压力加大的背景下,贵州省及时转变思路,积极培育新产业,创新政策措施,经济发展呈现出新气象. 大数据带来新动力 2015年,中国经济持续下滑,前三季度工业增加值增速仅为6.2%.然而,位于中国西南的欠发达省份贵州,全年工业增加值增速却有望超过10%. 三年前,急于转型脱困的贵州省开始谋划大数据产业发展.冬无寒冬夏无酷暑的气候.远离地震带的地质条件.丰富的水电资源优势,可直接降低数据中心的用电成本,贵州非