数据库大会:大数据来了 机遇与挑战共存

本文讲的是数据库大会:大数据来了 机遇与挑战共存,2012年4月13日,由IT168(ITPUB、IXPUB、ChinaUnix)主办的2012中国数据库技术大会(DTCC)在北京隆重召开。大会第二天,北京人大金仓信息技术股份有限公司首席科学家王珊教授发表了主题为“Big Data时代数据库的机遇、挑战与应变”的精彩演讲。

  大数据时代的到来,数据带来了爆炸式的增长,数据设备使真实世界能够被数字化处理,数据由量的积累而产生了分析处理价值。

  王珊表示,大数据的来源主要来自互联网公司Facebook、大型企业、电信、金融等行业的简单数据类型和结构化数据。现在Facebook拥有强大的数据仓库。互联网和电子商务的发展使数据库技术面临着海量数据处理的挑战,需要高度的可扩展和高度的可伸缩。数据的处理由事务处理走向了分析处理。传感器网络、物联网上的流数据和不确定性数据成为了数据处理的来源,随着硬件技术的发展,数据处理平台由单处理器平台走向了多核、大内存、集群、云计算平台的迁移。


  谈及大数据时,王珊指出,由麦肯锡研究提供的报告指出了当前大数据的特点,简称为4V(多样、快变、巨量、价值)如传感数据、交通数据更新频度高,数据价值同时间相关、数据由结构化、半结构化、还有非结构化数据比如文本、视频、点击流、和日志等。

  SQL和NoSQL技术的思考

  SQL技术采用了统一的数据模型、强一致性等特点,尤其在核心的事务处理领域不能被取代,它为用户提供了简单性、以及兼容性的最佳组合,提供了一个通用共享平台。对只读的分析处理的扩展性需要进一步扩展。

  Web系统的NoSQL技术主要面向非结构化数据,使用到了Key-Value处理,MapReduce处理,具有高度的可扩展和可伸缩性。

  数据库与MapReduce之间借鉴的融合主要分为三种类型的解决方案,包括以GreenPlum 和AsterData为代表的并行数据库主导型、Hive 和Pig Latin 为代表的MapReduce主导型、HadoopDB和IBM解决方案为代表的并行数据库主导型和MapReduce集成性。

  谈及DB和MapReduce的关系时,王珊强调,DB和MapReduce不是替代关系,DB不能固步自封,无视MapReduce的技术,DB也不能邯郸学步、丢掉深厚的积累而去实现一个基于Hadoop的DB,从DB中挖掘适合MapReduce计算模型的子系统,从核心算法层面将适合MapReduce的任务。

作者:皮丽华

来源: IT168

原文标题:数据库大会:大数据来了 机遇与挑战共存

时间: 2024-10-06 12:14:53

数据库大会:大数据来了 机遇与挑战共存的相关文章

英特尔凌琦:大数据带来的机遇和挑战

本文讲的是英特尔凌琦:大数据带来的机遇和挑战,2012年7月13日消息,2012第二届大数据世界论坛今天在北京开幕.本次论坛邀请了Forrester Research资深分析师曹宇钦 .IDC中国高级分析师周林等权威第三方咨询机构;微软亚太研发集团首席技术官孙博凯.赛仕软件中国总经理刘政.甲骨文大中华区技术总经理喻思成.Splunk亚太及日本区域副总裁刘文熙等业界主流厂商高层;以及支付宝首席商业智能官车品觉等来自金融.电信.电子商务.制造业等重点应用行业的用户嘉宾等都将与会于业内专业人士面对面探

大数据执行的机遇、挑战与应对

文章讲的是大数据执行的机遇.挑战与应对,如今,我们生活在一个大数据时代,大数据深刻影响着社会生活的方方面面.大数据应用到人民法院的执行工作当中,给执行工作带来了诸多机遇,但机遇往往是与挑战并存,如何充分发挥大数据对人民法院执行工作的推动作用,我们需要对大数据执行研究好.结合好,做好应对. 2014年底,最高人民法院正式开通具有案件管理.网络查控.信息公开.信用惩戒等功能的执行指挥系统.该系统的开通,标志着我国法院执行由此迈进了大数据执行时代.然而,大数据受其固有特征的影响,在给法院执行工作带来利

健康医疗大数据发展的机遇与挑战

国家卫计委牵头起草的<关于促进和规范健康医疗大数据应用发展的指导意见>提出,到2017年底,基本形成跨部门健康医疗数据资源共享共用格局.医疗行业是数据密集型行业.IDC预测,截至2020年,医疗数据量将达40万亿GB,是2010年的30倍.同时数据生成和共享的速度迅速增加,数据积累加剧.IT技术.生物检测技术的进步,可穿戴智能设备的普及,以及大规模.实时.持续收集患者数据,使医疗大数据存储.分析.应用成为可能. 相比传统的数据容量,大数据的"库存"更为庞大.随着信息科技的迅

深度剖析:大数据时代的机遇与挑战

现在可以发现,移动互联网,下一代互联网,云计算.物联网.社交网络结合带来的新浪潮,影响了产业,影响了社会和人们的生活.2006年5月4日统计,那个时候诺基亚的市值比苹果的市值高得多,而2011年5月4日,苹果比诺基亚的高得多.上世纪90年代诺基亚是最成功的欧洲企业,本世纪头十年令人失望.现在诺基亚的市值是2007年的十分之一.上世纪90年代苹果是最令人失望的公司,21世纪是最成功的公司,2007年超Intel.IBM,2008年超谷歌,2010年超微软等等. 美国政府是1776年成立,苹果比它晚

国产新型数据库:大数据时代的创新机遇

文章讲的是国产新型数据库:大数据时代的创新机遇,三十年数据库的发展和形成的以Oracle.IBM.Microsoft等为代表的强势垄断格局,使得传统国产数据库不仅生不逢时,加上技术上采取跟随战略.在事务处理领域顽强拼杀,虽然产品不断进步.市场应用也不断取得单点突破,但大多处于非核心应用.尽管政府给予了持续的大力支持,但在垄断壁垒和开源软件左右夹击下,除了政策性市场之外,很难取得规模化突破,尚未形成企业发展良性循环和政府支持的双赢局面. 大数据时代的到来,使得传统数据库在处理百TB以上.特别是PB

浅析大数据时代信息安全面临的挑战与机遇

"世界的本质是数据,大数据开启了一次重大的时代转型,也是一场生活.工作与思维的大变革".随着世界各大国在陆.海.空.天.电.网多维度战略的紧张部署,信息技术爆炸式发展.基于大数据发展对国家.社会的组织结构和治理模式,对商业.企业的决策方式和业务策略,对个人的生活思维方式等各方面产生的深刻影响,各界逐渐开始关注"信息"本身而不只是"技术"了.在大数据时代,人类信息管理准则也将面临重新定位,而在信息安全问题日益突出的当下,大数据给信息安全带来新挑战的

2012年数据库与大数据领域回顾与展望

本文讲的是2012年数据库与大数据领域回顾与展望,2012注定是不平凡的一年,玛雅人将世界末日定在这一年的12月21日,然而这一天也许并不意味着结束,而是重生.正如2012对于大数据的意义一样,经过一年的历练,IT业界将在2013年迎来大数据元年. 一.2012年度回顾:大数据蓄势待发迎接元年 (一)2012年大数据呈现新特征 大数据不是刚刚出现的概念,"大数据"最早可以追溯到Apache的开源项目Nutch,当时大数据用来描述更新网络搜索索引所需批量处理或分析的大量数据集.随着谷歌M

访任永杰:解读数据库和大数据发展趋势

文章讲的是访任永杰:解读数据库和大数据发展趋势,随着云计算.大数据的快速发展,中国的数据库市场呈现百花齐放的良好发展态势,传统的商用数据库.云数据库.开源数据库各显其能.人大金仓作为中国数据库市场的重要力量,围绕数据库与大数据融合,走出了一条自主可控的国产数据库发展道路.在2017年中国数据库技术大会(DTCC 2017)间隙,人大金仓总裁任永杰接受了IT168的独家专访.并详细剖析了中国数据库和大数据发展的未来趋势. ▲人大金仓总裁任永杰 数据库自主可控的三部曲 中国的数据库发展起步晚,技术实

抓住大数据发展新机遇

抓住大数据发展新机遇 --二论以习近平总书记在全国科技创新大会上的重要讲话精神为遵循打造创新型中心城市 习近平总书记在全国科技创新大会.两院院士大会.中国科协第九次全国代表大会上强调,推动科技发展,必须准确判断科技突破方向,判断准了就能抓住先机.贵州.贵阳之所以能在大数据方面取得一定成绩,正是因为看到和抓住了新一轮科技革命和产业变革的历史机遇.以习近平总书记在全国科技创新大会上的重要讲话精神为遵循打造创新型中心城市,我们要更加深刻地认识到,大数据等新一代互联网技术正深刻改变着世界,必须把握这一历