【BDTC先睹为快】胡炜:大数据存储时间换空间的交易

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办的  2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开,并与技术大会共享主题报告。

本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。

网易NTSE/TNT引擎负责人胡炜将在“大数据技术”分论坛,带来“网易数据库压缩技术”的演讲。对数据库中的数据进行高效地压缩存储是应对数据量快速增长的重要手段。目前业界的主流数据库产品都提供压缩功能,然而在实际效果上仍然有提升的空间。网易在数据库研发领域已有多年的实践经验,此次分享将结合自研的数据存储引擎,介绍网易在数据库中的数据压缩技术。

大会召开之前,CSDN和胡炜进行了一次简单的沟通。胡炜认为数据压缩技术显然能降低数据存储的压力,是一个时间换空间的交易,通过何种方式在两者中进行取舍,以及如何提高便高效的压缩管理是需要仔细斟酌的问题。

胡炜,网易NTSE/TNT引擎负责人

2012年加入网易,网易NTSE/TNT引擎负责人,目前专注于网易自研数据库引擎以及分布式数据库中间件的研发,热衷于各种数据库技术。

CSDN:数据压缩技术在大数据技术中占据什么样的位置?数据压缩在实践中有哪些难点?

胡炜:大数据时代对数据存储这门古老的计算机技术提出了新的挑战,动辄PT,EB的数据量需要大量的存储设备提供支持。虽然在存储硬件飞速发展的今天存储的成本已大幅下降,但是在一个系统中,内外存仍然是一个数据库系统中占据非常大比重的开销之一。数据压缩技术显然能降低数据存储的压力。数据库的压缩技术其实就是一个时间换空间的交易,通过何种方式在两者中进行取舍,以及如何提高便高效的压缩管理是需要仔细斟酌的问题。

CSDN:你所在的公司,都曾使用过哪些大数据技术?你对这些技术满意的地方和不满意的地方分别有什么?

胡炜:HBase、Hive、NoSQL等等,扩展性非常好,但是在易用性以及在某些通用场景下的性能还有能提高的地方。

CSDN:根据你的了解,目前类似的企业中,在数据方面,遇到的最大困难是什么?

胡炜:数据是企业最为重要的财富,也是最根本的保障,因此数据应该基于稳定、高效成熟的技术搭建一整套数据平台方案。整合以及管理所有的数据,不同部门、不同应用各自为战的时代对管理以及运维带来的极大的挑战。在数据存储、管理工具的选择上,应当积极拥抱开源社区,与其他开发者共同创造一条可持续发展的路子。

CSDN:在大数据领域,目前还有哪些技术是你正在观察和研究的,为什么你看好这些技术?

胡炜:Phoenix是我非常感兴趣的,它为HBase提供了类似于关系数据库的使用方式,支持JDBC,并于近期提供了如多表连接、二级索引、等等功能。关系模式对于一个数据库来说是非常友好的一个方式,Phoenix让HBase兼有Nosql扩展性又有RDBMS的易用性,看好其会有较好的发展。

CSDN:请谈谈你在这次大会上即将分享的话题。

胡炜:数据压缩是在数据库领域大部分产品的做法是使用成熟的压缩技术来对数据文件进行分片分块的压缩。从结果来看是能获得一个尚且能够令人接受的压缩效果,但是在灵活性以及压缩比例上依然能有提高的空间,网易在自研存储引擎的过程中也是希望能在现有产品的压缩效果上能更进一步。在数据压缩方面,我们的工程师们结合了列存数据库、传统行级数据库的压缩技术,并在他们的基础上做了创新,并且取得不错的效果。把我们在方案设计选型过程中思考过的问题,以及之后遇到的挑战与大家分享,希望能对听众有所启发与帮助。

CSDN:哪些听众最应该了解这些话题?你所分享的主题可以帮助听众解决哪些问题?

胡炜:从事数据存储系统开发的工程师可能会对我的分享会比较感兴趣,希望此次分享能提为这些工程师在今后研发数据存储系统时如何去做数据压缩提供一些新的思路。

全国大数据创新项目评选活动目前正在如火如荼进行中,详情点击这里。

2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将于2014年12月12日-14日在北京新云南皇冠假日酒店召开。传承自2008年,历经七届沉淀,“中国大数据技术大会”是目前国内最具影响、规模最大的大数据领域技术盛会。本届会议,你不仅可以了解到Apache Hadoop提交者Uma Maheswara Rao G(兼项目管理委员会成员)、Yi Liu,以及Apache Hadoop和Tez项目管理委员会成员Bikas Saha等分享的通用大数据开源项目的最新成果和发展趋势,还将斩获来自腾讯、阿里、Cloudera、LinkedIn、网易等机构的数十场干货分享。 当下门票团购还有些许优惠, 预购从速。

免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。

时间: 2024-09-03 19:53:38

【BDTC先睹为快】胡炜:大数据存储时间换空间的交易的相关文章

用户态与内核态通信-netlink处理大数据在用户空间和用户态的通信问题时间问题?

问题描述 netlink处理大数据在用户空间和用户态的通信问题时间问题? 在中断处理函数中进行网络报文的读取,然后通过netlink机制上传到用户态,进行报文分析.要求真个netlink上传数据,到数据处理完成,不超过250us,通过测试时间为2mn,左右 请问谁知道netlink用户态和内核通信时间大概多久? 解决方案 linux用户态与内核态通信netlink

今日头条张一鸣:大数据是网络空间的“上帝”

这是一个信息爆炸的时代,因而信息过滤和基于大数据的个性化推送,便成了至关重要的事情.而这,也正是今日头条可以从众多新闻客户端中脱颖而出的重要原因. 2012年8月,今日头条上线,以其独有的大数据分析和定制化推荐而迅速受到热捧.从资讯客户端变为数据挖掘的推荐引擎,创业不足三年,这家公司的估值已经达到5亿美元,而这些都是今日头条背后所蕴藏的大数据算法的价值. 如何推测你的喜好?好算法不如大数据 当你身在外地旅游时,打开今日头条,你会突然发现,它为你推送的消息里,多了几条当地的旅游攻略.当你晚上失眠睡

大数据交易平台兴起 把你的大数据拿来做笔交易?

"无抵押贷款,您需要吗?""热门商铺低价出售,您感兴趣吗?""您有房子要出售吗?"--日常生活中,很多人都曾有过这样被骚扰的经历,以至于一看到陌生电话,便选择直接无视. 究其根源,此类现象无疑和个人身份.联系方式.收支和财务等信息的泄露有关.相关商家通过各种合法或者不合法的渠道,获得了海量的用户数据,并根据这些信息进行"精准营销".在这一过程中,用户数据,成为贯穿整个商业链条的核心要素. 好在,类似"骚扰电话&quo

大数据时代的空间分析

大数据时代的空间分析 张晓祥 近年来,大数据越来越多地被用来描述正在到来的信息爆炸的时代,也引起了产学研政府部门的高度重视.首先综述了大数据和空间大数据的特点和最新发展.其次,从GIS基础理论方法的角度回顾和评述了空间分析.空间建模和空间优化等三个地理信息科学的核心议题.在此基础上,引申出空间理论方法背后隐含的空间哲学和空间思维.最后指出了大数据时代地理信息科学发展的机遇与挑战. 大数据时代的空间分析

贵阳大数据交易所发布四份数据管理交易解决方案

日前,贵阳大数据交易所发布<数据源管理办法><数据交易资格审核办法><数据交易规范><数据应用管理办法>四份解决方案,进一步探索大数据交易的规则与方向. <数据源管理办法>对数据源客户的日常管理.数据源接入与销售管理.交易所内部工作执行.职责权限及运营方式等作了进一步明确与规范. <数据交易资格审核办法>规定了申请成为交易所会员必须具备的条件. <数据交易规范>明确了大数据交易所的经营范围,包括大数据资产交易.大数据金融衍

BDTC PPT集萃(三):BAT、IBM、Intel等分享的大数据技术

从2008年60人规模的"Hadoop in China"技术沙龙,到当下数千人规模的行业技术盛宴,七届BDTC(大数据技术大会)完整地见证了中国大数据技术与应用的变革,忠实地描绘了大数据领域内的技术热点,沉淀了无数极具价值的行业实战经验.同时,2014年12月12至14日,第八届中国大数据技术盛会将一如既往的引领当前领域内的技术热点,分享行业实战经验. 为了更好地洞悉行业发展趋势,了解企业技术挑战,在BDTC 2014召开前夕,我们将带大家一起对历届大会沉淀的知识进行挖掘,分享各IT

中国大数据技术大会走向新阶段

摘要: 由中国计算机协会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013) 将于2013年12月5-6日在北京世 由中国计算机协会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5-6日在北

六年亲历,见证中国大数据技术与应用时代的到来

转自:http://www.csdn.net/article/2013-09-30/2817098-big-data-technology-conference-dec 六年亲历,见证中国大数据技术与应用时代的到来 发表于2013-09-30 09:39|8875次阅读| 来源CSDN|34 条评论| 作者郭雪梅 BDTCHBTC大数据Hadoop 摘要:08年至今,六年的时光,伴随技术大会的发展,我们亲历和见证了中国大数据技术与应用时代的到来!第七届中国大数据技术大会(Big Data Tec

大数据价值49式(完整版)

对于企业来说,100条理论确实不如一个成功的标杆有实践意义,本文的主旨就是寻找"正在做"大数据的49个样本. 本文力图从企业运营和管理的角度,梳理出发掘大数据价值的一般规律:一是以数据驱动的决策,主要通过提高预测概率,来提高决策成功率:二是以数据驱动的流程,主要是形成营销闭环战略,提高销售漏斗的转化率:三是以数据驱动的产品,在产品设计阶段,强调个性化:在产品运营阶段,则强调迭代式创新. 上篇 天然大数据公司的各种套餐 从谷歌.亚马逊.Facebook.LinkedIn,到阿里.百度.腾