【BDTC先睹为快】廖晓格:让大数据更实时和可视化

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办的  2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办,CCF大数据专家委员会承办,南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开,并与技术大会共享主题报告。

本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者,深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展,NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势,OpenStack生态系统对于大数据计算需求的思考,以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用,分享实际生产系统中的技术特色和实践经验。

携程资深软件工程师廖晓格将在“大数据技术”分论坛带来“让大数据更实时和可视化”的演讲。大数据不仅是数据规模大,而且最好能实时查看和分析。 实时和可视化拉近了大数据与普通用户的距离,更加贴近业务需要。携程在大数据实时和可视化方面做了不少努力,实现了以下目标,廖晓格将在演讲中分享携程在其中的经验和技术:

通过hbase、storm、spark、yarn等hadoop生态圈整合公司应用(dashboard、clog、ubt、BI),让数据更加实时,更加可视化; 实时查看整个公司各种指标的变化; 实时收集、查看全网站所有日志; 实时统计用户行为数据(PV,性能,转化率等); 实时反爬虫; 快速执行adhoc查询。

廖晓格,携程资深软件工程师

有6年Hadoop相关应用开发经验,先后在PPTV,eBay,携程参与开发过相应大数据平台相关应用,目前在携程Data Infrastructure team负责大数据平台的运维和开发工作。

CSDN:你所在的公司,都曾使用过哪些大数据技术?你对这些技术满意的地方和不满意的地方分别有什么?

廖晓格:我们公司比较重视大数据技术,我们主要使用的技术是Hadoop生态环境的各种开源框架,storm,spark等。满意的地方是他们都是开源的,所以遇到问题的时候总会找到解决方案,而且社区也很活跃, 能够获得很多帮助。同时也会遇到很多bug,需要对使用的框架很了解,才能很好的使用它,幸亏我们有很强大的运维和开发团队支持,不断优化,不断解决问题。

CSDN:根据你的了解,目前类似的企业中,在数据方面,遇到的最大困难是什么?

廖晓格:据我了解,每个公司都有很多数据,每天T级或P级的数据,但是大部分都是搞技术的不懂业务,搞业务的不懂技术,这样就不会很快很有效率的利用数据来帮助业务,所以让大数据可视化很重要,业务人员可以很方便的获取他们想要的数据,可以省去很多沟通的成本。

CSDN:在大数据领域,目前还有哪些技术是你正在观察和研究的,为什么你看好这些技术?

廖晓格:Storm,Streaming流式计算和Spark是我现在正在观察和研究的,互联网的竞争压力很大,所以很多东西要快,谁比较快就占领了优势,大数据也一样,数据早点出来,业务就可以早点做决策。我们也是不断改进,不断往这个目标前进。

CSDN:请谈谈你在这次大会上即将分享的话题。

廖晓格:我分享的是Make big data visualizable and real-time,让大数据更加实时和可视化,携程每天上T的数据都是实时从网站,手机等各种应用端流到服务端,如果没有可视化,根本不知道用户发生什么行为,哪个产品用户更加喜欢。如果计算很慢,我们将会不能给用户很好的反馈,不能及时发现和解决各种应用端遇到的各种问题,这样就不能给用户很好的体验,将会流失大量的用户。我们目标在第一时间为用户提供最优的服务。

CSDN:哪些听众最应该了解这些话题?你所分享的主题可以帮助听众解决哪些问题?

廖晓格:对大数据实时和可视化感兴趣的都可以参加一起讨论。

全国大数据创新项目评选活动目前正在如火如荼进行中,详情点击这里。

2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将于2014年12月12日-14日在北京新云南皇冠假日酒店召开。传承自2008年,历经七届沉淀,“中国大数据技术大会”是目前国内最具影响、规模最大的大数据领域技术盛会。本届会议,你不仅可以了解到Apache Hadoop提交者Uma Maheswara Rao G(兼项目管理委员会成员)、Yi Liu,以及Apache Hadoop和Tez项目管理委员会成员Bikas Saha等分享的通用大数据开源项目的最新成果和发展趋势,还将斩获来自腾讯、阿里、Cloudera、LinkedIn、网易等机构的数十场干货分享。 当下门票团购还有些许优惠, 预购从速。

免费订阅“CSDN大数据”微信公众号,实时了解最新的大数据进展!

CSDN大数据,专注大数据资讯、技术和经验的分享和讨论,提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点,大数据技术,大数据平台,大数据实践,大数据产业资讯等服务。

时间: 2024-09-20 08:42:16

【BDTC先睹为快】廖晓格:让大数据更实时和可视化的相关文章

【BDTC先睹为快】胡炜:大数据存储时间换空间的交易

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办的  2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014) 将在北京新云南皇冠假日酒店拉开帷幕.大会为期三天,以推进行业应用中的大数据技术发展为主旨,拟设立"大数据基础设施"."大数据生态系统"."大数据技术"."大数据应用"."大

大数据搜索与挖掘:知著-见微-晓意【大数据100分】

感谢各位朋友的莅临,随着以微博.Twitter与Facebook等为代表的新型社交网络的迅猛发展,大数据已经成为了新一轮的科技革命,是信息技术发展的新趋势,对国家的经济与社会已经逐步产生重大影响.今天我的演讲包括四个部分:我对大数据的定义与理解:大数据应对之道:知著-见微-晓意:大数据搜索与挖掘的研究:大数据搜索与挖掘的实践案例分享. 第一部分:我对大数据的定义与理解 我们先从棱镜计划的手机监控来看大数据: 我们知道,利用我们手机周边的三个基站基本可以定位出我们所在的位置.利用手机位置,美国NS

如何让“大数据”更好为企业运营服务?

天再一次塌下来了.这一次是"大数据"让IT部门如临大敌.正如街谈巷议的传闻一样,不管你走到哪里,关于"大数据"的讨论无处不在.在Google搜索这个词组,搜索结果超过13亿条.它甚至在维基百科拥有专门的条目.数据泛滥导致很多人得出结论:企业将不堪重负.这并不是说企业内部的信息量不会增长.相反地,企业内部信息量也难逃增长的命运.因为,大数据一直是个难题. 尽管不断有人声称,数据洪流将导致厄运来临,但IT行业却始终能够通过改进计算基础架构,使它们速度更快.容量更大.价格

企业可以通过互联网和大数据更便捷更精准地采集到用户需求

沸腾的事业,冷静的支持:空调要象奥克斯:健康空调奥克斯:变频真功夫,我选奥克斯:好变频,一度到天明--这些铿锵有力,极富意义的奥克斯Slogan代表了不同阶段奥克斯空调的产品特性和品牌内涵.现如今,空调市场气象万千,互联网思维"浸淫"空调业,空调智能化物联网化渐成趋势.新阶段新形势新市场条件下,您是如何定位奥克斯空调的?您对奥克斯空调又有哪些新期许?一字千金,奉上您为奥克斯私人定制的Slogan,来一展才华吧.奥克斯空调Slogan征集海报一字千金 奥克斯空调Slogan诚意征集一句话

软件业2013十大预言:大数据更注重数据分析

大数据.云计算.社交网络和移动计算是眼下推动IT业发展的几大趋势.这些大趋势在2012年造就了很多的新闻故事,在2013年还将会驱动众多的IT厂商和解决方案提供商进入快速发展的软件市场,以便维持其竞争优势. 微软能利用Windows 8在移动计算领域夺得一片天地吗?戴尔和惠普还会继续收购软件公司以扩张它们的产品线吗?当一些旧的技术如关系数据库逐渐衰落时,HTML5之类的新技术会赢得业界的接受吗? 让我们来看看2013年,软件行业将会发生哪些故事吧. 有效管理BYOD的工具将成主要增长点 据For

大数据之父舍恩伯格:大数据的核心要义在于共享

8月25日,2016IEBE(上海)国际电子商务博览会暨互联网+科创应用展"智享生态联接未来"高峰论坛在上海举行.大数据之父舍恩伯格出席了本次论坛,他与参会者探讨了大数据时代电子商务未来的发展趋势.他表示:"电子商务是更高效的交易,让两个交易方进行更高效的撮合.大数据给我们最核心的好处是让我们再回到买方和卖方的场景,帮助我们修正对世界的认识." 他同时还提到了大数据时代的一个问题:当数据和数据分析本身被我们进行分析的时候,有的时候,时间成本会更高.此时我们应该怎么办

广州尔码CEO喻晓马:大数据未来发展的四大趋势

移动化.多屏化的数字营销发展趋势,让企业对消费者行为轨迹的捕捉愈加困难.因而,当承载海量用户信息并且可以深度挖掘.进行系统化总结的大数据浪潮出现,立刻引起了业界人士和企业的广泛关注.如今,随着大型传感器.数码设备的日益增长,大数据革命所波及的范围也愈加广泛.针对当前的互联网大环境,资深网络营销专家.广州尔码文化传播有限公司CEO喻晓马提出了大数据未来发展的四大趋势,并且明确表示"如何从海量数据中挖掘出可以有效利用的部分,并且用于品牌营销,才是企业制胜的法宝." 作为国内互联网营销行业权

IBM沈晓卫:大数据时代的中国机遇

近日,IBM中国研究院院长沈晓卫日前接受新华社记者专访时说,大数据是未来信息技术变革的重要方向之一,中国面临前所未有的机遇,同时大数据将为推动中国经济转型发挥重要作用. 沈晓卫在美国宾夕法尼亚州匹兹堡参加第二届卡内基-梅隆大学中美创新创业峰会期间接受记者采访时说,过去50年来,信息技术推动了整个人类社会和生活方式的变革,而且大约每隔15年至20年信息技术就有一次重大突破.而自上世纪90年代互联网变革以来已有20年时间,他认为,大数据将是信息技术下一次重大突破的重要方向之一. 沈晓卫说,大数据主要

范晓忻:大数据产业生态已经初步形成

在博鳌亚洲论坛"财经-金电联行主题午餐会--金融·大数据产业革命"上,金电联行(北京)信息技术有限公司董事长兼总裁,中国中小企业协会副会长范晓忻表示,大数据的发展已经进入快车道,"已经不像前两年还处在起步阶段,其实还有非常大的成长空间,但是整个产业生态已经初步形成". 范晓忻指出,东部发达地区把大数据更多用于跟传统产业的结合,帮助这个产业找到自身的问题,实现转型升级,而在中西部地区,则更关注大数据的基础设施建设,希望把大数据当成一个独立的产业发展拉动当地的经济.&q