大数据技术论坛(下):大数据时代的掘金术

【CSDN现场报道】2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。

用友软件高级工程师 白小勇

2014中国大数据技术大会第二日上午的大数据技术论坛,用友软件高级工程师白小勇主持了下午的论坛。前通联数据首席战略官龙白滔、VMware高级产品线经理董波、亚信科技大数据事业部数据资产管理部门产品总监高伟、阿里巴巴数据平台事业部ODPS技术专家徐冬、携程资深软件工程师廖晓格、品友互动数据架构师廖海仁六位专家主要就大数据技术的相关问题展开了演讲。

前通联数据首席战略官 龙白滔

前通联数据首席战略官龙白滔,带来了名为“金融投资大数据实践分享”的主题演讲。龙白滔从金融大数据和传统大数据的区别;金融数据的生产过程;金融大数据的存储;金融大数据的分析和挖掘;分析在线交互式金融编程分析研究平台五个方面对金融大数据实践进行分享。

金融大数据和消费互联网大数据的区别体现在以下几个方面:

研究对象:消费互联网大数据比较偏重研究个体的行为体征,而金融大数据大数据比较偏重研究群体行为和趋势;数据相关性:消费互联网大数据与个体强相关的数据比较容易获得(例如浏览器cookie),数据噪音小,金融大数据与群体行为强相关的数据比较难获得,数据噪音大;算法复杂度:消费互联网大数据因为数据质量高,所以算法可以相对较简单,而金融大数据因为数据噪音大,因此对算法要求很高;数据容量:相比消费互联网大数据,金融大数据的数据量更大,互联网大数据+ 金融专门的大数据(例如行情数据、行业数据、分析师报告等);数据类型:消费互联网大数据有多种结构化和非结构化数据,而金融大数据的数据类型更多,互联网的数据类型+ 金融特别的数据类型,例如时间序列数据;数据速度:消费互联网大数据一般数据处理速度要求不高,而金融大数据对数据处理速度要求比较高,例如量化交易、动态风险定价、反信用卡欺诈、实时新闻分析和处理等;

其中,他表示时间序列数据是未来最重要的数据类型,所以掌握时间序列数据的存储、处理以及关键算法是十分重要的。比如KDB是传统金融机构的标配,Cassandra在国外的物联网和能源领域已经得到了比较成功的应用。随后,龙白滔还介绍了如何把结构化、标准化数据形成有意义的金融行业数据。龙白滔还提到相比国外,国内对前言技术的掌握和应用还差得比较远。

VMware高级产品线经理 董波

VMware高级产品线经理董波,向大家分享了“VMware为大数据应用铺平道路 ”主题演讲。企业对大数据的应用通常要经历三个阶段:概念验证阶段,快速低成本的验证大数据技术带来的价值;生产应用阶段,满足应用SLA,满足系统扩容需求;以及Hadoop即服务阶段,快速敏捷高效的满足各个业务的差异化需求。

vSphere Big Data Extension能够帮你快速简便部署,让你全力关注业务,并且BDE可与第三方管理工具无缝集成。vRealizeOperations Manager,能够实现系统全面监控,智能自动分析管理,基于预测主动运维。vSpherevMotion能够消除计划或非计划宕机时间,检测失效自动恢复。

董波在演讲中还提到,运用Hadoop集群管理平台,可平衡处理企业中各部门集群使用需求。他说,当多个部门需求Hadoop集群服务,并且需求各不相同时,需要建设自助服务平台来解决此类问题。VMware推出的VCAC产品,可弹性伸缩处理各部门的集群使用需求,并且减少IT管理人员处理压力。

亚信科技大数据事业部数据资产管理部门产品总监 高伟

亚信科技大数据事业部数据资产管理部门产品总监高伟,与现场参会者分享了主题为“数据资产管理——大数据时代的掘金术 ”。数据资产管理是企业或组织采取的各种管理活动,用以保证数据资产的安全完整,合理配置和有效利用,从而提高带来的经济效益,保障和促进各项事业发展。高伟表示尽管“数据是资产”概念已经广为人知,但“如何管理数据资产”仍然缺少成熟理论以及工具手段,存在市场空白。

传统数据管理方式不适合数据资产管理要求,亚信提倡建立一体化全流程的数据资产管理体系,具有以下关键特性:完善的数据治理与管控,高效的数据资产应用,以及创新的数据资产运营。最后,高伟总结道,数据资产管理已达到与CRM相同的高度,并呼吁数据资产管理技术人员,要考虑如何将技术与业务及商业相结合。

阿里巴巴数据平台事业部ODPS技术专家 徐冬

阿里巴巴数据平台事业部ODPS技术专家徐冬,分享了主题为“ODPS MapReduce 对外开放实践 ”。演讲中,徐冬主要谈到ODPS(Open Data Process System)在阿里云巴巴的使用情况;在ODPS上搭建LOT模型;MapReduce实现过程;MapReduce API介绍以及MapReduce API开放用户实践。ODPS作为阿里大规模数据处理的底层平台,每日提交数十万计任务,底层是跨数据中心的超大规模集群,支持多种编程模型、范式。

其中,徐冬提到MapReduce API在两个方面进行了调整,包括:取消对MapReduce自定义类型支持、希望将MapReduce API做成类似Hadoop。最后,他表示MapReduce作为开放服务,明年年初将会对用户开放。

携程资深软件工程师 廖晓格

携程资深软件工程师廖晓格,分享了主题为“让大数据更实时和可视化”。廖晓格主要介绍了携程大数据平台架构,HBase在携程的应用,携程产品的生态介绍,以及未来的挑战。

携程每天的日志量40T,总条数上千亿条,每天用户行为数据30T,并且业务数据飞速增长,所有数据都需要及时反馈给用户,应用或监控。携程大数据平台架构与Hadoop生态环境类似,底层使用HDFS,上面是调度系统,并且通过MapReduce、Spark做离线数据分析,Storm和HBase做在线数据分析。其中HBase是按业务划分,底层构建HBase门禁系统。携程还构建了一套Mobile监控系统和UBT(User Behavior Tracking)系统,用来跟踪用户行为和用户流量,并形成直观的可视化图像。

品友互动数据架构师 廖海仁

品友互动数据架构师廖海仁,带来了名为“DSP 基于数据的实时竞价优化”的主题演讲。首先,他首先介绍DSP优化中的五个特征:

DSP跟其他AdNetwork/Serach大不相同,它作为封闭系统,永远与其他DSP去竞争;对于DSP而言,广告主可能有非常多样化的KPI,结算方式也是多样化,广告主KPI可能是CTR、CPC、CPA、ROL/CPNC等;在投放的过程中,对Budget consumption的预估更严格;要准确预估CTR/CVR;点击和
曝光不平衡;

随后,廖海仁重点介绍DSP优化过程中重要问题:第一,Ranking,搜索广告,每个广告有不同的KPI;第二,sample Selection bias,解决问题前需要进行CTR预估;第三,mobile optimization,mobile优化与PC有很大的差别,需要单独解决。

更多精彩内容,请关注直播专题2014中国大数据技术大会(BDTC) ,新浪微博@CSDN云计算,订阅CSDN大数据微信号。

时间: 2024-11-19 18:56:28

大数据技术论坛(下):大数据时代的掘金术的相关文章

大数据技术论坛(上):Spark、Hadoop技术成主角

[CSDN现场报道]2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的2014中国大数据技术大会(Big Data Tec就hnologyConference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕. 2014中国大数据技术大会第二日上午大数据技术论坛上,百度大数据部副总监薛正华和中国移动集团公司业务支撑系统部项目经理何鸿凌共同主持了

大数据技术中计算与数据的协作机制

大数据技术中计算与数据的协作机制 王鹏 黄焱 刘峰 安俊秀 大数据系统也被称为面向数据的高性能计算系统, 与传统高性能计算系统相似, 其计算和数据存储通常也是基于机群实现的分布式系统.以计算与数据的协作机制为主线分析对比了面向计算的高性能计算和面向数据的高性能计算, 指出正是计算与数据的协作机制决定着大数据系统的基本结构和性能.分布式文件系统与计算通过协助机制的融合是大数据系统实现自动并行化的基础.与面向计算的高性能计算系统不同, 大数据系统以切分数据并将计算向数据迁移作为协作机制的主要原则,

专访携程李亚锋:大数据技术融合下的Spark更具魅力

大数据"作为当下最火热的IT行业词汇,在主流的数据处理工具当中Hadoop和Spark都被大家所熟悉.不过,目前基于内存计算的Spark适合各种迭代算法和交互式数据分析,能够提升大数据处理的实时性和准确性,已经逐渐获得很多企业的支持.这是否意味着我们应该彻底抛弃Hadoop?在前不久的北京Spark亚太峰会上 ,记者有机会专访到携程大数据平台高级经理李亚锋,为大家分享如何通过Spark与Hadoop大数据技术间的融合,实现优势互补,引导企业发现用户的潜在需求. 李亚锋,携程大数据平台高级经理,负

大数据搜索论坛:大搜索成关注焦点

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕. 本次大会历时三天,以更加国际化的视野,帮助与会者了解海内外大数据技术的发展趋势:从技术与实践角度出发,探讨"大数据生态系统"."大数据

西咸新区大数据高峰论坛共话大数据产业趋势

ZDNet至顶网软件频道消息: 为抢抓大数据产业发展机遇,促进陕西省电子信息产业发展,推进"数据沣西,智慧西咸,云储中国,物联世界"发展目标的实现,迎接大数据全面应用时代的到来,由陕西省西咸新区管委会主办,沣西新城管委会承办,赛迪顾问股份有限公司.陕西省信息化工程研究院.西安未来国际信息股份有限公司.西安美林数据技术股份有限公司协办的"2014年西咸新区大数据高峰论坛"于11月10日在陕西省西安市陕西宾馆召开.论坛以"聚焦大数据产业发展,共拥信息价值新未来

引领大数据技术创新 加快大数据产业聚集

在近日公布的全市2015年度绩效目标考核中,高新区斩获开发区类一等奖,在各大开发区中排名第一. "这得益于近年来市委.市政府坚持围绕创新做文章,确立大数据这一主导产业,先人一步.棋高一筹,帮我们摆脱了'路径依赖',找准了发展方向.发展路子."高新区党工委副书记.管委会主任黄昌祥说,高新区将以此为新的起点,抓住大数据这个核心,引领大数据技术创新,加快大数据产业聚集,全力打造创新型中心城市示范区. 走好"先手棋"发展新业态 前不久,朗玛信息技术股份有限公司披露,从201

只谈数据技术,不谈数据应用正确吗?

 企业使用大数据的普遍困境 中国的大数据建设发展真的很快. 前两年在和一些企业交流时,很多企业还在关注的是有哪些技术和厂商可以帮助自身做好大数据的整体架构.而近些日子中发现,越来越多的企业已经建立好了大数据平台或数据仓库及BI系统,而他们现在提的最多的一个问题是: "大数据基础建设投入不小,系统也上了,也做了不少报表和展示页面.但是业务部门和领导没觉得有什么用,没觉得大数据和传统报表有什么区别,也没觉得对业务有什么帮助和价值.现在感觉之前建好的系统越来越荒废了." 经过广泛的交流,我们

2014 中国大数据技术大会将于12月中旬隆重召开

2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所与CSDN共同协办的" 2014中国大数据技术大会"(Big Data Technology Conference 2014,BDTC 2014)将在北京新云南皇冠假日酒店隆重举办. 传承自2008年,历经七届沉淀,"中国大数据技术大会"是目前国内最具影响.规模最大的大数据领域技术盛会,为大数据领域的实践分享.成果展示.行业探讨.技术布道做出重要贡献.

与主流同行,参加2014中国大数据技术大会的十大理由(议题攻略)

从2008年仅60人参加的技术沙龙到当下的数千人技术盛宴,作为业内极具实战价值的专业交流平台,已经成功举办七届的中国大数据技术大会忠实地描绘了大数据领域内的技术热点,沉淀了行业实战经验,见证了整个大数据生态圈技术的发展与演变. 12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所与CSDN共同协办的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)将在北京新云南皇冠假日酒店如