文章讲的是DTCC 谢军:大数据时代的智能金融服务,2016年5月12日-14日,第七届中国数据库技术大会(DTCC 2016)在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴,在为期三天的会议中,大会将围绕MySQL、NoSQL、Oracle、缓存技术、云端数据库、智能数据平台、大数据安全、数据治理、大数据和开源、大数据创业、大数据深度学习等领域的前瞻性热点话题与技术展开深入探讨,并邀请一大批国内顶尖的技术专家来进行分享,以满足广大从业人士和行业用户的迫切需要。
上海雅捷信息副总经理谢军为观众们带来了《大数据时代的智能金融服务》的精彩演讲。他在本次分享中主要阐述了当今大数据生态下智能金融如何展开,上海雅捷在这之中又开展了怎样的工作,为智能金融服务做出了哪些贡献。
从Hadoop看大数据10年
大数据发展的这十年,让谢军产生了一些感悟,而在每年美国圣何塞召开的Hadoop world大会上,让谢军增加了很多思考。
谢军在大会上发现,近年来的展览会越来越趋向娱乐化,而重要的数据库领袖企业黯然谢幕,各互联网大企业却悉数缺席。这些现象让他产生了一些思考:为什么互联网大佬企业悉数缺席?丰富多彩的报告说明了什么?灌木生态可持久吗?企业如何木秀于林?
他认为,大数据的基本技术体系已经建立,应用时代到来革命也已经阶段完成,在大数据时代应该建立新的数据文化:开源、廉价、去中心、分享。
“技术等待着一场革命——HPC;应用也期待着另外一场革命——AI”,谢军还说道,“我认为不要再去纠缠新老体系架构、工具平台等的使用,提高应用水平应该要成为很多企业的核心任务。”
零售银行的故事:GPU提速
那在大数据时代,大数据可以为金融业做什么?以零售银行为例,谢军介绍了他所在的上海雅捷主要所做的工作。
银行的数据量处理一直是金融业的痛处。银行业务处理的数据不仅包括了数千万客户的资料、账户信息以及交易记录,还包括了银行内部的市场信息、团队业绩以及销售记录等。
那建立数据仓库是否是个好方法?过去20年,IBM, Oracle and Teradata 一致为教育客户构建数据仓库,但是数据仓库建立后,数据更多了,应用还是从报表到报表,但是报表只能提供宏观状态,无法指导客户经理营销和完成任务。
对于银行业也是一样的。在数据仓库数据查询速度慢,更不论更复杂的数据分析。传统IT架构支撑应付报表,在大数据环境下无法应对实时随机查询,而实时客户行为分析更是无法实现的。此外,成本高也是客户的一大难点。
上海雅捷为银行客户提供了一个好方法:利用大数据进行GPU提速。GPU可以在机器间、机器内部的GPU之间以及GPU内部的计算单元之间进行三级并行,GPU内部众多的计算单元可快速的进行线程切换,能非常快速地进行本地内存访问。
此外,GPU运用了标准SQL,将GPU集群管理和调度扩展到Hadoop集群、关系数据库集群和R集群上,结合大规模并行技术重构数据库引擎,实现数据库缓存缓冲结构优化。
具体应用来说,能为银行客户提供优选规则服务、安全服务、数据视图服务、客户定位服务、查询服务、信息维护服务等,成本减少了10%,但速度却提升了400-1000倍。
谢军最后表示,雅捷的金融产品全部基于大数据基础,在大数据时代,希望为传统金融行业提供更多的支撑。
作者:宁飞虹
来源:IT168
原文链接:DTCC 谢军:大数据时代的智能金融服务