大视野看银行数据管控

ZDNET至顶网CIO与应用频道 07月14日 综合消息:主题为“新银行 新蓝海”的2014年中国银行业座谈研讨会在青岛召开,文思海辉技术有限公司助理副总裁熊琳介绍了银行如何进行数据管控。

数据管控从银行角度有四层架构:战略、机制、领域、实现。我们一定会觉得企业的战略决定了业务的架构、应用架构、技术架构。所以,数据架构在整个流程里面是处于比较关键位置的。第二层,数据管控方面有组织架构、工作流程跟管理制度。熊琳表示,“很多行做完了数据标准和数据管控之后,实际上并没有成立专门的部门跟人员跟进,就是咨询公司把一堆文档放在那之后,这个行在数据管控领域的工作依然回到了原来的状况。”

文思海辉技术有限公司助理副总裁熊琳

以下为演讲实录:

在大数据环境下,给了我们三个思考:第一,我们通常习惯在数据分析的时候使用样本数据,因为以前数据采集、数据存储跟数据加工的成本比较高,所以我们在做数据分析的时候基本上喜欢用采样数据,这也就造就了统计学的发展,但现在这个成本降低了,比如说我们现在各种各样的穿戴设备,还有模拟数字怎么转换成数字信息,这些将以前不可能获取的信息变成了可获取的数据,采集成本低了,存储成本也低了,-以前银行说建数据仓库,都是针对银行内部自己的数据,而今天由于爬虫及相关技术的发展,我们获取外部数据的成本降低,技术上也可行,,所以我们可以跳出自己内部看外部数据哪些能够为我所用。。

但有人会说我们自己数据都没用好的前提下我们需不需要看外面的数据?我觉得这是辩证的,你一定要两条腿走路,你一方面要把自己的数据用好,也要看外面的数据。尤其是将来利率市场化,利率市场化只是关起门来看资本介入的成本,不去考虑外面同业怎么定价的也不行,所以我们有必要去外面通过爬虫技术,爬各种产品的数据过来。

另外,我们以前更喜欢用的是结构化数据,但我们在银行内部还有大量的非结构化数据,比如呼叫中心的录音,电子银行的点击流,这些都是非结构化数据,那我们如何把它转换成结构化数据,以帮助提升客户的体验?这也是银行要做的。如果做这个的话势必会对数据管控带来新的冲击,因为我们原来是基于银行自己结构化的小数据做的,对于数据管控理论我们也要转型。

第二个需要思考的点是我们以前都讲究精准,我记得很清楚,应该在06、07年,我从银行业到通讯行业去做营销,我对那个大宽表的变量精益求精的的时候,运营商的领导说这个数据用于营销有70、80%的准确度就行了,当时这对我们银行业十几年的从业者根本是不能接受的,银行是少了一分钱都不能关帐的行业,同时银行也是一个重风险的行业,所以准确和容错这两个矛盾的东西我们如何去平衡。今天也有嘉宾说到,我们要容错,所以我们有必要把数据进行分类,比如说如果我做客户营销,所谓的精准营销只是相对以前拍脑袋去做营销要精准一点,但相对风险管控那种精准又是可以容错的。像零售业务可以通过大样本数据修正一些错误的数据,但是对于批发业务,比如像大公司的贷款,对公司类的授信数据,你的精准等级就要定高,这是我们在指导我们做银行数据管控的时候需要注意的一点。

第三点的思考是我们在用大数据结果的时候不要过于注重因果关系的推理,而是要接受关联关系的结论,举个例子,橙汁和阿司匹林在一起对治疗癌症有帮助,这是从大量数据中统计的结果,我们可以直接用这个结果来辅助治疗癌症,但是如果要等因果关系搞清楚,可能需要几十年的研究才能搞明白,同样有个哈姆雷特项目,项目发起人当时发现自己购买机票比别人的价格要高,再问其他的人,还有比他要高的,所以启发他做个应用来预测当前价格是否最低,这个应用就以从网上能够扒下来的4个月的12000个价格样本为依据进行预测,而不是从因果关系去构建相关变量,如果要分析机票价格和季节、节假日等众多变量的关系,可能这个项目要很长时间才能完成,到2012年这个项目已经累计了十万亿条价格纪录来帮助预测,预测的准确度有75%以上,使用Farecast票价预测工具购买机票的旅客,平均每张机票可节省50美元,慢慢随着数据的积累,准确度会越来越高。同样我们在银行做一些流失模型、交叉销售等模型的时候也可以借鉴这个思路。前一阵子我也被莫名其妙拉进了大数据专家群,因为这里有一些互联网界大牛,每天大家都讨论的很热烈,我就问了大家一个问题,大家是否思考过大数据的管控?顿时群里就很寂静了,携程的一位专家就跳出来@我,他说数据管控这套体系只能在一些特殊行业才能运用。还有些人-问,什么叫数据管控?很多专家今天也分享了很多经验,我们在银行业也有自豪的地方,我们沉淀的七八年时间的数据管控也是比较成熟的和先进的,在欣赏互联网行业的同时要能够客观看待自身行业的特点和长处。由于时间有限,所以只能蜻蜓点水的给大家过一下。

数据管控来讲有四层架构:战略、机制、领域、实现。所谓的战略是这样的,我企业的战略决定了业务的架构、应用架构、技术架构。所以,数据架构在整个流程里面是处于比较关键位置的。第二层,我们的数据管控,软的方面有组织架构、工作流程跟管理制度。很多行做完了数据标准和数据管控之后,实际上并没有成立专门的部门跟人员跟进,就是咨询公司在项目结束后把一堆文档交差,这个行在数据管控领域的工作依然回到了原来的状况。所以,一般我们会跟行领导一开始就强调,这个项目做完之后你一定要成立相应的组织架构。做数据管控人员的基本要求还比较高,又要懂业务又要懂技术。第二块,你有了人、有了岗位之后,他们的工作流程是什么。第三个是要有管理制度。

还有一些行领导也比较重视,组织架构也成立好了,流程也划好了,但是没有抓手,没有考核办法,如果没有考核办法各个部门都是以发展业务为主,所以基本上是没有人理你什么数据管控的。在一家股份制银行考核把5分专门给了数据管控,这就是我们说的抓手。

这是我们分的三层,刚才讲的重要的数据架构在这里,然后是数据标准,你老说数据质量好与坏,首先必须要有个标准在那告诉别人,什么叫好的数据、什么叫不好的数据。元数据管理,因为今天的参会者都是科技的多,元数据这块肯定是科技的职责,对系统的变更都能够管理起来。这个数据质量是什么?数据质量管理就是从后端看应用系统质量能不能达到要求。

第四层架构是数据管控的实现,这块一直就是我们强调的理念,数据标准并不仅仅只在中后台落地,而是从原系统开始就要落地,一直贯穿到数据后台应用,只有这样数据管控才能真正实现。因为数据是比较繁杂的,所以我们必须要有管控工具、数据标准管理平台,都是来支撑我们的数据管控工作的工具。

数据管控的组织架构,实际是一直非常非常有争议的,每次我们做这样的数据管控项目的时候,因为这是个比较新的领域,有些行就认为应该是科技承担这部分责任,有些行认为业务承担这部分责任,有的行认为科技、业务都做不了。的确是这样,我们认为每家行要在全行层面有一个由行领导牵头的数据管控委员会,只有这样才能拿到考核管理制度,有了这种支持之后,其实数据管控分两块:有偏业务的、有偏技术的。偏业务主要是牵头业务领域的东西,为什么质量管理也放在业务组呢?因为我们对外的报送,比如对监管,还有对人民银行、上市公司对外的报送,实际都是由业务部门报的,而不是由科技部门报出去的。数据质量管理,在一些行里也是放在偏业务这块。

技术这块的作用也是挺大的,数据架构的管理肯定是在科技这边,安全的管理,这个安全是属于信息密集程度,这个信息是不是可以公布出来给不同角色的人看的。数据标准跟数据质量,科技都是属于配合业务的角色,下面的业务部门都有标准和质量管理,所以数据管控是全行参与类似做业务一样的组织架构,只有这样整个数据管控才能运转起来。

工作流程,这些人已经定了,比如说我的标准的提出,要经过哪个部门去审批,制定这个标准,我们一直强调不是一个部门来制定全行的标准,也分哪个业务标准由哪个部门制定。这是管控委员会跟管办公室的职能,比较细。这张片子可以好好讲一下,大家知道数据管控工作比较烦琐,那我们要尽量把数据管控工作抽项分类,我们把数据产生跟数据应用的流程当中,我们把不同的部门都进行分类,其中有业务的属主部门、系统的属主部门、系统的操作、系统的应用,因为每个角色包括IT部门,造成的数据质量好坏都是相关的,所以我们要进行分类。这里是针对银行所有的系统进行了分类,这是我们的标准制定流程、标准应用流程,这是数据质量,出现了问题我们如何解决问题的流程,其中的颜色也是按照不同的对象在里面所起的作用而分配的。这就是我们所说的,数据质量评分卡,既然我们有考核制度,那我们要有能够说得清楚、说得白的考核办法,这些是一些量化指标。

最后总结一下,我们作为银行,在现在这个大数据的环境,我们一定要用开放的心态去接受大数据给我们带来的冲击,但我们要做一些深度思考。就是说,银行也有我们自己的一些长处和特点,哪些我们可以去尝试,我们必须务实踏踏实实找到一些切入点,否则时间很快就过去了,再好的浪潮跟你也没有任何的关系。另外,数据管控的工作很复杂,很烦琐,但我们一定要抽项归类提炼出来,形成一套可落地的数据管控方法,帮助相关部门去落地。

原文发布时间为:2014年07月14日

时间: 2024-11-02 03:50:38

大视野看银行数据管控的相关文章

金融安全资讯精选 2017年第十八期:4个月内P2P网贷企业信息安全未合规将被取缔,全球100起重大投融资看未来网络安全发展热点,Gartner2017年安全投入以及人员投入占比相关数据

[金融行业安全动态]只剩4个月,P2P网贷企业信息安全未合规将被取缔 概要:12月8日,银监会P2P网络借贷风险专项整治工作领导小组办公室发布<小额贷款公司网络小额贷款业务风险专项整治实施方案>,旨在通过专项整治,严格网络小额贷款资质审批,规范网络小额贷款经营行为,严厉打击和取缔非法经营网络小额贷款的机构.在专项整治进度上,<方案>要求2018年1月底前完成摸底排查,并在3月底前,对排查结果分成合规类.整改类.取缔类三类分类处置.对确认符合资质要求.依法合规开展业务的纳入合规类机构

求大神看下边json数据是不是有问题,万分感谢!!!

问题描述 求大神看下边json数据是不是有问题,万分感谢!!! http://a.yx.minfuzx.com/zhinan/0/1 不要用工具格式化.... 解决方案 你是客户端json类库用还是服务器端反序列用的?客户端json类库多那个逗号除非用IE7-浏览器,其他浏览器多那个逗号也没有问题. 直接replace掉就行, ] } } ==>] } } 如果存在多个,需要用正则 s*,\s*] ==> ] 解决方案二: 最后的"http://m.yxjiakao.com/zhin

c#-用C#将数据库的数据导出,结果生成的txt是空的,求大神看一下代码哪里不对?

问题描述 用C#将数据库的数据导出,结果生成的txt是空的,求大神看一下代码哪里不对? private void button1_Click(object sender, EventArgs e) { FileDialog sfd = new SaveFileDialog(); if (sfd.ShowDialog() == DialogResult.OK) { using (FileStream fstream = File.OpenWrite(sfd.FileName)) { StreamW

2013年大数据系统与关系型数据的共存

本文讲的是2013年大数据系统与关系型数据的共存,大数据在2011年崭露头角,2012年一飞冲天,它可能会以一种戏剧性的方式改变数据管理的很多方面.大数据系统给管理和操纵计算机数据.连续提取.转换和加载功能.运作商业智能.动态大数据以及基于云的数据仓库等等都带来了变化. 不过,随着大数据进入2013年,已经没有什么系统技术能比NoSQL数据库和Hadoop框架更活跃了,看起来这两款产品还有更大的发展空间.根据MarketAnalysis.com 2012年的一份报告看,单单是Hadoop-Map

大型银行数据中心用户安全管理

大型银行数据中心IT治理课题组 随着信息技术日新月异,银行业务高度信息化并稳步迈入大数据时代.数据中心作为银行信息化.大数据的核心基础,其IT系统庞杂,多则上千,涉及用户过万.面对如此规模的系统,如何安全高效的管理成为了普遍性难题.为破解用户管控难题,不少银行采取增加人手.加大投入.购置各类管控工具等措施,但多因管控分散.主客体管理割裂.自动化程度不高等问题,导致各类探索和尝试总体效果收效甚微.合规管控差强人意,屡屡坠入安全陷阱,制约了银行信息技术进一步跨越式发展.据Verizon(威瑞森电信公

树立“大安全”观 银行迎来新安保时代

随着经济金融改革的不断深化, 催生了银行业新的经营理念和管理方式,银行自身经营业态也发生着革命性变化,尤其是互联网技术的延伸,自动存.取业务及无卡业务.线上服务的推广,银行网点更趋轻型化.智能化.面对新常态,其实银行安保的责任更为重大.形势更为复杂.银行完善安保体系,建立大保卫.大安全格局,迫在眉睫. 树立"大安全"观 银行迎来新安保时代 保护金融安稳,银行要树立"大安全"观 众所周知,金融行业因其职能的特殊性.敏感性,直接影响着社会安全与稳定,从货币制造到流通发行

语言求助-输大神看一下我写的宿舍管理系统到底出啥问题了!急,马上要交了!!!

问题描述 输大神看一下我写的宿舍管理系统到底出啥问题了!急,马上要交了!!! 原本只要一个结构体的,但我弄复杂了,求大神帮下忙!这个程序主要是输入时总会得不到正确的链表,我试了好久也没成功,都快崩溃了!简单地用DOS系统运行和其他编程软件运行结果都不同! 学生宿舍管理系统设计 功能:实现简单的学生宿舍基本信息管理,宿舍的基本信息包括楼号.房间号.面积.所容纳人数.已入住人数等,系统以文本菜单形式工作. 基本要求: 实现宿舍基本信息的录入.修改.删除. 实现宿舍信息的浏览.查询 实现安排学生入住.

从 Kaggle 困局,看国内数据竞赛平台如何突围

国内数据竞赛市场,能做好的话,预测一两年就会有繁荣景象. --DataFountain COO 陈娟 要说本月开发者圈子的头等大事,毫无疑问是 Kaggle 被谷歌云收购.作为全世界首屈一指的数据科学.机器学习开发者社区和竞赛平台,Kaggle 不仅开拓了一个全新市场(虽然该市场的当前商业价值有限),还为国内近几年冒出的数据竞赛平台树立了学习.模仿的榜样. 李飞飞宣布谷歌云收购 Kaggle 目前看来,这场收购可谓是皆大欢喜. Kaggle 得到了谷歌云的计算资源.数据资源和业界关系支持,也对投

server-求大神!! jsp访问之后就是介个样子,求大神看一下是我的环境什么地方配置错了

问题描述 求大神!! jsp访问之后就是介个样子,求大神看一下是我的环境什么地方配置错了 HTTP Status 500 - type Exception report message description The server encountered an internal error () that prevented it from fulfilling this request. exception javax.servlet.ServletException: org.hiberna