星环大数据助银行数据仓库全面升级

文章讲的是星环大数据助银行数据仓库全面升级,去年九月,银监会发布了39号文,中心思想要求银行信息技术“安全可控”。它要求2015年起,各银行业金融机构对安全可控信息技术的应用以不低于15%的比例逐年增加,直至2019年达到不低于75%的总体占比。虽然没有明确指出,但是“安全可控”的要求显然对国产IT产品更有利。事实上,39号文提出的指导方向,包括“优先选择愿意在核心知识和关键技术领域进行合作的机构,避免对单一产品或技术的依赖,”“有序推进整体架构自主设计、核心应用自主研发、核心知识自主掌握、关键技术自主应用”也证实了银监会的态度——鼓励银行使用国产技术,国外厂商要在银行有一席之地则必须要愿意分享核心技术。

  现阶段,我国银行的IT系统高度依赖“IOE”(以IBM为代表的小型机,以Oracle为代表的数据库软件、以EMC为代表的高端存储)等国外厂商。39号文的发布让大家认为银行业的信息技术立刻就要掀起国产化的大浪,但是今年四月,银监会宣布了暂缓39号文新规的决定。这个决定并不出乎意料。首先,国外IT厂商不会对39号文新规无动于衷。事实上,包括美国商会在内的多个国外商业团体向我国政府提出了抗议,声称新规违反了WTO承诺,干涉了商业机构的采购活动。然而,对39号文新规的阻力还来自于我国银行业本身。众所周知,银行业对IT系统的可靠性和稳定性要求极高,系统故障常常意味着直接的金钱损失。所以,银行对IT产品的故障抱着“零容忍”的态度。我国的信息技术因为起步晚,确实和国外还存在着差距,尤其在操作系统和数据库这样的基础软件领域。同时,我国的银行业正在高速发展,不断地推出新产品新服务,还要应对互联网金融等各种变化,更需要稳定可靠的IT系统作为业务的保障。银行愿意使用经过长期验证的“IOE”配备情有可原。在政策上要求银行冒业务风险选用在先进性、可靠性、稳定性以及成熟度方面还和国外有差距的自主产品是不现实的,选用什么样的产品还需要银行依据业务情况自己来决定。

  如此看来,我国的IT厂商似乎短期内无法得到银行业的青睐。然而,大数据时代的到来改变了这一格局。随着网上银行、手机银行的发展和银行新业务、新产品、新用户的增多,银行的数据量出现了爆发。数据分析的规模和复杂度都超过了传统数据库的处理能力,本应该提供坚实后盾的“IOE”配备在海量数据面前渐渐显得力不从心。一天一次的常规“跑批”(批量数据计算)正在花费越来越多的时间,面临着无法在当天完成的可能。为了解决这样的问题,银行需要对数据处理系统进行升级。以“IOE”为代表的架构采用纵向扩展(提升单机性能)的策略来升级,单机性能不可能无限提高,这样的策略有着显而易见的瓶颈。而银行的数据量每天都在增长,对系统不断的升级是必然的。可以预见的是,在高性能端,数据处理系统的升级将越来越困难,同等资金换来的性能将越来越少。在这样的情形下,银行需要采用完全不同的数据处理技术。近年来得到长足发展的大数据技术就是为了体量巨大且不断增长的数据而生的,而大数据技术就是国内IT厂商的机会。计算机技术发展时,我国远远落在国外之后,这个差距在互联网发展时已经得到了大大缩短。今天,在大数据时代的开端,我国已经有了不输国外的经济土壤、政策环境和人才储备,国外的技术不再有不可望其项背的优势。事实上,我国已经有了性能比肩甚至超越硅谷同行的大数据产品。

  日前,某全国性股份制商业银行便面临着将数据仓库业务从传统数据库迁移到大数据平台的任务。在大数据平台的选择上,该银行进行了多方考量。该银行的首要目标是解决现有数据库处理能力不足的问题。所以,采购的大数据平台必须有极强的数据处理能力,它需要能够轻松应对涉及超宽表(宽度在几万字节)、多张表(多达几十张)的关联和聚合,需要能够快速地完成银行每天TB级别数据量的分析。第二,该银行原先使用Oracle数据库,所以业务逻辑由SQL和和Oracle的过程语言PL/SQL写就,这也是银行的分析人员最熟悉的数据分析语言。所以,大数据平台需要提供SQL和PL/SQL的支持,以便银行将分析业务直接迁移到新的平台运行,否则,银行将需要对业务进行大量改写,银行员工也需要重新学习和适应,迁移成本过高。第三,大数据平台需要良好的扩展性。银行的数据还在快速增长中,可预见的是,银行需要对数据处理系统进行进一步的扩容和处理能力的升级。银行要求采购的大数据平台的存储和计算能力能够方便地扩展,为未来更大的数据量做好准备。该银行对市场上常见的大数据数据仓库产品的可用性、架构优势和平台依赖性三个方面就银行的数据仓库场景——数据量在TB级别的分析场景——进行了调研。可用性的内容包括对SQL和PL/SQL的支持以及是否有界面化的运维工具。架构优势的内容包括产品的扩展性、性能和容错性。平台依赖性描述该产品是否必须在特殊的硬件设备上运行。

  调研中,银行发现,主流大数据数据仓库各有其优势和劣势,不依赖平台(可以部署在通用商业服务器上)的产品可用性和架构优势往往较低。而可用性高而架构优势明显的产品往往对平台依赖较高,必须使用自有的小型机或者一体机,直接导致硬件成本高昂。经过多方调研和全面测试,银行选择了具有综合优势的Transwarp Inceptor,它是上海星环科技开发的Transwarp Data Hub(TDH)分布式一站式大数据处理平台下的交互式内存分析引擎,具有高可用性和明显的架构优势,同时不依赖特殊平台,可以直接部署在商用服务器上。产品虽然年轻,但是在交通、物流、电信、能源等行业已经有很多落地案例,经过了大量的验证,加上在测试中稳定而出色的表现,打消了该银行对国产IT产品可靠性、稳定性方面的担忧。

  星环科技为银行提供的解决方案如下图所示:

  1. 使用TDH下的交互式SQL分析引擎Transwarp Inceptor支持银行的数据仓库业务。Transwarp Inceptor全面支持SQL2003,且支持80%的PL/SQL语法,经测试,Transwarp Inceptor 100%支持该银行数据仓库业务,银行的数据分析任务不需要经过改写便可轻松迁移至TDH平台。

  2. Transwarp Inceptor采用分布式内存计算方式,将涉及海量数据的复杂任务分割成小任务交给多台机器同时处理,加快计算速度。同时,Transwarp Inceptor将计算中间结果放在内存中,利用内存的高速随机读写进一步提升计算速度。TDH平台处理银行的数据仓库业务相对于银行原系统速度有了十几倍的提高,使银行可以轻松完成每天的分析任务。

  3. 不同于传统数据库的纵向扩展策略,TDH采用向计算集群添加服务器的方式来横向扩展处理能力,这样的策略保证投入和处理能力的提升是线性关系——多少投入就带来多少提升。横向扩展的策略让TDH的扩展性极佳,可以无限提升存储和计算能力。

  锦上添花的是TDH计算集群无须超高性能的服务器,经济的通用服务器便可以用于搭建TDH集群,使得TDH解决方案具有极高的性价比。而且TDH配备的JDBC接口完美对接上层报表系统,银行的数据分析人员只需按照以往的工作习惯继续使用上层应用,无需重新适应新的系统。下面是一张贷款销售分析截图:

  该银行在业务中对一家国内厂商产品的选择无疑是对国产信息技术的鼓励,更值得一提的是这个选择并不是政策要求的,而是基于业务的需求和产品的先进性做出的。几年前,国产的个人IT产品还仅仅是“廉价低质量”的代名词。现在,联想、小米、华为等品牌不仅被国人青睐,还在世界范围内广受欢迎。这些品牌的成功不在于政策的扶持,而是真正做出了客户需要的产品。在企业级的IT产品上,国产厂商和国外厂商虽然还有一定差距,但是在技术不断革新的今天,这个差距在不断缩短。相信我国会有越来越多的企业级IT厂商做出客户需要的优秀产品,跻身世界一流的行列。

作者:崔月

来源:IT168

原文链接:星环大数据助银行数据仓库全面升级

时间: 2024-12-03 14:09:28

星环大数据助银行数据仓库全面升级的相关文章

周昆平:大数据提高银行风险控制能力

随着大数据技术的发展,银行获取此类信息的成本极小,数据收集的维度.广度和时点得到了扩展,可对客户的交易信息和行为轨迹进行实时的监测,此时得到的结果因依靠庞大数据的支撑,其质量和可信度大大增强. 周昆平:大数据提高银行风险控制能力 周昆平:大数据提高银行风险控制能力 伴随着互联网和大数据的快速发展,互联网和传统行业的融合开始加速,在互联网浪潮下,传统行业重新找到了发展的新方向.互联网与传统银行业可以融合发展,即形成新型的"互联网+"模式,该模式的本质在于将互联网技术(大数据处理.云计算)

工商银行:大数据激发银行活力

近些年,互联网和信息化技术正在重构着各行各业,银行由于客户交易模式发生变化,营业厅逐步向互联网在线交易转变,因此大数据技术快速涌现和发展.前不久,中国工商银行上海研究中心副总经理王晓平在华为2014年云计算大会上,分享了工商银行是如何利用大数据,从原先以产品为中心.客户被动接受向以客户为中心.主动精准营销的转型. 王晓平介绍说,信息化的发展使金融行业的数据处理能力受到巨大挑战,不仅客户交易频次增加,使得历史数据.非结构化和半结构化数据越来越多,而且数据平台从以往传统交易系统中账户交易明细,向更多

大数据助推中医传承发展

"为了有效解决影响群众健康的诸多问题,既需要医疗服务'小处方',也需要健康养生这个'大处方',深入挖掘养生资源,创造绿色养生环境,构建全链条养生体系,推进健康养生产业快速发展."安徽省副省长刘莉说. 日前,在安徽省合肥市召开的第八届世界养生大会上.专家认为,中医大数据将在加强中医药传承.突显中医诊疗规律.助推中医药健康产业发展中发挥更大的作用.在大数据时代下,中医药也应与时俱进,积极"拥抱"大数据. 大数据让中医传承更完整 "如果老中医的诊疗过程能数字化,

淘宝大数据助警方查获网售假鞋案,涉案金额2150余万元

淘宝大数据助警方查获网售假鞋案,涉案金额2150余万元12月17日消息,淘宝公布,自身的大数据帮助上海.福建.浙江.湖南等地公安机关,运用大数据查获一起网售假冒运动鞋案件,涉案总价值2150余万元.今年4月,上海市公安局奉贤分局经侦支队在侦办"褚某等人销售假冒"耐克"品牌运动鞋案"中发现,犯罪嫌疑人褚某,赵某利用淘宝等网络平台销售 假货.阿里巴巴集团网络信息安全部专家通过大数据分析后发现,嫌疑人账户曾多次从福建莆田人张某处,大量购入假冒"乔丹"品

淘宝大数据助警方查获网售假鞋案涉案金额2150余万元

淘宝大数据助警方查获网售假鞋案 涉案金额2150余万元12月17日消息,淘宝公布,自身的大数据帮助上海.福建.浙江.湖南等地公安机关,运用大数据查获一起网售假冒运动鞋案件,涉案总价值2150余万元.今年4月,上海市公安局奉贤分局经侦支队在侦办褚某等人销售假冒耐克品牌运动鞋案中发现,犯罪嫌疑人褚某,赵某利用淘宝等网络平台销售 假货.阿里巴巴集团网络信息安全部专家通过大数据分析后发现,嫌疑人账户曾多次从福建莆田人张某处,大量购入假冒乔丹品牌运动鞋,并大量销售至福建.北京.上海.浙江.湖南等地.警方和

大数据在银行的七个应用实例

Hadoop is present in nearly every vertical today that isleveraging big data in order to analyze information and gain competitiveadvantages. Many financial organizations firms are already using Hadoopsolutions successfully and the ones who are not hav

陕西师范大学:“资助大数据”助推“精准扶贫”

陕西师范大学立足大学生资助工作实际,围绕"资助与育人相结合"的工作思路和"受助思源.获奖思进.传递爱心.回报社会"的育人理念,借助"互联网+资助"工作手段,依托"资助大数据"助推"精准扶贫",不断丰富资助工作内涵,成效显著. --汇集大数据,趋势尽呈现.学校发布<陕西师范大学2015年度本科生资助发展报告>(以下简称<报告>),<报告>以点带面,通过分析各类数据达到整合全

阿里腾讯各推虚拟信用卡 将大数据纳入银行信贷

互联网与传统金融互相融合,催生出新的跨界移动互联网金融产品.昨天,阿里巴巴和腾讯同时宣布,将分别推出"虚拟信用卡",其中支付宝联合中信银行推出的网络信用卡服务下周就将在支付宝钱包内亮相,而腾讯与中信银行.众安在线合作推出的"微信信用卡"也已进入内测阶段. 这两张信用卡的共同点在于都摆脱了实体卡束缚,首次将互联网大数据纳入银行信贷产品,且实时在线发行,大大降低成本. 一分钟完成在线审批 据了解,支付宝与中信银行合作的网络信用卡对应的是中信银行"异度支付信用卡

国家旅游局信宏业:大数据助推旅游产业走向成熟

国家旅游局信息中心副主任信宏业:大数据助推旅游产业走向成熟 昨天,国家旅游局信息中心副主任信宏业在数博会"2016大数据时代智慧旅游发展论坛"上发表主旨演讲.他认为,旅游与大数据的融合既是形势所迫,更是产业所需,大数据重塑了旅游产业的模式. 信宏业说,旅游业为什么如此青睐大数据?第一点就是旅游产业发展的规模,2015年中国旅游产业国内旅游的人次是41亿人次,中国旅游产业已经成为全球排名第二的国家,尤其是最近十年,旅游已经从食衣补缺成为国民经济不可替代的力量.在国内,有1万多家星级酒店,