纽交所的“大数据”之旅

纽交所作为世界上最大的股票交易所,它面临了一系列的大数据挑战:

处理输入文件数达到4400个;记录多达145+不同类型的交易记录(或事件);总的交易量是21亿;输出文件总数600000,输出记录总数为51亿。

此外每个ETL人物都涉及加工、转化、浓缩和验证DBK交易证券,要同时满足300位分析师的即时数据分析需求,最重要的是要保障成功率为99.999%。

在这样的大数据挑战下,纽交所需要找到一个合适的数据仓库,来帮助各部门实现与股票相关的各类交易要求。所以纽交所分析决定上马一个大数据系统来解决这些问题。分析过市场上众多与大数据相关的数据仓库产品后,纽交所选择了Netezza。

敲定了实施系统后,接下来就是选择实施伙伴了,Gemini Systems成立于1987年,是全球领先的IT咨询公司。公司致力于为全球客户提供业务分析、基础架构设计、应用开发、系统整合、运营支持和维护等全面技术解决方案。

Gemini Systems与Netezza的合作由来已久,此次的合作也变得顺理成章,因为Gemini十分擅长整合资源,帮助客户实施系统设计、整合和应用开发等项目。

Gemini Systems(香港)有限公司CEO梁本仁(Simon Leung)先生

Gemini Systems(香港)有限公司CEO梁本仁(Simon Leung)先生表示,Netezza与纽交所的合作关系已经持续多年,一些部门,比如交易所的监管体系,市场数据部门,公司负责超过90%以上应用程序的开发。特别是市场的监管,有非常多的应用需要用到公司的产品。

仅仅三个月之后,Gemini 就成功把Netezza系统交付实施。在这三个月里,Gemini迁移了26TB的数据,并且开始将一些应用放在Netezza上实施。客户在使用了这个系统后,对它有很好的反馈,包括:简单性、实施的快速以及和纽交所路线图的匹配。当然,这个系统的实施成功也与纽交所本身密不可分。他们是一家超过200年的公司,在数据处理方面有十分丰富的经验,不同业务线虽然面临巨大的数据挑战,但是在Gemini与IBM Netezza的帮助下,很快解决了处理数据的工作。

具体来说,梁本仁表示,纽交所的不同部门,包括金融、市场、数据,合规性的部门,他们的平台都是在用Netezza,总共有14个Netezza系统在整个纽交所为他们服务,而这些系统其实是在不同的地区,比如在纽约、芝加哥、伦敦都有系统。

纽交所主要是用了Netezza强大的分析功能帮他们解决不断出现的新问题,因为他们要不断推出新的产品到市场上,包括二级市场上的新的产品。

IBM软件集团大中华区Netezza销售总监肖冰

纽交所仅仅是Netezza的众多客户之一,IBM软件集团大中华区Netezza销售总监肖冰表示Netezza作为最早的数据仓库一体机,在进入中国两年后有很强的势头。在大数据时代,其高性能、低成本、易操作、可扩展和快速部署等技术优势成为多个行业的首选。肖冰表示,Netezza特别适合金融、制造、零售等行业……在纽交所的例子中,客户从Oracle平台的迁移也验证了Netezza能够高度符合其对于大数据的需求。

除了Gemini丰富的实施经验,IBM强大的技术实力,神州数码也加入到了Netezza在国内的推广战队,神州数码作为Netezza在国内的合作伙伴,在中国将会发挥渠道的资源优势,为现在的用户带来Netezza的解决方案。神州数码在全国一共有接近40家的DEMO中心,完全是用的IBM产品的DEMO中心接近20家,合作之后我们也把Netezza成功装在了DEMO中心里面,现在第一代已经正式运行完毕。这样会和我们的合作伙伴、客户,他们通过远程或者现场和技术人员交流,可以更直观地感受到Netezza的性能,可以感受到Netezza的运行速度,包括操控性,可能会有更直观的感受。

神州数码系统技术集团STG IBM软件事业部总经理王炜

据神州数码系统技术集团STG IBM软件事业部总经理王炜介绍,2012到2014年,神州数码和IBM将从四个方面来加强合作和投入。第一方面是人员,打造和提升Netezza软件销售团队;第二方面是区域、行业拓展,同合作伙伴一起来打造Netezza的进一步发展空间;第三方面是加大市场投入,让更多人了解和知道Netezza;第四方面是在技术人员和销售人员方面进行配比,根据业务的发展进行更深的投入,最终把Netezza做得更好。

以上三者的强强联合,相信Netezza在中国的生态系统会更具生命力,也会让中国用户更快、更好的接触到Netezza的大数据之能。

时间: 2024-07-31 02:02:02

纽交所的“大数据”之旅的相关文章

Hadoop的关键:小处开始大数据之旅

作为大数据技术的典范,Hadoop一直为采用大数据的企业祝福并诅咒着.Hadoop功能强大,却非常复杂,这使得很多企业都宁愿等待更容易的东西问世,再推出大数据项目. 等待已经结束.Hadoop在稳步前进,来自诸如Hortonworks和Cloudera等厂商显着的 易用性增强,使得Hadoop的学习曲线已经减少了一半.企业正越来越多拥抱大数据和Hadoop,目的是从基本的ETL工作负载迁移到先进的数据分析. 但更多人不知道的是,企业使用Hadoop处理大数据的诀窍, 其实就是从小处着手. 采用H

以务实的态度启动大数据之旅 充分利用仓库中的大数据

互联网巨头 Google 和 Facebook 相继通过管理和分析大数据实现了巨额价值,这也促使首席信息官们不禁发问,新兴技术能否在自身企业内创造辉煌成果.行业分析师预计大数据将以飞快的速度增长,这也在一定程度上鼓励了这种想法.Wikibon 预计,到 2015 年大数据市场将由 2012 年的 50 亿美元直线跃升超过 300 亿美元,到 2017 年更将高达 534 亿美元(您可以在此处查看免费报告).IDC 则较为保守,他们预计到 2015 年大数据市场将达 169 亿美元.许多 IBM

华尔街宫斗戏升温:银行巨头和纽交所争夺交易数据所有权

   "-- 华尔街上的几家"巨头"正试图阻挠纽约证券交易所(下称纽交所)进一步控制交易市场的数据.这场华尔街"数据大争夺"的宫斗戏背后,也正凸显了大数据在当今金融市场中日益增长的重要性. --" 知情人士表示,摩根大通.花旗.高盛和电子交易商Virtu Financial,KCG Holdings Inc都在关注纽交所的动向.. Virtu公开表示了对纽交所举动的反对,其它公司都不愿公开表态. 争议焦点 谁该拥有交易活动的数据 ▼ 争议围绕关于

华中数交所开启“大数据高校行”活动

4月14日下午两点,华中大数据交易所在武汉轻工大学开启"大数据高校行"活动,华中数交所执行总裁卜昌虎作了题为<大数据时代的精准广告>的专题报告,就如何精准的找到目标用户.优化广告投放策略.提高广告产出作了阐述. 据卜昌虎介绍,活动将开展大数据产业人才培养,帮助大学生在大数据时代掌握更具有竞争力的数据技能和数据思维:通过大数据沙龙.校园公开课.人才实训.大数据创业辅导等丰富多样的形式,联合国内外知名互联网企业,共同为大学生提供名企就业.学习交流机会,促进大学生创新创业. 华中

采用Hadoop的关键 小处开始大数据之旅

作为大数据技术的典范,Hadoop一直为采用大数据的企业祝福并诅咒着.Hadoop功能强大,却非常复杂,这使得很多企业都宁愿等待更容易的东西问世,再推出大数据项目. 等待已经结束.Hadoop在稳步前进,来自诸如Hortonworks和Cloudera等厂商显着的 易用性增强,使得Hadoop的学习曲线已经减少了一半.企业正越来越多拥抱大数据和Hadoop,目的是从基本的ETL工作负载迁移到先进的数据分析. 但更多人不知道的是,企业使用Hadoop处理大数据的诀窍, 其实就是从小处着手. 小?这

百度高级副总裁王劲:一朵花的大数据之旅

百度正在传统的搜索技术之外,利用"大数据+云计算"打造另一个驱动公司发展的新引擎--百度高级副总裁王劲接受21世纪经济报道记者采访时如是说. 百度大脑是"云计算+大数据"的载体:其由硬件和软件两部分组成,硬件部分是由云计算中心和服务器组成,软件部分是由大数据和人工智能算法组成.无论百度推荐引擎.BaiduEye,还是百度面对商家的直达号,均依赖百度大脑作为技术基础,是一切前端应用的backoffice. 王劲认为,百度的核心竞争力在于人工智能和大数据的结合.可能的场

新华三重磅发布大数据产品,打造大数据产业与生态体系

近日,紫光旗下新华三集团(以下简称新华三)在郑州举办了大数据产品发布会.在这场题为"数据引擎的力量"的发布会上,新华三向与会嘉宾详细汇总了在大数据领域的创新与成果,同时对新华三大数据发展战略作了进一步解读,并正式发布了包含8大引擎在内的新华三大数据产品DataEngine.此次活动是新华三郑州大数据公司成立以来第一次整体亮相,也吹响了新华三加速进军大数据领域的"号角". 新华三集团总裁兼首席执行官于英涛现场致词指出,公司致力于打造大数据产业与生态体系 大数据是新华三

2012年数据库与大数据领域回顾与展望

本文讲的是2012年数据库与大数据领域回顾与展望,2012注定是不平凡的一年,玛雅人将世界末日定在这一年的12月21日,然而这一天也许并不意味着结束,而是重生.正如2012对于大数据的意义一样,经过一年的历练,IT业界将在2013年迎来大数据元年. 一.2012年度回顾:大数据蓄势待发迎接元年 (一)2012年大数据呈现新特征 大数据不是刚刚出现的概念,"大数据"最早可以追溯到Apache的开源项目Nutch,当时大数据用来描述更新网络搜索索引所需批量处理或分析的大量数据集.随着谷歌M

做大数据不能蜻蜓点水

摘要:从大数据兴起后,我们听到了很多关于大数据的故事,但是好像永远也就那几个.电子商务领域的成功案例,都是与搜索.推荐和精准营销相关,我们希望听到的更多. "我现在脑海里大概有20多个idea,就是利用大数据分析去解决各种各样的业务问题."在回答ZDNet记者关于数据分析如何支撑业务的问题时,去哪儿网机票事业部数据营销高级经理吴君如此回答到. 关于大数据在电子商务领域的应用场景,我们听到最多的就是那个少女怀孕的故事.这些案例更多地是围绕电子商务企业如何利用大数据分析做好推荐.搜索,做精