《Python金融大数据分析》一1.2 金融中的科技

1.2 金融中的科技

现在,我们对Python已经有了大致的认识,回头简短地介绍一下科技在金融中的作用就很有意义了。这将使我们更好地评判Python在金融行业中已经承担的任务,更重要的是,还可以评判未来承担的任务。

在某种意义上,科技对于金融机构(例如与工业企业相比)或者财务部门(与其他企业职能部门相比,如后勤)没有什么特别的作用。然而,近年来,在创新和监管的刺激下,银行和其他金融机构(如对冲基金)越来越多地发展成为技术公司而不仅仅是金融中介机构。科技成为了全球几乎所有金融机构的重要资产,具备导致竞争优势和劣势的潜力。某些背景信息可以解释这种发展的原因。

1.2.1 科技开销

银行和金融机构共同组成了每年在科技上投入最多的行业。因此,下面的陈述不仅说明科技对金融行业的重要性,也说明了金融行业对科技的重要性:

据IDC分析师称,银行在2014年的科技投入比2013年多4.2%。这位分析师说,全球金融服务的总体IT花费在2014年将超过4300亿美元,2020年将会超过5000亿美元。

——Crosman 2013

当今的大型跨国银行通常雇佣数千名开发人员,以维护现有系统、构建新系统。具有大量科技需求的大型投资银行每年的科技预算往往达到数十亿美元。

1.2.2 作为业务引擎的科技
科技发展对金融行业的创新和效率增进也有贡献:

科技创新已经为更高效的衍生品市场做出了显著的贡献。通过交易技术的创新,尽管交易量和商品报价数量猛增,欧洲期货交易所(Eurex)的交易速度仍然远快于10年前…这些显著改进只有在衍生品交易所和票据交换所不断地在IT上投入巨额资金的情况下才可能实现。

——德意志交易所集团2008

效率提高的副作用之一就是,金融机构往往必须在更为复杂的产品或者交易中寻求竞争优势。这当然会使风险增大,并使风险管理和监控、监管越来越困难。2007年和2008年的金融危机说明了这些发展带来的潜在危险。同样,“算法和计算机失控”也给金融市场带来潜在的风险;2010年5月的所谓“闪电崩盘”事件戏剧性地展现了上述风险,自动化卖出导致某些股票和股票指数在当日大幅度下跌(http://en.wikipedia.org/wiki/2010_Flash_Crash)。

1.2.3 作为进入门槛的科技和人才
一方面,在其他条件不变的情况下,随着时间的推移,科技的进步会降低成本。另一方面,金融机构持续在科技上投入巨资,以增大市场份额、保持自身地位。在今天的金融市场上取得一席之地往往需要在科技和熟练人员上大规模投资。考虑衍生品分析领域的一个例子(也可参见本书第3部分的案例研究):

在整个软件生命期中,采用内部OTC[衍生品]定价策略的公司仅在一个完整的衍生品库的构建、维护和改进上就需要投入2500~3600万美元。

——Ding 2010

构建一个完善的衍生品分析库不仅成本高昂和费时,而且需要有足够的专业人士来进行这项工作。这些专业人士必须有正确的工具和技术,才能完成他们的任务。

我们以下引用的另一段有关美国长期资本管理公司(LTCM)的陈述进一步支持关于科技和人才的观点,LTCM曾是最受尊敬的计量对冲基金,但是在20世纪90年代末破产:

Meriwether在最新型计算机系统上花费了2000万美元,并雇用一个由一流金融工程师组成的团队在LTCM操纵该系统,他们在康涅狄格州的格林威治开始工作。这是行业级别的风险管理。

——Patterson 2010

Meriwether花费数百万美元才能得到的计算能力在今天可能只需要几千美元就能实现。另一方面,大型金融机构的交易、定价和风险管理已经变得非常复杂,以致于现在必须部署具有数万个计算核心的IT基础架构。

1.2.4 不断提高的速度、频率、数据量

金融行业有一个方面最受科技进步的影响:金融交易决策和执行的速度及频率。Lewis最近的著作(2014)生动而详细地描述了所谓的“闪电交易”——也就是以可能的最高速度进行的交易。

一方面,可用数据的尺度越来越小使实时反应成为必需的能力。另一方面,交易的速度和频率的提高使数据量进一步增大。这两方面相互补充,推动了金融交易平均时间标度的系统性下降:

复兴资本公司的“大奖章”基金在2008年获得了80%的惊人增长率,它以闪电般速度的计算机抓住了市场极端活跃的机会。Jim Simons是当年世界盈利最高的对冲基金管理人,收入达到25亿美元。

——Patterson 2010

单只股票30年的每日股价数据大致包含7500个报价。这类数据是大部分现代金融理论的基础。例如,现代投资组合理论(MPT)、资本定价模型(CAPM)和风险价值(VaR)等理论都以每日股价数据为基础。

相比之下,苹果公司(AAPL)典型交易日报价次数大约为15000——两倍于30年间日终报价的数量。这带来了许多挑战。

数据处理

考虑和处理股票日终报价或者其他金融计量是不够的;在每周的7天、每天的24个小时内,某些计量措施上发生的事情“太多了”。

分析速度

决策往往必须在几毫秒甚至更短的时间内作出,有必要构建个别分析能力,实时分析大量数据。

理论基础

虽然传统金融理论和概念远称不上完美,但是它们经受了时间的考验(有些时候受到排斥);对于毫秒级计量能力很重要的今天,仍然缺乏在很长时间内证明是稳定的一致性概念和理论。

原则上,上述挑战都只能由现代科技应对。令人有些惊讶的是,缺乏一致性理论的问题也常常通过技术方法处理,在这种情况下,高速算法利用的是市场微观结构要素(例如,订单流、买卖价差),而不依赖于某种金融推理方法。

1.2.5 实时分析的兴起

金融行业中有一个学科的重要性正在强劲增长:金融和数据分析。这种现象与行业中速度、频率和数据率飞速增长有紧密的关系。实际上,实时分析可以视为该行业对这种趋势的反应。

粗略地讲,“金融和数据分析”指的是应用软件和科技,与(可能是先进的)算法和数据收集、处理及分析方法相结合,以获得深刻理解、作出决策或者满足监管需求的学科。这类分析的例子包括银行零售部门中某个金融产品定价结构的变化对销售情况影响的估算。另一个例子是投资银行衍生品复杂投资组合信用价值调整(CVA)的大规模隔夜计算。

金融机构在这种环境下面对两种主要挑战。

大数据

甚至在“大数据”这一术语出现之前,银行和其他金融机构就必须处理海量数据;然而,单一分析任务所处理的数据量随着时间的推移而有了很大的增长,要求计算能力的提高和更大的内存与存储能力。

实时经济

过去,决策者只能依赖结构化的定期计划、决策和(风险)管理过程,而今天面对的是实时完成这些任务的需求;过去在后台通过隔夜批量运行可以完成的任务,现在已经转向前台实时执行。

同样,人们可以观察到科技和金融/商业方法发展之间的相互作用。一方面,有通过现代科技的应用不断改进分析方法速度和能力的需求。另一方面,科技方面的进步使几年甚至几个月之前认为不可能(或者由于预算约束而不可行)的新分析方法成为可能。

分析领域的一个重要趋势是利用CPU(中央处理单元)的并行结构和GPGPU(通用图形处理单元)的大规模并行结构。现在的GPGPU往往有超过1000个计算核心,有时候有必要彻底反思并行性对不同算法的意义。用户通常必须学习新的范型和技术才能利用这种硬件的能力[3],仍是这方面的障碍之一。

时间: 2024-11-03 20:59:59

《Python金融大数据分析》一1.2 金融中的科技的相关文章

《Python金融大数据分析》一第1部分 Python与金融

第1部分 Python与金融 Python金融大数据分析 本部分介绍Python的金融学应用,包括3章. 第1章简短地讨论Python的总体情况,证明Python确实适合于处理金融行业和财务(数据)分析中遇到的技术难题. 第2章介绍Python基础架构和工具,目的是简洁地概述用Python开始交互式分析和应用程序开发所需要了解的最重要知识:相关的附录A纵览一些精选的Python开发最佳方法. 第3章立即进入3个具体的金融实例:说明如何用Python计算期权的隐含波动率.如何用Python和数组库

《Python金融大数据分析》一第2章 基础架构和工具

第2章 基础架构和工具 Python金融大数据分析基础架构比体系结构还要重要得多. --Rem Koolhaas 你可能会说基础架构不是一切,但是没有基础架构,什么东西都可能毫无意义--在现实世界或者技术中都是如此.那么,我们所说的基础架构是指什么呢?理论上,它是使简单Python脚本或者更复杂的Python应用程序得以执行的硬件和软件组件. 但是,本章并不打算详细介绍硬件基础架构,因为所有Python代码和示例应该可以在几乎所有硬件上执行[1].我们在此也不打算讨论不同的操作系统,因为Pyth

《Python金融大数据分析》一导读

前 言 Python金融大数据分析不久以前,在金融行业,Python作为一种编程语言和平台技术还被视为异端.相比之下,2014年有许多大型金融机构--如美国银行.美林证券的"石英"项目或者摩根大通的"雅典娜"项目--战略性地使用了Python和其他既定的技术,构建.改进和维护其核心IT系统.众多大大小小的对冲基金也大量使用Python的功能,进行高效的金融应用程序开发和金融分析工作. 同样,当今许多金融工程硕士课程(或者授予类似学位的课程)也使用Python作为核心

《Hadoop金融大数据分析》读书笔记

<Hadoop金融大数据分析> Hadoop for Finance Essentials 使用Hadoop,是因为数据量大数据量如此之多,以至于无法用传统的数据处理工具和应用来处理的数据称主大数据 3V定义:即"大量Volume,多样Variety,高速Velocity是与大数据相关的三个属性或维度.大量指的是数据的量很大,多样指的是数据的类型很多,高速指的是数据处理的速度很快 对于一家处理GB级数据的小公司来说,TB级的数据可能被认为是大数据,对于处理TB级数据的大公司来说,PB

《Python金融大数据分析》一1.3 用于金融的Python

1.3 用于金融的Python 前一小节介绍了科技在金融中发挥作用的一些领域: 金融行业中的科技成本: 作为新业务和创新业务引擎的科技: 作为金融行业进入门槛的科技: 不断提升的速度.频率和数据量: 实时分析的兴起. 本节,我们分析Python如何帮助你应对这些方面的多种挑战.不过首先让我从更为基础的方面--语言和语法--介绍用于金融的Python. 1.3.1 金融和Python语法 在金融环境中迈出使用Python第一步的大部分人都可能要攻克某个算法问题.这和想要解出微分方程.求取积分或者可

《Python金融大数据分析》一1.5 延伸阅读

1.5 延伸阅读 下面两本书介绍Python在金融中的应用: Fletcher, Shayne and Christopher Gardner (2009): Financial Modelling in Python.John Wiley & Sons, Chichester, England. Hilpisch, Yves (2015): Derivatives Analytics with Python. Wiley Finance, Chichester, England. http:/

《Python金融大数据分析》一2.2 结语

2.2 结语 如果你是初学者.临时Python开发人员或者来自不同编程背景的专业人士,Python的入门一般相当简单,只需要几个简单的步骤.首先,应该安装合适的Python分发版本(如Anaconda),以获得一致的Python环境,也可以简化定期更新的过程. 有了Anaconda之类的分发版本,就拥有了交互式实践数据和金融分析所需的最重要工具(例如IPython),或者以更传统的实现-测试-调试风格开发更大应用程序的工具(例如Spyder).当然,可以加入自己喜欢的编辑器,这些编辑器可能已经包

《Python金融大数据分析》一2.3 延伸阅读

2.3 延伸阅读 下面的网络资源有助于本章介绍的主题. Anaconda文档--http://docs.continuum.io/anaconda/ conda文档--http://conda.pydata.org/docs/ IPython文档--http://ipython.org/ipython-doc/stable/ IPython Notebook使用的Markdown语言--http://daringfireball.net/projects/markdown/有关Spyder的信息

《Spark与Hadoop大数据分析》——导读

前 言 本书讲解了Apache Spark和Hadoop的基础知识,以及如何通过简单的方式将它们与最常用的工具和技术集成在一起.所有Spark组件(Spark Core.Spark SQL.DataFrame.Dataset.Conventional Streaming.Structured Streaming.MLlib.GraphX和Hadoop核心组件).HDFS.MapReduce和Yarn 都在 Spark + Hadoop 集群的实现示例中进行了深入的探讨. 大数据分析行业正在从 M