互联网+时代，证券行业制定大数据战略迫切而适时。一方面，近年来大数据被提升到国家发展战略层面，政府提供资金及政策支持，鼓励企业在大数据方面的发展和转型，大数据技术体系发展逐渐成熟。基于开源和商业技术共同形成的大数据技术体系已经在互联网行业应用多年，推出的稳定软件版本及云服务能够支持后来者落地实施大数据战略。另一方面，得益于部分互联网行业龙头在大数据方面的探索和推动，具备大数据项目经验的人才培养体系逐渐建立，形成了大数据发展的良好土壤。同时，经过多年的发展积累，大数据资源已经越来越丰富，国内外领先企业为大数据应用也提供了很多极具价值的应用场景，这些典型案例可以为证券行业转型提供较好的学习标杆。
同时，证券行业竞争压力也与日俱增，证券公司转型刻不容缓，已经基本具备了大数据技术应用的条件。
首先，证券公司的业务转型为大数据技术提供大量的应用场景。证券公司在零售业务转型财富管理过程中，对客户的个性化、综合化的服务要求产生了对大数据技术的应用需求；在深耕机构业务的过程中，来自与机构客户相关的产品创设、销售以及投资管理等需求也将与大数据技术产生重要联系；其次，多维度的数据源为大数据技术应用提供重要的分析基础。证券公司不仅能获取来自互联网新闻等非结构性文本类数据，而且可以快速积累来自外部的交易数据，以及内部的客户行为数据；最后，基于大数据的深度学习算法在自然语言处理、语音语义识别、图像识别等领域的突破，以及TensorFlow等各类算法开源平台的发布，为大数据技术提供有力的算法保障；GPU/TPU等芯片技术的飞跃发展、5G等新一代通信技术的日趋成熟，为大数据技术应用提供有力的物理保障。总体而言，随着大数据时代来临，证券行业具备了全面应用大数据技术的条件，大数据技术将助推证券公司业务的成功转型，持续发展大数据技术的证券公司将引领行业的未来。
大数据技术在证券行业的应用探讨
大数据技术助力证券行业的转型和发展可以体现在三个方面：第一，推动证券公司日常经营活动中的数据化运营，利用大数据提升证券公司各业务线以及中后台职能部门日常工作中各个环节的运营效率；第二，利用大数据技术推动证券公司业务的智能化应用，并从中挖掘新的业务形态与业务机会；第三，基于大数据及相关技术建立一套更加有效科学的管控工具，保障证券公司各项业务经营风险可控，确保坚守合规底线。
1.零售业务：深化数字化运营，推动业务智能化转型
零售业务是证券公司最重要的基础业务，合理运用大数据技术，实现零售业务的数字化运营，提高客户服务的效率及质量尤为重要。证券公司能够服务多少客户、管理多大的团队、经营多少营业网点，与其对大数据应用的能力息息相关。证券公司可以运用大数据技术推动“去中心化”的分布式管理。在这套管理体系下，不仅可以采用数字化的工具为一线员工提供精良的装备，驱动员工自我发现问题与改变战法；还可以借助制度与技术的力量，实现整个生态系统的自我纠偏和完善。以广发证券的分布式管理体系为例，“金钥匙”是基础任务分发平台，公司的各大互联网终端负责收集客户的需求，经过金钥匙平台的算法分析后分派到全国各地的7000名理财顾问，并按照服务响应时间、客户满意度以及业务转化率对业务进行管理和优化。同时，根据公司内多平台数据资源，广发证券自主开发的“经营驾驶舱”，可提取其中与业务经营最相关的信息，根据各级管理人员和员工的需求为其提供不同侧重点的数据支持，高层管理人员着重对全局的把握以便及时调配资源，中层管理人员围绕KPI完成与系统内排名变动及时调整经营策略，基层人员则重点关注管辖客户、资产与个人绩效钱包。通过大数据技术的应用，公司不仅有效提升各级管理的运营效率，而且大幅提升客户的服务质量。目前，产品同质化也困扰着整个证券行业，证券公司更需对客户进行深入分析和细分管理，通过精准营销为其推送合适的产品服务。而精准营销的核心在于对用户进行画像描绘，而大数据技术的应用能够帮助证券公司更好地做到这一点。通过提取客户投资交易等核心数据，分析其投资习惯、品种偏好以及风险承受能力等深度信息，进而有针对性地对其展开产品营销活动，从而提高营销成功率。
与此同时，智能投顾成为财富管理新蓝海，也是近年证券公司应用大数据技术匹配客户多样化需求的新尝试之一。该业务提供线上的投资顾问服务，能够基于客户的风险偏好、交易行为等个性化数据，采用量化模型，为客户提供低门槛、低费率的个性化财富管理方案。
智能投顾在客户资料收集分析、投资方案的制定、执行以及后续的维护等步骤上均采用智能系统自动化完成，且具有低门槛、低费率等特点，因此能够为更多的零售客户提供定制化服务。随着线上投顾服务的成熟以及未来更多基于大数据技术的智能投资策略的应用，智能投顾有望从广度和深度上都将证券行业带入财富管理的全新阶段，为未来政策放宽证券公司投资顾问从前端佣金收费向后端的管理费收取模式转变进行探索准备。
近几年智能投顾业务在国内外均取得快速发展，截至2016年末，境外领先的金融机构先锋及嘉信的智能投顾业务已经分别管理了数百亿美元的规模。国内近一年来，部分机构在该业务领域也开始起步，广发证券的“贝塔牛”以及招商银行的“摩羯智投”均为所属行业的代表产品。虽然目前国内该业务的用户体量尚无法与美国市场相比较，但国内财富管理领域存在较大的需求，同时证券公司在客户的数据储备以及互联网技术应用上也具有较大优势，因此未来有望借助大数据技术大力发展该业务，实现传统经纪业务往财富管理的成功转型。
2.资产管理业务：借力大数据，开辟产品创设与投资管理新思路
互联网时代，信息的多样化与扁平化，新闻等互联网文本挖掘类数据对市场的影响日渐紧密，基于互联网文本数据与传统交易数据、财务数据相结合进行投资的金融产品也得到投资者的普遍认可。应用大数据技术，结合传统量化投资模型，推出大数据基金产品是对传统资产管理产品的有力补充，为投资者提供新的选择。2014年底，广发基金与百度合作，综合了百度客户的搜索数据及广发基金自己搭建的选股因子数据库，推出了备受市场关注的百发100指数基金。近两年，相继又有多家公募基金与不同互联网企业合作推出了数十只大数据主题基金，大数据在产品创新中的应用已经得到实现。未来随着大数据技术的更加成熟，更多数量、更深层的大数据主题产品将有望陆续面市。
与此同时，随着深度学习等人工智能技术的日趋成熟，基于大数据以及人工智能算法的量化投资策略逐渐兴起。通过基于自然语言处理技术（NLP），从网络文本中获取数据，基于深度学习等机器学习算法对获取的各类数据进行分析预测，建立财经新闻、公司公告等文本事件与相关资产在金融市场中的表现的关联，迅速判断市场中出现的各类机会。这类基于大数据技术与人工智能算法的投资策略不仅拓宽了信息获取源，提升了信息的分析深度与广度，而且与传统投资策略表现相关性低，是对传统策略的有力补充。
2012年，英国对冲基金CAYMANATLANTIC公司发行了一只量化对冲基金，通过Twitter、Google以及其他媒体平台上的投资者情绪大数据进行分析，得到对市场各类资产的预测结果并依次进行投资决策，并取得不错的业绩。
2017年1月，境外资产管理公司贝莱德宣布，将公司原来专注于“基本面”主动研究以及专注于“大数据”的量化研究两个团队合并成一个大部门。贝莱德此举表明，随着资本市场数据规模的提升以及大数据技术的逐渐成熟，投资将更多依赖于大数据分析结果进行辅助决策。可以说，投资管理已成为大数据技术的下一个目标。
3.研究业务：提升工作效率，打造智能化投研新模式
随着互联网及大数据技术的迅速发展，目前证券公司所提供的卖方研究服务中，部分低效的人工统计工作将被以大数据技术为核心的量化研究所取代。包括上市公司调研、数据分析等重复性统计分析工作将率先受到冲击。RSMetrics是一家总部位于芝加哥的卫星情报分析公司，通过高分辨率卫星影像，对零售店、餐馆、商场、办公楼和其他商业地产的停车场进行监控，可以估计出它们在全国范围内或者某一地区的客流量增长情况，帮助分析师了解公司基本面，预测销售量，预估企业运营状况。这类借助于卫星遥感大数据技术手段，相比于传统的分析师实地调研能够大幅提升工作效率与准确度。
可以预期的是，随着大数据技术应用成本的降低，这类替代分析师人工调研的手段将得到普遍应用。不过，大数据技术的应用不只是提升分析师的调研效率，或许也将诞生新的服务与盈利模式，推动传统研究销售业务往线上智能化发展。诞生于硅谷的Kensho为大数据技术在研究领域的成功应用提供了非常好的范本。Kensho公司成立于2013年，专注于通过机器学习及云算法搜集和分析数据，把长达几天时间的传统投资分析周期缩短到几分钟，能够分析海量数据对资本市场各类资产的影响，并回答复杂的金融问题。它能取代部分人类知识密集型的分析工作，提供快速化、规模化、自动化的分析结果。
4.应用大数据技术提升中后台工作效率
证券市场日益丰富的投资品种以及不断扩充的成交规模，使得交易、清算及风险管理等中后台业务所需应对的数据规模也快速扩张，引入相关技术应对大数据可以大幅提升工作效率。在交易领域，运用大数据技术搭建算法交易平台能够支持批量、高效地完成各种复杂交易指令，降低交易误差。提升客户使用体验的同时，也能够为客户提供对数据进行深度挖掘所带来更丰富的投资机会。在结算领域，随着营业网点的扩张以及交易品种的增加，交易数据的规模与复杂程度大幅提升。大数据技术的应用能够为结算工作提供更快的响应速度以及更准确的匹配结果，从而确保结算业务高效、安全地运作。
芝加哥商品交易所（ChicagoMercantileExchange）每天产生约1100万份合约，存储了100TB的数据，且仍在每日不断增长。交易所需要每天为内部团队提供复杂的数据分析报告，为了提升报告的及时性，CME采用了Oracle公司的EXADATA的解决方案，用结构化的RDBMS，减少每次批量处理过程的时间。同时CME采用了Hadoop数据处理平台，通过并行查询方法来提升数据处理性能，并且减少成本开支。在风险管理领域，日益增加的交易品种与客户数量，为证券公司实时测算、监控以及管理各类市场风险、合规风险提出了更高的要求，大数据技术在这个领域也能充分发挥作用。广发证券的“风险数据集市项目”利用大数据技术整合公司各条业务线的风险相关数据、第三方市场数据、交易对手数据、关联人数据、监管披露数据，形成相对完善的风险数据集市，在强大的计算力支撑下实现全面准确实时的监控及预测各种风险指标，强化各条业务线的风险管理能力。
证券行业驾驭大数据技术仍须克服重重困难
目前，大数据技术在证券行业中的应用与推广还处于起步阶段，趋势虽不可阻挡，但同时也面临诸多困难与挑战，当前亟须解决的核心问题主要有以下几方面。
一是海量数据分散存储，整合难度大。海量数据的管理对任何一个行业都是极具挑战性的难题。证券行业数据量增长快速且数据结构复杂，每天都有大量的新旧数据需要迭代处理。此外由于业务多元化的特点，证券公司的大数据往往分散于相互独立的各个业务部门，无法进行畅通共享导致大数据处于严重的切割和分散状态，同样的问题在行业内不同公司之间也存在。同时，证券行业部分数据涉及用户的安全与隐私，在运用大数据技术进行分析的过程中要避免数据的泄露，同时也要保护客户的隐私数据不受侵犯，这对证券公司的大数据安全技术以及对合规及风险管理能力提出了更高的挑战。因此，如何在政策允许的范围内实现内部海量数据的有效整合以及与外部机构数据的共享，是大数据技术应用推广过程中须解决的首要问题。
二是寻找有效的人工智能算法需要长期探索。证券行业的大数据往往具备高维度、动态以及强随机性等不确定特征，且多数为非结构化数据。非结构化数据的一般性特征通常不够清晰，而且所反映的对象背后缺乏客观严谨的逻辑，具有更强的不确定性和不可预测性。从这些数据中提取基本信息结合特定的金融逻辑、应用情景以及经验，运用人工智能算法进行“深度挖掘”得到最终的投资决策，将高度依赖能否构建有效的处理算法，这是大数据技术应用的重点与难点。证券市场的大数据技术从“初步提取”到“深度挖掘”还有漫长的路需要探索。
三是大数据业务的落地及人才的培养均需要继续加大力度。从大数据技术的部署以及相关业务的开展来看，虽然证券行业许多公司都在战略上给予了高度的重视，但是在具体业务的落地和推进中，实际投入的资源有限，取得的进展也相对较慢。证券行业的核心竞争力在于“人”，大数据应用也不例外。但是，与其他IT领域不同的是，金融大数据人才往往须同时具备算法、IT以及金融等多学科交叉背景，目前证券行业该类人才相对占比较低，未来应对大数据浪潮还须继续加大此类人才的储备。
（作者系广发证券股份有限公司副总裁、中国互联网金融协会金融科技发展与研究工作组副组长）
本文转自d1net（转载）