Arch Summit 2017 分享 机器学习分会场,金融分会场

ArchSummit是由极客帮,Qcom组织的业界架构师会议。主要是各个厂商技术人员之间进行技术交流的会议,各个公司希望建立更好的技术口碑,技术人员希望在交流中提升自己的水平,开拓视野。说实在的,以我在美国工作的经验,美国公司是不会允许在交流分享中给出这么多干货的,尤其是比较新的,当前在研发的系统。
同事们也发现,在这次ArchSummit上,如果是海外公司的介绍,一般都比较虚,国内公司,尤其是小公司,对于自己技术的保护意识都会相对薄弱一些。
我参会的主要目的是想要了解一下人工智能在各个行业的应用,所以参加了人工智能相关的分会场,也参加了一些金融行业的经验分享。

深入机器学习
深度学习在自然语言处理中的应用

邱锡鹏 复旦大学
邱教授的交流主要是对业界的总结。从基于规则的语言处理,到最近的CNN,RNN。以及非监督学习的一些进展。没有什么特别印象深刻的内容

PaddlePaddle: Towards a Deep Learning Compiler for the Cloud于洋 百度 / 资深工程师
PaddlePaddle是百度的深度学习平台。本次交流主要是一次推广。在技术上他们使用了LLVM作为编译器。在任务调度的优化上和tensorflow有差别。一方面是在while循环和ifelse语法实现进行了优化,增加了并行的机会。另外对于不同的小任务进行了合并,减少调度的负荷。
这个交流的最大问题是只讲了优化,没有给出数字化的结果。看不出来他和其他流行的平台的性能对比。

大规模异构网络数据融合张宇韬 清华大学
主要分享了一些将大规模异构网络表达为神经网络。这里最大的挑战不是表达,而是更有效的表达。网络一般都是稀疏的,简单的坐标表达,或者链接关系的表达都会有很大的浪费。作者使用遍历网络的方式将信息线性化,线性化本身和语言分析相邻词分析类似。另外他们也用图卷积来减小网络规模。
最后他们介绍了一个知识图谱的应用场景,利用深度学习和关系网络,学习技术趋势,领军人物,招聘目标,等应用

解锁深度视频理解的潜力曾文军, Ph.D., IEEEMicrosoft Research Asia
微软研究院的曾博士的介绍非常精彩。主要介绍了微软在深度视频理解上的进展。通过对深度学习领域进展的回顾,可以看得出来,微软一直是在学术界的前沿。基本上每一个领域最高的精度数据都来自微软研究院。虽然深度学习由于很多时候具体的工作原理并没有非常严格的理论证明,取得最好的精度结果可能是运气+大量尝试,但是在各个领域都有成果发表,还是说明了微软在人工智能的积累和实力。他们最心的进展是在视频识别,人脸跟踪,身体跟踪,姿态估计,车子跟踪都是他们的应用。使用他们最新的View Adaptive LSTM,目前的精度达到70-80%,最主要的优化是在与自适应的视觉框。
另外,微软对外开放的视觉API,视频搜索的Video Index等产品化程度在业界也是领先的。
最后曾博士提出来未来的开放问题,小数据,无监督的学习,更小的模型,以及新的算法和硬件的研究

自动深度语法分析是自然语言应用的核武器李维(博士)京东
李维老先生已经在NLP领域深耕二十多年,演讲也比较风趣,个人对于深度语法分析(deep parsing)非常相信。提出来当前最流行的端到端深度学习的方式比起deep parsing有几点劣势。一个是灵活度不够,当学习目标改变了以后,可能模型需要重新训练。一个是对于语言情感的挖掘(sentiment)精度不够。目前社交媒体上的短句,最高的精度只能到65%,而deep parsing系统可以达到80%。这也是可能的。在缺乏上下文的小数据情况下,含有更丰富标注信息的deep parsing可以更有优势。
最后老头子开始了招聘广告。。。

WSNet:基于权值采样的一种简洁高效的卷积神经网络架构徐宁Snapchat 
来自Snapchat的徐宁给了很不错的分享。由于观众对于snapchat的具体功能不是很了解,他先把snapchat的主要使用场景和功能给大家介绍了一下,然后描述了几个主要的深度学习的应用场景。主要是图片里面的人,物体识别和处理,对于语言和语音的识别。
在手机应用当中使用这些深度学习应用的一个矛盾就是手机的计算存储能力和算法的精度。解决这个矛盾,就需要减少计算量,减少内存空间。
在Snapchat,他们发现80%的计算量发生在conv层,所以他们研发了WS(weighted sampling)CNN。使用Sampling的方式,重复使用参数,另外在channel上,也会重复使用sampling的结果,进一步减少卷积网络(CNN)的计算量。最终他们在影响精度结果5%以内的前提下,减小了180倍的模型大小,速度快了16倍。最后这件事的实质,他们认为在图像处理任务当中,CNN还是有大量的冗余计算。

Apollo自动驾驶及跟车方案的设计思路孔旗 百度
百度对于自己开源的自动驾驶平台进行了非常详尽的介绍。主要是描述了系统的整体架构,各个组建的功能,以及算法实现中的挑战,更多的是业务的复杂度(没有特别细节的讲解技术)神经网络也只是说用基本的MLP。业务当中,训练出来更好的Planning(驾驶策略)成为驾驶的核心。

机器学习算法在瓜子二手车的实践魏旋 瓜子二手车
对于瓜子二手车算法团队的工作,魏旋做了非常精彩的介绍。其中业务的挑战部分尤其有意思。他们最大的挑战在于如何设计出来一个对人(销售)进行管理的方式,能够使得公司的销售业绩最优。对于没有人的环节的很多问题,机器学习甚至统计算法都可以给出精度很好的估计,比如对于一辆车预计的售价,他们的估计精度可以达到95%。但是对于人的管理,尤其是在人找到算法漏洞以后的反应,很多时候出乎了他们的意料和算法的初衷。比如他们对于高效的销售采用更多商机的鼓励,结果却造成了整体业绩的下滑。高效的销售达到一定工作量以后,过于疲惫,无法保证效率。低效的销售士气低落,业绩变得更差。所以他们后来根据销售的疲劳模型来建模,在目标上,要做到公平,业绩好。同时又要考虑每辆车的销售工作量(距离,卖出难度,咨询人数等等),尽可能平均。
最终的结论也很有意思,一是要站在博弈的角度去看待人(销售),二是简单是美,变量越少越好,系统越复杂越难优化,三是小心探索,只在子问题上面使用机器学习

金融行业专场

金融场景分布式数据库强一致保证钱煜明 中兴通讯 / 首席架构师
这个分享主要是介绍了中兴通讯Golden db。主要是提出了两个“亮点”

  1. GoldenDB在全局事务的实现上,对二阶段提交进行了优化,在第一阶段成功之前就乐观的返回结果。如果失败了再回滚。这个在集群规模比较小,失败/冲突概率很小的时候可能是能够取得一定的优化。
  2. 在多副本的一致性上,乐观的采用了简单的多数一致,并没有严格按照paxos协议实现。(说paxos会造成脑裂,我理解他是说在可用副本不足的情况下,paxos协议阻止写的成功)

我对于这两个“优化”非常质疑。如果这两个优化确实能够保障性能优化和正确性的话,这应该是两个算法的突破了。但是我没有确凿的证据。
他们目前有中信银行等客户。这也说明了目前数据库竞争更多的是客户关系,技术上的可靠性,算法的严谨并不是商业化的主要矛盾。

从零到一,构建灵活、高性能的金融账务系统石伟 付钱拉 /高级架构师
这场分享非常深入的介绍了他们如何从头搭建一个P2P的金融平台。介绍的主要技术难点是业务上的优化。

  1. 如何通过改造表的结构来优化和稀释热点账号。把数据分类成为冷热两种数据,把冷的列和热的列分割成两个表来存储
  2. 将影响响应时间的操作由同步变成异步操作
  3. 优化取锁的顺序,避免死锁和长时间的等待

守住Fintech这扇门:高可用测试平台演进之路

孙鹰 宜信 / 翼启云高级测试专家
这是一场介绍金融领域测试团队实践的分享。作为宜信平台的测试,他们的经历和阿里内部一些测试团队的发展有很多类似的地方。他们虽然保留了测试团队,但是本身更多的是测试工具和平台开发维护团队。在测试平台的演进上,他们经历了系统的梳理,输入参数化,测试自动化验证的历程。

 

时间: 2024-11-13 08:02:16

Arch Summit 2017 分享 机器学习分会场,金融分会场的相关文章

Red Hat Summit 2017 5大亮点:容器技术首当其冲

今年的Red Hat Summit 2017在美国波士顿举行,此会议一直是关于企业应用开发.IT自动化.容器和微服务的信息盛会.所有这些交织在一起,这些技术及其市场渗透得如何呢?为了找到答案,我们聆听了一些主题演讲和Red Hat高管的讲话,包括Red Hat首席执行官Jim Whitehurst的讨论,并且坐下来与Red Hat技术产品负责人Paul Cormier进行了沟通.下面就让我们来看看Red Hat Summit 2017峰会上的5大亮点. 容器正成为主流 Red Hat传递了一个重

【2017最佳机器学习论文】AlphaGo Zero最赏心悦目(一文读懂大咖论文)

前几天与杨静老师和刘江老师,讨论 2017 年人工智能进展时,没来得及说 2017 年最值得读的论文. "什么是最值得读的论文",这个话题,仁者见仁智者见智. 下面,说说我个人觉得今年收获最大的论文: 最赏心悦目:Mastering the Game of Go without Human Knowledge 最有实践价值:Attention Is All You Need 和 One Model To Learn Them All  最有研究潜力:Superhuman AI for

【PDF大放送】Spark&Hadoop Summit精选分享PDF合集

大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的.你可以把它比作一个厨房所以需要的各种工具,锅碗瓢盆,各有各的用处,互相之间又有重合.你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮.但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择. Hadoop是一个分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储.Hadoop实现了一个分布式文件系统(Had

人工智能泰斗迈克尔·乔丹分享机器学习要义:创新视角,直面挑战

雷锋网(公众号:雷锋网) AI 科技评论按:2017年6月21日至22日,腾讯·云+未来峰会在深圳举行.腾讯董事会主席兼首席执行官马化腾会带来演讲,多位优秀的学界.产业界人才也会发表自己的见解.雷锋网编辑赴一线报道,并将持续带来最新消息. 21日上午,人工智能领域的世界级泰斗迈克尔·欧文·乔丹(Michael I.Jordan)进行了主题为"机器学习:创新视角,直面挑战"的演讲,与大家分享他对人工智能的未来与挑战的见解.以下为演讲全文,雷锋网 AI 科技评论根据速记,结合现场内容听译整

摩根大通机器学习与金融大数据指南——未来的华尔街大亨|大数据+机器学习+金融工程师

更多深度文章,请关注:https://yq.aliyun.com/cloud 金融服务工作流行得快.过时得也快.2001年互联网公司的股权研究风靡一时:2006年,对担保债务凭证(CDOs)有着偏爱:2010年,信贷交易商很受欢迎:2014年,又轮到了合规专家:而在2017年,这是关于机器学习和大数据的时代,如果你能涉足该领域,那么你的未来将会有所保证. 摩根(J.P.Morgan)的定量投资和衍生策略团队发布了关于金融服务领域大数据和机器学习的最全面的报告,报告称,"大数据和人工智能(AI)战

Red Hat Summit 2017:面向容器、云和安全的5大新品

如果你正在寻找容器变革已经开始的进一步证明,那么今年的Red Hat Summit也许可以帮到你.Red Hat借助来自AWS的帮助,本周公布了5款与容器技术相关的新产品和服务,包括专注于容器的产品,用于应用开发.安全.存储和云服务.所有这些新产品的推出,是要让企业能够充分利用容器,以改进应用的开发和部署. 下面我们就来详细看看Red Hat在这次峰会上公布的这5款新产品和服务. OpenShift.io OpenShift.io是Red Hat的平台即服务,为企业提供云原生的应用开发和部署,通

环信CEO:SaaStr Annual 2017分享,AI正在吃掉软件!

硅谷著名的投资人马克·安德森曾经说过一句话"软件正在吃掉世界".北京时间2月9日在美国SaaS[注]tr Annual 2017大会现场,红点合伙人Tomasz Tunguz做了一场关于AI正在变成SaaS的基础平台的主题演讲.我们深刻的感到,下一场革命已经到来,AI正在吃掉软件! Tomasz首先简单介绍了他看到的在工作流,保险,建筑,医疗,农业,交通这6个行业的AI投资案例和AI所产生的价值.当然,以Tomasz一向的干货风格,他很快进入在座的SaaS企业最关心的问题:SaaS企业

2017年,机器学习在Quora的五大应用场景

2015年,Quora的工程主席Xavier Amatriain非常精彩地回答了Quora上的一个问题:"Quora在2015年将如何应用机器学习".从那个时候开始,机器学习在Quora的应用得到了长足的发展.他们不仅更加深入地为已有的机器学习应用构建更大更好的模型,而且将机器学习技术应用到更多领域.而在今年,Quora的工程经理Nikhil Dandekar在Quora上回答了类似的问题:"Quora在2017年将如何应用机器学习".以下译文翻译自Nikhil的回

CCAI 2017 | 香港智能金融联合创始人兼CEO柳崎峰:金融机构的市场机遇与实践

香港智能金融科技有限公司(FDT-AI)联合创始人兼CEO柳崎峰 在大会的智能金融论坛上,香港智能金融科技有限公司(FDT-AI)联合创始人兼CEO柳崎峰发表了题为<金融机构的市场机遇与实践>的演讲. 从移动时代步入智能时代,柳崎峰认为存在三个重要转型: 券商转型,从移动券商到智能券商,用户从手机上便捷的投资交易,到享受更多智能个性化的服务: 监管转型,从弱监管到严格监管再到智能监管,同样需要非常强个性化的技术方案: 银行转型,对私业务,从人性化到个性化,对公业务,从集中化到普惠化. 实践方面