ArchSummit是由极客帮,Qcom组织的业界架构师会议。主要是各个厂商技术人员之间进行技术交流的会议,各个公司希望建立更好的技术口碑,技术人员希望在交流中提升自己的水平,开拓视野。说实在的,以我在美国工作的经验,美国公司是不会允许在交流分享中给出这么多干货的,尤其是比较新的,当前在研发的系统。
同事们也发现,在这次ArchSummit上,如果是海外公司的介绍,一般都比较虚,国内公司,尤其是小公司,对于自己技术的保护意识都会相对薄弱一些。
我参会的主要目的是想要了解一下人工智能在各个行业的应用,所以参加了人工智能相关的分会场,也参加了一些金融行业的经验分享。
深入机器学习
深度学习在自然语言处理中的应用
邱锡鹏 复旦大学
邱教授的交流主要是对业界的总结。从基于规则的语言处理,到最近的CNN,RNN。以及非监督学习的一些进展。没有什么特别印象深刻的内容
PaddlePaddle: Towards a Deep Learning Compiler for the Cloud于洋 百度 / 资深工程师
PaddlePaddle是百度的深度学习平台。本次交流主要是一次推广。在技术上他们使用了LLVM作为编译器。在任务调度的优化上和tensorflow有差别。一方面是在while循环和ifelse语法实现进行了优化,增加了并行的机会。另外对于不同的小任务进行了合并,减少调度的负荷。
这个交流的最大问题是只讲了优化,没有给出数字化的结果。看不出来他和其他流行的平台的性能对比。
大规模异构网络数据融合张宇韬 清华大学
主要分享了一些将大规模异构网络表达为神经网络。这里最大的挑战不是表达,而是更有效的表达。网络一般都是稀疏的,简单的坐标表达,或者链接关系的表达都会有很大的浪费。作者使用遍历网络的方式将信息线性化,线性化本身和语言分析相邻词分析类似。另外他们也用图卷积来减小网络规模。
最后他们介绍了一个知识图谱的应用场景,利用深度学习和关系网络,学习技术趋势,领军人物,招聘目标,等应用
解锁深度视频理解的潜力曾文军, Ph.D., IEEEMicrosoft Research Asia
微软研究院的曾博士的介绍非常精彩。主要介绍了微软在深度视频理解上的进展。通过对深度学习领域进展的回顾,可以看得出来,微软一直是在学术界的前沿。基本上每一个领域最高的精度数据都来自微软研究院。虽然深度学习由于很多时候具体的工作原理并没有非常严格的理论证明,取得最好的精度结果可能是运气+大量尝试,但是在各个领域都有成果发表,还是说明了微软在人工智能的积累和实力。他们最心的进展是在视频识别,人脸跟踪,身体跟踪,姿态估计,车子跟踪都是他们的应用。使用他们最新的View Adaptive LSTM,目前的精度达到70-80%,最主要的优化是在与自适应的视觉框。
另外,微软对外开放的视觉API,视频搜索的Video Index等产品化程度在业界也是领先的。
最后曾博士提出来未来的开放问题,小数据,无监督的学习,更小的模型,以及新的算法和硬件的研究
自动深度语法分析是自然语言应用的核武器李维(博士)京东
李维老先生已经在NLP领域深耕二十多年,演讲也比较风趣,个人对于深度语法分析(deep parsing)非常相信。提出来当前最流行的端到端深度学习的方式比起deep parsing有几点劣势。一个是灵活度不够,当学习目标改变了以后,可能模型需要重新训练。一个是对于语言情感的挖掘(sentiment)精度不够。目前社交媒体上的短句,最高的精度只能到65%,而deep parsing系统可以达到80%。这也是可能的。在缺乏上下文的小数据情况下,含有更丰富标注信息的deep parsing可以更有优势。
最后老头子开始了招聘广告。。。
WSNet:基于权值采样的一种简洁高效的卷积神经网络架构徐宁Snapchat
来自Snapchat的徐宁给了很不错的分享。由于观众对于snapchat的具体功能不是很了解,他先把snapchat的主要使用场景和功能给大家介绍了一下,然后描述了几个主要的深度学习的应用场景。主要是图片里面的人,物体识别和处理,对于语言和语音的识别。
在手机应用当中使用这些深度学习应用的一个矛盾就是手机的计算存储能力和算法的精度。解决这个矛盾,就需要减少计算量,减少内存空间。
在Snapchat,他们发现80%的计算量发生在conv层,所以他们研发了WS(weighted sampling)CNN。使用Sampling的方式,重复使用参数,另外在channel上,也会重复使用sampling的结果,进一步减少卷积网络(CNN)的计算量。最终他们在影响精度结果5%以内的前提下,减小了180倍的模型大小,速度快了16倍。最后这件事的实质,他们认为在图像处理任务当中,CNN还是有大量的冗余计算。
Apollo自动驾驶及跟车方案的设计思路孔旗 百度
百度对于自己开源的自动驾驶平台进行了非常详尽的介绍。主要是描述了系统的整体架构,各个组建的功能,以及算法实现中的挑战,更多的是业务的复杂度(没有特别细节的讲解技术)神经网络也只是说用基本的MLP。业务当中,训练出来更好的Planning(驾驶策略)成为驾驶的核心。
机器学习算法在瓜子二手车的实践魏旋 瓜子二手车
对于瓜子二手车算法团队的工作,魏旋做了非常精彩的介绍。其中业务的挑战部分尤其有意思。他们最大的挑战在于如何设计出来一个对人(销售)进行管理的方式,能够使得公司的销售业绩最优。对于没有人的环节的很多问题,机器学习甚至统计算法都可以给出精度很好的估计,比如对于一辆车预计的售价,他们的估计精度可以达到95%。但是对于人的管理,尤其是在人找到算法漏洞以后的反应,很多时候出乎了他们的意料和算法的初衷。比如他们对于高效的销售采用更多商机的鼓励,结果却造成了整体业绩的下滑。高效的销售达到一定工作量以后,过于疲惫,无法保证效率。低效的销售士气低落,业绩变得更差。所以他们后来根据销售的疲劳模型来建模,在目标上,要做到公平,业绩好。同时又要考虑每辆车的销售工作量(距离,卖出难度,咨询人数等等),尽可能平均。
最终的结论也很有意思,一是要站在博弈的角度去看待人(销售),二是简单是美,变量越少越好,系统越复杂越难优化,三是小心探索,只在子问题上面使用机器学习
金融行业专场
金融场景分布式数据库强一致保证钱煜明 中兴通讯 / 首席架构师
这个分享主要是介绍了中兴通讯Golden db。主要是提出了两个“亮点”
- GoldenDB在全局事务的实现上,对二阶段提交进行了优化,在第一阶段成功之前就乐观的返回结果。如果失败了再回滚。这个在集群规模比较小,失败/冲突概率很小的时候可能是能够取得一定的优化。
- 在多副本的一致性上,乐观的采用了简单的多数一致,并没有严格按照paxos协议实现。(说paxos会造成脑裂,我理解他是说在可用副本不足的情况下,paxos协议阻止写的成功)
我对于这两个“优化”非常质疑。如果这两个优化确实能够保障性能优化和正确性的话,这应该是两个算法的突破了。但是我没有确凿的证据。
他们目前有中信银行等客户。这也说明了目前数据库竞争更多的是客户关系,技术上的可靠性,算法的严谨并不是商业化的主要矛盾。
从零到一,构建灵活、高性能的金融账务系统石伟 付钱拉 /高级架构师
这场分享非常深入的介绍了他们如何从头搭建一个P2P的金融平台。介绍的主要技术难点是业务上的优化。
- 如何通过改造表的结构来优化和稀释热点账号。把数据分类成为冷热两种数据,把冷的列和热的列分割成两个表来存储
- 将影响响应时间的操作由同步变成异步操作
- 优化取锁的顺序,避免死锁和长时间的等待
孙鹰 宜信 / 翼启云高级测试专家
这是一场介绍金融领域测试团队实践的分享。作为宜信平台的测试,他们的经历和阿里内部一些测试团队的发展有很多类似的地方。他们虽然保留了测试团队,但是本身更多的是测试工具和平台开发维护团队。在测试平台的演进上,他们经历了系统的梳理,输入参数化,测试自动化验证的历程。