摘要:在12月20日召开的云栖大会北京峰会上,由阿里云ET大脑架构师陈鹏宇带来了以ET大脑为主题的演讲,从开发者的角度讲述了ET大脑的概念,介绍了ET大脑技术体系架构、数据资源平台、AI服务平台技术体系架构以及对ET大脑未来的发展需求做了介绍。
以下为精彩视频整理:
ET大脑技术体系架构
七年前加入阿里巴巴,在这七年里经历了阿里巴巴从传统的BI走向数据智能,走向数据作用于业务的过程。最近三年也见证了ET大脑的技术和产品,从阿里巴巴的内部沉淀,到走向行业去服务于政府和企业。作为一名开发者也是ET大脑最早的使用者和产品的见证者,下面想和大家分享一下什么是ET大脑。
ET大脑是为了帮助政府和企业完成数字化转型的一个创新平台,这个创新平台最核心的要素有三点,一是计算,计算帮助实现了在海量数据下计算的能力,数据中台首次将数据当成一种资源。数据中台的存在是为了创造业务中未知的可能性并且去激活它。数据中台如果从业务的角度来定义它,它其实是对业务的激活。而传统的数据仓库部门是业务的支持者,而数据中台的部门是业务的赋能者,甚至可以成为一个盈利中心。二是数据,数据是让我们看到互联网和IOT的时代,有机会把所有的数据都汇聚起来并且反补于业务;三是算法,算法则为ET大脑记录了智慧。
ET大脑技术体系架构
以城市大脑为例介绍一下ET大脑技术体系架构。城市大脑背后的智能引擎并不是简单的AI技术,在海量、多元的数据融合之后,要从这些数据里去挖掘出复杂场景下的关系,所以我们构建了内脑认知的网络结构。然后采用多体智能的技术,从超时空的关系里面去实时的发现模式。城市大脑是对整个城市的交通状态进行实时的洞察和调配,这个是任何人类的智慧都没有办法做到的,所以这也是城市大脑在智能这一板块的创新。同时把数据和智能的能力开放出来,让整个城市可编程。正如城市大脑的缔造者王坚博士所说:“城市大脑其实是用数据资源来对城市资源进行优化和调节”,所以我们希望城市的所有资源都是可编程的元素,让我们通过ET大脑的开放平台去打造一座可编程的城市。
数据资源平台(DRP):ET大脑的供血系统
数据资源是ET大脑的重要环节,所以数据资源平台至关重要堪称ET大脑的供血系统。把它可以分为四个层面分别为:全域数据汇聚技术、数据融合加工工艺、数据治理方法体系、数据开放共享机制。
我们为ET大脑配置了全链路数据监控,从数据的进入到最后的数据应用产出。一旦发现有问题的数据或者有异常的指标可以做到实时的拦截,这样就给予系统很大的容错能力和排除问题的时间窗口。
对于做数据的人来说,都很渴望看到数据的价值,所以我们有了数据价值图谱。在数据价值图谱上从底层的数据开始,每一份数据的用处都会清楚的呈现出来,可以去量化和评估一个数据对业务的价值,同时可以全面的对价值链路上出现的问题做出诊断和评估。另一个问题是数据的交换和共享。目前大部分的数据交换都还是最传统的解法即信息交换,这样对低敏感的小数据量的情况下是可行的,而ET大脑要解的是不要让数据脱离计算。ET大脑持有大量的数据,需要解决的是在一个大的平台里面让政府和企业内部所有的数据汇聚之后,如何在多个部门间去共享数据的问题。还有一个很关心的问题是数据安全。大量的数据放在一起来用,还要追求共享、开放、交换,要怎样去保障安全。我们在数据存储环节、数据分析环境和最后数据出口的时候,都有不同的安全措施来管控,这是对内的管理。对外是靠阿里云的云盾去防止外部的攻击。
AI服务平台技术体系架构
我们把AI比喻成ET大脑的神经网络,把阿里的、阿里云的所有的AI通过一个开放的框架去面向开发者开放,有离线的算法,也有在线的API。这套平台一是可以做到跨异构的数据源去读取数据。二是基于底层的数据做的算法流程是可以跨计算引擎去调度的。有了这两点之后阿里巴巴将沉淀下来的一百多种通用的机器学习的算法以及在语音图像、自然语言理解方面的这些算法注入到这个平台里面去向开发者开放。最后通过这个平台训练出来的算法模型,可以实现一键部署和运行,并且对运行的过程、调试的过程进行评估、跟踪、对bug进行优化,实现了一个全链路的服务。
处理数据资源平台和算法平台之外,对于ET大脑还有一个利器即DataV,现在DataV在3D城市的实时绘制方面沉淀了很领先的技术,我们希望DataV能更好的去扶持开发者,所以我们今年将启动一个千万级别的生态扶持计划,我们也希望能支持到开发者去成立自己的工作团队,在数据可持续这方面做出更多的应用。
ET大脑未来的发展需求
有了ET大脑的平台,那么在DT时代什么样的开发者才是一名合格的开发者,为什么数据在业务上没有办法被很好的应用,是因为懂业务的人一般不懂技术,或者是对数据的作用没有认知。而懂技术的人往往不愿意深入的去了解业务。这种情况下,我们也许能很好的满足已知的、说的清楚的需求,但没有办法去做到创新、去激发未知的业务需求。所以需要开发者深入到车间去了解业务。要真正把技术放到业务场景里去锤炼,在业务场景里去看到底哪些数据是有价值的。
ET大脑重新定义了Developer,相信未来的城市开发商的主体会是DT的代码工作者,今天写出来的程序明天就会成为这个城市资源的开发商。今天代码里调动的是cpu里面的内存、硬盘、网络,但是未来我们的程序里面调动的是城市里的土地资源、公共服务资源、人才资源、公交资源等。相信未来的开发者是可以和业务走的非常近的,未来的技术人员可以不是业务的支持者,或者它可以激发新的业务,所以这是ET大脑非常令人兴奋的地方。我们也希望大家能够看到新的机会,而阿里云的ET大脑会在背后为各位开发者提供能量。