数据“土豪”电信云告诉你,如何“玩转”数据生态

近日,T11 2017 暨 TalkingData 智能数据峰会在京举办。本届大会以“知机识变,有唐之盛”为主题,有来自不同行业的数据科学家、分析师、企业管理者参与,共同探讨大数据与行业结合的技术趋势、场景应用、前沿案例,助力传统企业转型为数据驱动型企业和,推进行业生态建设。

其中,在智能数据服务分会场,电信云大数据事业部副总经理吴章先分享了电信云在开放共享、共建数据生态方面的经验。

在天翼大数据方面,吴章先表示,在建构大数据能力上有以下三个方面较为关键:

第一,分布式数据中心。所建的大数据分析节点需要区域化,甚至有多个节点,不同层级。

第二,数据层面。所有应用服务提供商或行业数据能力提供商,他们的数据维度一般是依托于生态链或应用服务产品。运营商数据源基本上覆盖了广泛领域,但在数据方向的深度还需要进行挖掘。

第三,建立数据平台。由于电信运营商的特点是整个数据产生的节点分散、规模巨大、种类多,所以要有卓越的数据治理和平台运营能力。

而在构建数据生态上,在他看来,“在大数据开放合作领域里,这两年我们看到从整个行业生态上,离真正数据打通还比较远;其次,如何通过平台赋能,来实现真正数据的开放融合也是目前难以解决的问题。”,这些挑战都需要在未来引起重视并找到有效解决方案。

以下为吴章先演讲内容,雷锋网(公众号:雷锋网)做了不改变原意的编辑:

在三年前,我参加中国营商大会,听了 Google 一位总经理介绍大数据领域里面土豪的时候,画了四个象限,把三个运营商划到了土豪象限里面,就是拥有数据,不怎么会玩。

经过这三年时间,我们在逐步摸索,利用运营商已有的一些数据成果,去想怎么更好的服务社会。在这当中,我们也发现整个数据如果不进行打通,或者仅仅以某一个企业自有数据去做很多服务时,都会或多或少碰到一些问题。

首先,给大家介绍一下天翼大数据的情况,第二,站在平台角度看一下我们如何构建数据生态。

天翼大数据发展概况

大家最早用固话,都是用电信的固定号码,现在也有一些移动,以及在很多家庭里面用的 IPTV,包括酒店里面用很多内容的机顶盒,都使用的是电信的服务。所有这些服务里面都脱离不了最重要的基础,很多企业在大数据领域的经验,他们所做的所有应用,所有大数据分析能力,实际上都要构架在一个基础设施上面,而中国电信拥有全球最大规模的大数据基础。

从我们目前跟很多行业专家、行业技术团队沟通时,发现有几个方向可能在未来在建大数据能力方面是比较关键的:

第一,分布式数据中心。可能我们所建的大数据分析节点需要区域化,甚至多个节点,不同层级,包括我们今年跟国家几个部委沟通时,都发现有这样的需求。电信的“2+31+X”的技术机构,再加上我们已经在数据中心专门承建 DCI 网络,能够满足大家的需求。如果大家了解的话,应该知道中国电信最早 163 到企业 CN2,到现在 DCI,有三张底层的骨干网支撑大家的基础能力。

第二,数据层面。所有应用服务提供商或行业数据能力提供商,他们的数据维度一般是依托于生态链或应用服务产品。运营商数据源基本上覆盖了广泛领域。从接入层面来讲,不管是家里的宽带,通过移动网、IPTV以及其他一些设施在接入运营商服务还是其他行业服务时,都会有大量数据产生,这也是我们运营商本身在数据源的优势。整个覆盖层面,不管是在时间空间上,还是本身使用场景上,都是比较全面的。

现在在数据领域里,运营商的数据具备数据面比较广,但是它的数据在某一个方向深度不够的特点。目前,天翼云已经累计超过 30 个 PB 的数据,日处理量超过 200T。

第三,要处理这些数据,就需要有一个能力强大的平台。我们有卓越的数据治理和平台运营能力,因为电信运营商的特点是整个数据产生的节点分散、规模巨大、种类多,所以我们在数据治理、数据平台运营上积累了很多经验。

经过这三年的治理,我们形成了一个非常稳定的数据生产线,在很多行业,目前尤其跟我们比较类似的一些部委,如卫计委,他们的数据跟我们特点非常相似,需要有一整套设施来帮助进行处理。

此外,依托这些数据,已经形成了非常多的产品和解决方案。我们在三年里有 4+1 产品体系,十大行业解决方案。从我个人经验来看,在 2015 年刚发生上海踩踏事件时,利用我们的数据帮助政府做人流热图,2015 年开始,我们发现在景区旅游,依托运营商数据可以做很多事情。

今年我们发现通过一些数据打通,包括我们在景区里面跟 TalkingData 进行合作,把一些互联网数据和运营商数据结合,通过更好的数据模型能够更精准预测或分析出景区人群整个情况。现在,我们还在更宏观的一些领域和更微观的领域有了更好的发展。

4+1 产品体系里,现在有一个底层 PaaS 大数据分析平台,叫飞龙平台,是云数一体的大数据平台。这里不仅仅是云端,大家可以利用这个数据平台进行相应数据分析,进行数据产品化,进行数据对外输出,这个大数据飞龙平台也可以提供给相应企业、相应合作方,部署到他们自有的企业IT设施里进行业务的支撑。

如何构建数据生态

回到今天的主题,我觉得一下几个观点非常正确。首先,现在在大数据开放合作领域里,目前就我个人来看,还是处于非常初级的摸索阶段。我们都非常希望数据流通、数据安全、数据隐私等等问题能够通过很好的方法来解决,但实际上,这两年我们看到从整个行业生态上来看,离真正数据打通还比较远。我们看到几个重要的问题里,从能力支撑到平台,到数据,到安全,可能首先要从基础的能力上去解决,这也是我们今天在第二部分里面给大家去分享的。

其次,如何通过平台赋能,来实现真正数据的开放融合。用区块链的技术,能不能解决在数据分享里数据流通性、安全性问题,因为数据本身是可复制的,一旦进入流通环节,数据价值马上会以指数级别消减。这个问题我们看到所有拥有数据的公司非常关注,这也是难以解决的问题。

在过去三年时间里,我们对数据,通过平台来进行相应的安全性加固、安全性运营,同时我们也跟很多行业合作伙伴进行了相应尝试。通过在平台功能上、规则上、管理上的措施,已经看到了怎么能够真正把数据流通做下去。

目前,我们在天翼云整个云端平台上提供了一个一站式开放服务,包括给数据提供方、产品开发者、客户提供了完整的一整套业务支撑体系。我们坚持一个原则,数据拥有方对数据加工、数据开放、数据的运营,拥有绝对的权力。也就是说数据拥有方在我们平台上上传数据,对这个数据进行加工操作,都是数据拥有方自己去处理的。在上面,我们也提供一整套完整的,包括开放运营、安全的整套机制。

在平台保障上,通过运营商强项,在运营服务上给我们的合作伙伴、数据合作方提供相应完整的服务,不仅仅是有运营服务,还有平台能力服务,还有一些产品开放策略。过去三年,中国电信天翼云针对我们的数据,已经形成了一整套机制,形成了相应服务能力,给我们的合作伙伴进行开放。

在策略上,我们在整个平台里形成了五分一统,很多数据拥有方,尤其是党政企业,还有国企,他们的数据本身在数据IT能力上面略弱,我们通过整套机制,从分类、分级、分型、分布、分权已经把数据整个加工、数据处理、数据开放形成一整套管理手段。在对外输出时,通过统一出口,使得我们数据应用方在对外服务的时候,能够实现可管、可控、安全可靠,能够使得我们通过这个开放平台,快速的把数据合作、数据共赢、数据融合做下去。

运营保障体系上,通过完善大数据的开放运营,从业务切入详细去帮助应用需求看它对数据的分析,在运营闭环上,通过各个不同数据环节,我们在审计安全上,在日常运营维护上,是否可靠,是否正常。我们在对外服务方面,也有很多不同的方式,不管是云托管方式还是私有系统方式。在底层,我们有弹性的成长过程,数据从一个节点到另外一个节点,甚至多节点服务,依托中国电信云网融合的方式都可以很方便、很快速的支撑。

我在过去交流所有场合里,大家最担心的还是安全问题。对有一些企业来讲,安全性问题意味着财富,意味着资产流失,对有一些企业或政府来讲,安全性问题意味着他头上的乌纱帽或屁股下面的位子,大家非常关注,每一次决策都非常谨慎。我们在整个天翼云大数据开放平台上,平台赋能很关键是在安全上提供全生命周期的安全保障,不仅仅是从I层,从物理安全保障、网络安全保障、主机级安全保障、应用级安全保障方面,提供整个安全服务能力。

此外,我们对应用的全周期也是提供相应安全服务。这种安全服务不仅是在技术上进行体现,同时也从我们管理机制,同我们整个对数据加工的分级分权,以及数据加工一整套安全流程去保障。

进行了所有安全加固以后,会带来一个问题,我们在数据分析时,冗余度或灵活度去哪里了?中国电信大数据平台上,有一个有效的机制,通过互信融合,当我们需要对比较原始的数据进行融合分析时,比如 A 客户数据和 B 客户数据要在一起进行分析,然后产生最后的分析结果,这个时候怎么办?

我们会在平台上分配一个临时空间,临时空间里不能够进行数据的对外输出。它可以在临时空间里面对相应数据进行融合分析,分析完的结果通过审计以后再输出,输出只是分析结果,一旦分析结果输出完以后,这个空间我们就会把它销毁掉,所以所有用户原始数据都不存在流失和被盗风险。所有操作我们也会通过日志和审计功能,让数据拥有方能看得到。

我们前面说五分一统,数据分析灵活的机制,是确保这个平台上数据可以进行共享融合,能够进行分析的。

安全保障领域里,我们有相应的安全合规功能,从隔离、脱敏、标识、授权、审计五大方面,帮助云公司自己,还有我们的客户进行整体安全后的保障。从隔离中,按功能分类,从数据敏感区域里给客户提供相应的工具,然后到脱敏、标识、授权、审计,有一整套完善的流程。

下面说一个案例。在整个平台上,我们跟一个 AI 公司一起做的流程是这样的。它有一些外面金融行业的数据,在我们平台上用云公司自有数据,通过构建一套 AI 组件,来进行整个融合分析。通过这种分析,一方面我们避免了大量各种不同产品需要专家进行设计、建模,而是通过 AI 方式,帮我们通过机器解决,来真正实现业务场景的输出功能。从实际效果来讲也非常好,从千分之二提升到千分之五的用户转化率。

最后希望通过构建一个完善的,比较强大的平台,通过应用驱动数据的模式,构建这个数据生态。我们希望可以跟所有业内企业、业内客户一起在这里共同构建完整的大数据生态,真真正正把大数据的价值对行业的影响能够做到最好。

本文作者:王金许

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-09-29 00:09:10

数据“土豪”电信云告诉你,如何“玩转”数据生态的相关文章

【视频】张瑾谈云存储之“对于“数据中心”和“云存储”的理解”_对于“数据中心”和“云存储”的理解

张 瑾对于"数据中心"和"云存储"的理解 张瑾 Gartner 大中华区存储首席分析师. 长期专注于大中华区存储市场和技术的研究,同时负责全球虚拟磁带库技术的跟踪与研究. 1996-1999年 北京华仪科技发展公司工程师,技术部经理.技术总监: 1999-2001年 CA公司渠道销售经理: 2001-2005年 同有飞骥科技公司技术总监: 2005年加入Gartner.

当“云”遇见“乐高”会擦出怎样的火花,首云告诉您怎么玩?

5月31日,首云的敏捷IT架构产品上线,喜欢乐高的朋友们可以来玩了. "世间武功唯快不破",敏捷理念从研发到运维一脉相承.现在首云将这一理念延伸至IT架构层面.敏捷IT架构产品是将IT架构中常用的部件服务化,供架构师快速搭建符合自身业务场景的IT架构. 本期首云提供的产品包括: 基于HAProxy的4-7层高可用负载均衡服务 基于Redis的高可用内存数据库服务 基于MySQL的高可用数据库服务 在GIC的导航栏中,您可以在 [标准IT部件] 这个链接下看到我们的产品.[鸢玮1] 我们

阿里云与国家天文台成立天文大数据联合研究中心

免费开通大数据服务:https://www.aliyun.com/product/odps 2017 年 1 月 22 日,中国科学院国家天文台与阿里云正式成立"天文大数据联合研究中心". 中国科学院国家天文台与阿里云在京举办了合作协议签字暨研究中心揭牌活动. 阿里云将作为天文台云计算大数据领域唯一战略合作伙伴,共同推进天文学科研和科普教育工作. 天文台台长严俊: 国家天文台与阿里云的跨界"融合"是科学大数据与丰富的云资源和深厚信息技术的"融合"

【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类

伴随着今日阿里云机器学习PAI在云栖大会的重磅发布,快来感受下人工智能的魅力. 一.背景 随着互联网的发展,产生了大量的图片以及语音数据,如何对这部分非结构化数据行之有效的利用起来,一直是困扰数据挖掘工程师的一到难题.首先,解决非结构化数据常常要使用深度学习算法,上手门槛高.其次,对于这部分数据的处理,往往需要依赖GPU计算引擎,计算资源代价大.本文将介绍一种利用深度学习实现的图片识别案例,这种功能可以服用到图片的检黄.人脸识别.物体检测等各个领域. 下面尝试通过阿里云机器学习平台产品,利用深度

大数据爆炸时代 企业云存储该怎么玩?

个人云存储服务早已迈向免费时代,市场对企业级别云存储的需求更加迫切.面对这样的市场趋势,企业级云存储市场的"圈地运动"呼之欲出,"免费"二字成为了各家的新玩法. 随着移动互联网的迅速发展,智能终端.可穿戴设备.智能家居.物联网以及基因测序正在快速普及.企业和用户每天接触的数据吞吐量呈现出指数级的增长趋势,我国社会正在步入大数据爆炸的时代. 大数据时代降临的今天,个人云存储服务早已迈向免费时代,而中国各行各业的互联网化与现实世界数据化的趋势,计算和应用都更加需要集中化

解析全球十大电信巨头如何玩大数据

目前,全球120家运营商中,已经有48%的企业正在实施大数据战略.通过提高数据分析能力,他们正试图打造着全新的商业生态圈,实现从电信网络运营商(Telecom)到信息运营商(Infocom)的华丽转身.从曾经的"管道"到大数据战略融合,电信运营商到底该如何善用大数据?全球10强电信"大佬们"的大数据应用之道及其培育的新经济增长点启示颇多. 1.AT&T:位置数据货币化 AT&T是美国最大的本地和长途电话公司,创建于1877年.2009年,AT&

解析全球10大电信巨头如何玩大数据

对于电信运营商而言,没有哪一个时代能比肩4G时代,轻松掌握如此海量的客户数据.4G时代,手机购物.视频通话.移动音乐下载.手机游戏.手机IM.移 动搜索.移动支付等移动数据业务层出不穷.它们在为用户创造了前所未有的新体验同时,也为电信运营商挖掘用户数据价值提供了大数据的视角.数据挖掘.数据 共享.数据分析已经成为全球电信运营商转变商业模式,赢取深度商业洞察力的基本共识. 目前,全球120家运营商中,已经有48%的企业正在实施大数据战略.通过提高数据分析能力,他们正试图打造着全新的商业生态圈,实现

全球十大电信巨头如何玩大数据

目前,全球120家运营商中,已经有48%的企业正在实施大数据战略.通过提高数据分析能力,他们正试图打造着全新的商业生态圈,实现从电信网络运营商(Telecom)到信息运营商(Infocom)的华丽转身.从曾经的"管道"到大数据战略融合,电信运营商到底该如何善用大数据?全球10强电信"大佬们"的大数据应用之道及其培育的新经济增长点启示颇多.   1.AT&T;:位置数据货币化  AT&T;是美国最大的本地和长途电话公司,创建于1877年.2009年,A

不想玩大数据的厨子都不是冒险家

湘鄂情抛弃餐饮主业,角逐大数据,号称要用互联网思维改造广电,上演了年度商业界最看不懂的转型.关于创始人孟凯,有人说他飞蛾扑火,有人说他病急乱投医,但他的回复是:你说我傻逼,其实不知道我有多牛逼. 湘鄂情董事长孟凯的面前齐刷刷摆着四部手机. "昨天约了一个事,因为部长不在,要推迟到周末,到时候约好时间我告诉你." "我怀疑这孙子是不是昨天出门就出事了,事情能办,你跟他说." 微信.短信.电话,坐在我们面前的孟凯在不同手机的不同应用之间频繁切换,以至于已经很难有整块时间