浅析阿里数据技术架构(下)大规模分布式知识图谱

阿里数据要做的是:把数据真正打通,深度挖掘数据的价值,为业务创新应用提供数据决策基础和依据。

下面具体介绍我们在大规模分布式知识图谱上的技术实践。

为什么需要知识图谱?

大规模知识图谱抽象也是一种图计算。基于大规模分布式知识图谱做了哪些工作?我们为什么要做这样一件事情?

阿里巴巴的生态非常丰富,而丰富的业态背后给我们数据工作者带来的困难就是,我们常常需要接入各种数据,并将他们有效地管理和整合起来,传统的方法,我们可能需要花几个月,投入几十个人做这样一件事情,对数据进行打标。

但是,假设我们已经知道数据和数据之间的一些关系,而且也知道数据表中哪些表被调用的次数最多。

那么,如果我只是对调用次数最多的表进行非常精确地打标,然后用基于知识图谱的方法,对剩下的90%表进行推理式的Label打标,就能极大节约了人力成本。

所以这就是我们为什么要用知识图谱去做数据接入这样的事情。那么,对于数据管理也是同样的道理。

假如只有1G的数据,你可以很快地回答出数据分布的情况和质量。而我们的现状时,我们的数据达到ZB级别的规模。因此对数据管理来说,挑战不容小觑。

同样地来看看数据应用方面的情况。我们基于数据应用,实际上也有一款产品叫做“数据地图”。

数据地图是干什么呢?其实就是当你进行一个查询,在这个产品里会自动帮你反馈出一个最相关的表。

延伸开来的是我们想要做得下一步工作:当你下一次进行查询后,能直接返回出相应的SQL,再产生出相应的表和相应的结果——这是我们想做的智能取数。

下面介绍一下知识图谱在数据管理和数据应用方面的落地进展。

我们开发了一些基于几十万张、上百万张ODPS表的知识图谱。

说一下我们的结果。在数据资产管理中,有一项重要的工作就是判断数据的归属。我们有上百万张的线上表,其中可能有几万张到几十万张的表能够比较清楚判断是属于哪个团队,可以在数据版图上打标。但是,还有上百万张没有打标的表,因为这个表属于异构的。如果在之前,通过一些人工的规则,它的归属判断准确率大概是55%,而通过我介绍的整个知识图谱的框架,准确率可以提升到88%。所以,对数据资产管理其实是有一个非常显著性的准确性上的提高。

接下来讲一下知识图谱在数据应用当中的一个技术框架,其实也是比较类似的。

数据管理技术架构

首先,数据层。因为是一个知识图谱的构建,所以上面要加个辞典层和语义层。

再上面就是基于推理层。在推理上,用的方法有大家比较熟悉的像随机游走和延伸等。那基于标注的,我们其实尝试了很多种方法,比方说张量分解等。

目前为止比较成功的是PRA(pathranking algo),这个在知识图谱上面还是比较成功的一件事情。什么是PRA,其实是把这些路径抽象出来,然后就是学习一下再推荐这个路径,但是它对于我刚才说的很多文本信息并没有有效的利用起来,比如对于这些表的描述,在最原始的PRA当中路径本身的位置是有考虑进去的,当然我对于这些描述,可能会知道也许这个路径更有效。所以,后来我们看了一下这个Trans系列,其实类似word2vecvs tfidf。确实在我们整个的刚才说的案例当中也是有比较大的提高。

刚才说的这些可能都是比较抽象的,我们可以看一个具体的例子,在数据地图当中,知识图谱到底是怎么工作的。

你打出一个查询,首先就是基本的分词与分析,其实大家可以看到,我们这个场景也是相当于搜索反馈一个结果,但是其实它和传统的搜索是不一样的:传统的搜索像Google、百度,其实它关心的指标是你准确的那个值是不是在TOP5,或者TOP10。

但是,我们这个场合下一定要反馈唯一的、准确的表。所以,接下来我们会有一些模板匹配,所以这里非常重要的一部分是人机交互这一块,把人机交互的结果,就是人要告诉你说,这个结果是否是他想到的,然后知识图谱整个刚才的框架有效的结合在一起,然后产生出你真正想找到那张表,然后整个的这个过程,其实这些是一些抽象出来的模板,这些模板可能是不够的。因为随着人的查询越来越多,模板也需要慢慢的扩展。

现在我们还是基于一些规则判断一些模板,未来我们也会尝试,让这个机器自动产生一些模板。

原文链接

时间: 2024-09-15 13:55:28

浅析阿里数据技术架构(下)大规模分布式知识图谱的相关文章

探访美式微博Twitter的大数据技术架构

  Twitter要上市了,再一次让全球瞩目,正是它所创造的twitte让互联网进入了微创新的时代.虽然它没有进入中国,但受其启发的新浪微博和腾讯微博在中国互联网上也成为一道亮丽的风景.Twitter在全球拥有巨大的用户群,海量的社交信息流,支撑其运转的大数据技术架构也颇受人关注. Twitter的大数据架构也是分为基于Hadoop的批处理和基于Storm的实时流计算等主要类型,主要基于开源项目中进行开发和发展.Twitter收集数据采用的是Facebook开源的日志工具Scribe,批处理地存

Yahoo的新一代大数据技术架构解析

Hadoop是当前最流行的大数据技术架构,很多大数据应用都是建立在Hadoop平台基础之上.很多人都知道Hadoop是Apache基金会的顶级开源项目,但并不是每个人都知道,在Hadoop的演进发展中,70%的贡献是来自Yahoo公司. Yahoo公司是Hadoop平台最大的用户.最有力的应用支持者和Hadoop商业化的重要推动者,Hadoop一直是Yahoo公司云计算平台的核心,Yahoo公司最大的单个Hadoop集群由4000个节点组成,Yahoo公司的推荐系统.广告分析等应用均建立在Had

浅析阿里数据新能源技术架构(上)

如果大家对阿里巴巴的新闻比较关注,最近可能会频繁听到阿里巴巴谈到"五新"这个词,"五新"中的其中一个概念是新能源.其实新能源就是大数据本身.技术.数据和算法三个方面结合在一起,才可以把数据真正用起来. 大家都知道,Google的数据量是很大的,但是它的数据源本身其实比较单一.以Google search,Google map等为主导,并没有太多和商业有直接相关的数据. 再来看看,Facebook.它更多的是社交行为的数据,缺少出行数据.浏览器数据.或者类似优酷的视听

微服务架构下的分布式数据管理

1.1 分布式数据管理之痛点 为了确保微服务之间松耦合,每个服务都有自己的数据库, 有的是关系型数据库(SQL),有的是非关系型数据库(NoSQL). 开发企业事务往往牵涉到多个服务,要想做到多个服务数据的一致性并非易事,同样,在多个服务之间进行数据查询也充满挑战. 我们以一个在线B2B商店为例,客户服务 包括了客户的各种信息,例如可用信用等. 管理订单,提供订单服务,则需要验证某个新订单与客户的信用限制没有冲突. 在单体应用中,订单服务只需要使用传统事务交易就可以一次性检查可用信用和创建订单.

专访携程李亚锋:大数据技术融合下的Spark更具魅力

大数据"作为当下最火热的IT行业词汇,在主流的数据处理工具当中Hadoop和Spark都被大家所熟悉.不过,目前基于内存计算的Spark适合各种迭代算法和交互式数据分析,能够提升大数据处理的实时性和准确性,已经逐渐获得很多企业的支持.这是否意味着我们应该彻底抛弃Hadoop?在前不久的北京Spark亚太峰会上 ,记者有机会专访到携程大数据平台高级经理李亚锋,为大家分享如何通过Spark与Hadoop大数据技术间的融合,实现优势互补,引导企业发现用户的潜在需求. 李亚锋,携程大数据平台高级经理,负

2017双11技术揭秘—阿里巴巴数据库技术架构演进

作者:谌文涛(俞月) 每年电商双11大促对阿里技术人都是一次大考,对阿里数据库团队更是如此.经过9年的发展,双11单日交易额从2009年的0.5亿一路攀升到2017年的1682亿,秒级交易创建峰值达到了32.5万笔/秒.支撑这一切业务指标的背后,是底层技术体系的一次次迭代升级. 阿里巴巴数据库系统经历了10多年的发展,今年正式确定从 第三代大规模分库分表 向 第四代X-DB分布式数据库系统 演进的目标.X-DB分布式数据库的落地已经在2017年双11大促中获得了可行性验证,同时底层开始引入存储计

阿里数据的十年进化

 大数据时代,阿里巴巴集团是最有资本进行烂漫遥想的公司之一,阿里数据平台事业部的服务器上,攒下了超过100PB已"清洗"的数据. 马云曾在2012年公开宣称,"平台.数据.金融"是阿里集团和阿里小微集团未来的指导路线.在此前后,战略布局已经渐次展开: 2010年,推出重整的搜索业务"一淘",2011年收购数据属性公司CNZZ,近期又接连收购友盟.入股新浪微博和高德,抢占数据源;在物流领域,阿里由天猫主导建设了与各大配送公司对接的"天网体

突破流计算极限挑战后,阿里将发力图计算及大规模机器学习

近日,体系结构顶级会议ASPLOS首次在中国举办,阿里巴巴副总裁.阿里云首席科学家周靖人发表主旨演讲,介绍了阿里巴巴云的大数据和AI计算平台,以及其中广泛的产品和服务.同时透露阿里接下来将在图计算和大规模机器学习领域进一步发力. 随着物联网传感器.移动应用和在线服务的普及和广泛应用,越来越多的数据以流的形式源源不断的产生.基于数据流的实时分析变得越来越重要,例如实时化的商业决策依赖高时效性的报表,在线服务优化需要动态捕捉用户行为等. 这一系列应用的背后离不开大规模流计算平台的支撑.从系统架构角度

2014中国大数据技术大会圆满落幕

2014年12月12-14日,作为大数据领域最具影响.规模最大的IT盛会--2014中国大数据技术大会暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店圆满落幕.大会历时三天,以国际化的视野,分享了海内外大数据技术的发展趋势:从技术与实践角度探讨"大数据生态系统"."大数据技术"."大数据应用"."大数据基础设施 "等新技术应用和实践经验:通过创新大赛和培训课程等特色活动,解密大数据创业热点,分享行业实战经验.2014中国大