基于图卷积网络的图深度学习

更多深度文章,请关注云计算频道:

https://yq.aliyun.com/cloud

        基于图卷积网络的图深度学习


先简单回顾一下,深度学习到底干成功了哪些事情!

深度学习近些年在语音识别,图片识别,自然语音处理等领域可谓是屡建奇功。ImageNet:是一个计算机视觉系统识别项目, 是目前世界上图像识别最大的数据库,并且被业界熟知。
我们先回顾一下,没有大数据支撑的欧式深度学习技术。对于一个字母“Z”的识别,我们通常是建立一个2D网格(点阵),如果将其中的点连接起来,定义这样的连接方式所形成的就是“Z”。然后是用其他字母来测试,这个模型的正确性。



传统深度学习的方法,实际上就是一种手工设计特征的过程。而且,在准确率上没有保障。而真正的深度学习,端到端的学习,其中的过程到底发生了什么,设计者什么也不知道,自然也不会人为的去干涉。


如果数据不能网格化,那么CNNs就失去了作用。所以,CNNs在一定程度上还是有很多缺陷的。例如图结构数据,如何处理?在现实世界中这样的例子很多很多:社交网络(著名的六度理论),万维网,知识图,等等这些都是图结构,不是网格结构,对于这些我们该怎么解决。


下面是一个简单的解决图结构数据的方法。

这个方法到底会出现什么样的问题呢?为了解决问题,我们需要什么呢?

先简单介绍一下第一阶消息传递的GCNs,这个理论在2009年就已经被提出来了。

接下来,我们了解一下GCN模型架构!

GCN模型架构到底能干什么呢?先举个小栗子。

GCN模型与大名鼎鼎魏勒雷曼算法的关系到底是什么样的呢?


图的半监督分类也是一种不错的方法。

半监督分类嵌入方法——两步管道,这个方法也有一些问题,但我想这是可以解决的。

举个小栗子,视频链接是一个关于半监督学习的小例子,有兴趣的朋友可以去看一下。

视频:
http://tkipf.github.io/graph-convolutional-networks/
此外,还有关于引文网络的分类,也可以 通过这个方法实现。

下面2-layerGCN模型的实验结果


还要一些这个方法最近应用到其他程序的案例。

用这个方法关于图auto-encoders链接的预测。下面是auto-encoders的介绍

Autoencoders
进一步的阅读
Blog post Graph Convolutional Networks:
http://tkipf.github.io/graph-convolutional-networks
Code on Github:
http://github.com/tkipf/gcn
Kipf & Welling, Semi-Supervised Classification with Graph Convolutional Networks, ICLR 2017:
https://arxiv.org/abs/1609.02907
Kipf & Welling, Variational Graph Auto-Encoders, NIPS BDL Workshop, 2016: https://arxiv.org/abs/1611.07308

作者:Thomas Kipf
本文由北邮@爱可可-爱生活推荐,阿里云翻译。

文章原标题《Deep Learning on Graphs with Graph Convolutional Networks》,作者:Thomas Kipf,译者:袁虎,审阅:我是主题曲哥哥,附件为原文的pdf。
文章为简译,更为详细的内容,请查看原文

时间: 2024-11-03 02:47:48

基于图卷积网络的图深度学习的相关文章

一文概览图卷积网络基本结构和最新进展(附视频&代码)

本文介绍了图卷积网络的基本结构和最新的研究进展,并指出了当前模型的优缺点.通过对半监督学习应用 GCN 证明三层 GCN 模型不需要节点的任何特征描述就可以对只有一个标签实例的类进行线性分离. GitHub 链接:https://github.com/tkipf/gcn 论文链接:https://arxiv.org/abs/1609.02907 概览 在当今世界中许多重要的数据集都以图或网络的形式出现:社交网络.知识图表.蛋白质交互网络.万维网等.然而直到最近,人们才开始关注将神经网络模型泛化以

BNN - 基于low-bits量化压缩的跨平台深度学习框架

写在最前     本文介绍阿里IDST部门研发.基于low-bits量化压缩的深度学习框架BNN(Binary Neural Network),BNN具有以下特点:     1) 跨平台:BNN可以在不同的主流硬件平台上进行部署,包括ARM系列移动端处理器.Intel系列服务器以及正在开发中的NVidia的图形处理器:     2)压缩比高:使用了自研发low-bits量化压缩技术,在算法精度几乎无损的前提下能达到40-100倍压缩率,而且我们也提供无需重新训练的压缩方式,极大简化了迭代周期:

网络-如何解决深度学习输入层不是0和1的情况

问题描述 如何解决深度学习输入层不是0和1的情况 想使用限制玻尔兹曼机构建的深度学习网络,如果输入层不是0或者1的情况,应该如何解决?记得好像是有公式的,忘各位大神 帮忙解答下. 解决方案 http://blog.csdn.net/zouxy09/article/details/8781396/ 应该可以转换成0,1的么 http://blog.csdn.net/roger__wong/article/details/43374343 就是讲完全图变成二分图的过程吧 解决方案二: 离散的归一化,

深度学习必备手册(上)

更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud 请收下这份关于人工智能的根目录--博客整理系列(一) 关于数据科学的那些事--博客整理系列(二) 机器学习必备手册--博客整理系列(三) 扩展眼界的都在这--博客整理系列(四) 深度学习必备手册--博客整理系列(六) 深度学习的概念源于人工神经网络的研究,如果追溯深度学习的概念还是要回到2006年Hinton那篇论文,基于深信度网(DNB)提出非监督贪心逐层训练算法,未解决深层结构相关的优化难题出现的论文.

构建深度学习系统的十条经验

深度学习是机器学习的一个子领域,它有着自己的独特研究对象.以下是我们在构建深度学习系统时总结的10条经验.这些经验虽然看似有些笼统,但他们确实是关于深度学习在结构化和非结构化数据领域里的应用. 作者:Carlos E. Perez 原文链接:https://medium.com/intuitionmachine/10-lessons-learned-from-building-deep-learning-systems-d611ab16ef66#.j0tn4dwpx 更多的专家会更好 通过使用更

深度学习在人脸识别中的应用——优图祖母模型的“进化”

雷锋网按:本文转自腾讯优图,着重介绍了深度学习在人脸识别中的应用,首先回顾了人脸识别的历史,接着介绍优图在人脸识别中的优势,及其"进化过程". 说到人工智能(Artificial Intelligence, AI)人们总是很容易和全知.全能这样的词联系起来.大量关于AI的科幻电影更给人工智能蒙上一层神秘的色彩.强如<黑客帝国>.<机械公敌>中的AI要翻身做主人统治全人类.稍弱点的<机械姬>里EVA懂得利用美貌欺骗中二程序员,杀死主人逃出升天.最不济也

360副总裁颜水成博士:技术与产品并重,1×1卷积让深度学习更出彩 | CCF-GAIR 2017

7 月 7 日,由中国计算机学会(CCF)主办,雷锋网与香港中文大学(深圳)承办的CCF-GAIR 2017全球人工智能与机器人峰会在深圳大中华喜来登酒店如期开幕.奇虎360副总裁.首席科学家.IEEE Fellow.IAPR Fellow颜水成博士带来了主题为<深度学习:精度极限VS用户体验>的演讲.这是大会首日最后一场演讲. 作为360 人工智能研究院院长,颜水成博士曾在新加坡国立大学领导机器学习与计算机视觉实验室,他的主要研究领域是计算机视觉.机器学习与多媒体分析,其团队提出的"

《中国人工智能学会通讯》——7.2 基于深度学习的自然语言处理

7.2 基于深度学习的自然语言处理 深度学习旨在模拟人脑对事物的认知过程,一般是指建立在含有多层非线性变换的神经网络结构之上,对数据的表示进行抽象和学习的一系列机器学习算法.该方法已对语音识别.图像处理等领域的进步起到了极大的推动作用,同时也引起了自然语言处理领域学者的广泛关注. 如图 1 所示,深度学习为自然语言处理的研究主要带来了两方面的变化,一方面是使用统一的分布式(低维.稠密.连续)向量表示不同粒度的语言单元,如词.短语.句子和篇章等:另一方面是使用循环.卷积.递归等神经网络模型对不同的

基于深度学习的智能安防系统结构探讨

智能安防的概念提出已经有相当长时间了,但是道路并不平坦,受限于计算机视觉算法和前端设备处理能力,许多功能一直无法成熟应用.但是厂商在宣传智能水平方面往往有夸大的冲动,使得产品在部署使用后,实际性能与用户期待相去甚远.虽然这种情况使得安防领域的智能化陷入了一段尴尬时期,同时也降低了用户的期望值,使用户更加理性的看待智能安防技术,也使得真正优秀的智能安防产品能得到机会.最近数年来深度学习算法的快速发展,在各类人工智能问题上的优异表现给智能安防领域带来了新的机遇.在深度学习迅速发展的大背景下,本文就智