论文笔记之:Semi-Supervised Learning with Generative Adversarial Networks

 

Semi-Supervised Learning with Generative Adversarial Networks

  

  引言:本文将产生式对抗网络(GAN)拓展到半监督学习,通过强制判别器来输出类别标签。我们在一个数据集上训练一个产生式模型 G 以及 一个判别器 D,输入是N类当中的一个。在训练的时候,D被用于预测输入是属于 N+1的哪一个,这个+1是对应了G的输出。这种方法可以用于创造更加有效的分类器,并且可以比普通的GAN 产生更加高质量的样本。 

  将产生式模型应用于半监督学习并非一个新颖的idea,Kingma et al. 在NIPS 2014 就已经探索过此类方法。此处,我们尝试着去做一些和GANs类似的事情,通过D学习到的feature可以在分类器中重复利用。这个表明了学习到的表示的有用性,但是其有几种不需要的属性:

  1. 首先,通过D学到的表示可以帮助改进C并不奇怪---看起来这个很合理,并且应该是work的。然而,看起来学习好的C可以帮助改善D的性能。

  2. 利用 D 学习到的表示不能同时训练 C 和 G。

 

  本文的motivation就是:如果通过改善 D可以改善C,并且改善 C 可以改进 D(which we know improves G)然后我们可以结合一些反馈循环的优势,所有的3个成分都可以相互迭代的相互促进相互学习。 

  

  受到上述原因的启发,本文的贡献点主要有:

  首先,提出将GANs进行拓展,允许其同时学习一个产生式模型和一个分类器。称为:Semi-Supervised GAN, or SGAN. 

  第二,表明了 SGAN改善了分类性能。  

  第三,表明 SGAN 可以明显的改善产生样本的质量 和 减少训练时间。 

 

  The SGAN Model

  判别器网络 D 在常规的 GAN 输出一个预测概率,表明输入图像是从数据产生器得来的概率。 通常是通过前向反馈网络,后面跟着一个 single sigmoid unit, 但是也可以用一个 softmax output layer with one unit for each of the classes [real, fake]. 一旦这个改进完成,就可以看出,D 会有 N+1 个输出单元,分别对应【class-1, class-2, class-N, fake】。在这种情况下,D 就扮演了 C 的角色,我们称之为 D/C。

 

  网络的训练主要还是 Min-Max 的过程:

 

  

 

 

 

 



  我的感受:  

  这个文章左下角有标注:To appear in the Data Efficient Machine Learning workshop at ICML 2016. 篇幅较短,主要是考虑了将 GANs 应用于半监督图像分类的思路。

  考虑了三个成分:产生器 G,判别器 D,分类器 C 。

  从上图中产生的图像来看,效果还是不错的,分类的精度也有提升。 

  看来这种相互促进的网络设计方法,值得我们参考和借鉴。 

  无网络,不对抗!!!

 

  

 

 

时间: 2024-11-10 11:36:01

论文笔记之:Semi-Supervised Learning with Generative Adversarial Networks的相关文章

论文笔记之:UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS

  UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS  ICLR 2016    摘要:近年来 CNN 在监督学习领域的巨大成功 和 无监督学习领域的无人问津形成了鲜明的对比,本文旨在链接上这两者之间的缺口.提出了一种 deep convolutional generative adversarial networks (DCGANs),that have ce

StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks 论文笔记

  StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks    本文将利用 GANs 进行高质量图像生成,分为两个阶段进行,coarse to fine 的过程.据说可以生成 256*256 的高清图像. 基于文本生成对应图像的工作已经有了,比如说 Attribute2Image,以及 最开始的基于文本生成图像的文章等等. Stacked Generated A

论文笔记之:Visual Tracking with Fully Convolutional Networks

论文笔记之:Visual Tracking with Fully Convolutional Networks ICCV 2015  CUHK 本文利用 FCN 来做跟踪问题,但开篇就提到并非将其看做是一个 黑匣子,只是用来提取特征,而是在大量的图像和 ImageNet 分类任务上关于 CNN 的 feature 做了大量的深度的研究.这些发现促使他们设计了该跟踪系统,他们发现: 不同的卷积层会从不同的角度来刻画目标.顶层的 layer 编码了更多的关于 语义特征并且可以作为种类检测器,而底层的

(转)Introductory guide to Generative Adversarial Networks (GANs) and their promise!

  Introductory guide to Generative Adversarial Networks (GANs) and their promise!   Introduction Neural Networks have made great progress. They now recognize images and voice at levels comparable to humans. They are also able to understand natural la

SalGAN: Visual saliency prediction with generative adversarial networks

  SalGAN: Visual saliency prediction with generative adversarial networks 2017-03-17   摘要:本文引入了对抗网络的对抗训练机制来进行显著性物体的预测.虽然我们老板很不喜欢显著性,但是,做显著性检测的人还是会说:这是有意义的.如本文说的:恩,显著性可以作为 soft-attention,来引导其他计算机视觉任务的进行,也可以直接引导 marketing 领域. 本文区别于其他方法最显著的地方在于:the usag

Paper Reading: Perceptual Generative Adversarial Networks for Small Object Detection

Perceptual Generative Adversarial Networks for Small Object Detection 2017-07-11  19:47:46   CVPR 2017   This paper use GAN to handle the issue of small object detection which is a very hard problem in general object detection. As shown in the follow

论文笔记之:Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks

  Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks NIPS 2015    摘要:本文提出一种 generative parametric model 能够产生高质量自然图像.我们的方法利用 Laplacian pyramid framework 的框架,从粗到细的方式,利用 CNN 的级联来产生图像.在金字塔的每一层,都用一个 GAN,我们的方法可以产生更高分辨率的图像.      

(转)Deep Learning Research Review Week 1: Generative Adversarial Nets

Adit Deshpande CS Undergrad at UCLA ('19) Blog About Resume Deep Learning Research Review Week 1: Generative Adversarial Nets Starting this week, I'll be doing a new series called Deep Learning Research Review. Every couple weeks or so, I'll be summa

论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning

论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning  2017-06-06  21:43:53    这篇文章的 Motivation 来自于 MDNet:    本文所提出的 framework 为: