论文笔记之: Hierarchical Convolutional Features for Visual Tracking

 

Hierarchical Convolutional Features for Visual Tracking 

ICCV 2015

 

  摘要:跟卢湖川的那个文章一样,本文也是利用深度学习各个 layer 之间提取出来的不同特征进行跟踪。因为各个层次提出来的 feature 具有不同的特征。并且将各个层级的特征用现有的 correlation filter 进行编码物体的外观,我们在每一个层上寻找最佳响应来定位物体。

  

  引言:老套路的讨论了现有的跟踪问题存在的挑战以及现有方法取得的一些进展,并且引出了研究 CNN 各个 layer 的特征对跟踪结果的影响。

  现有的 deep learning 的跟踪方法基本都是依赖于训练分类器的方式来实现物体的跟踪。但是这种做法存在两个技术上挑战:

  1. 大部分的算法都只是用到了最后一层提出的 feature,这一层的特征其实是具有一定的偏差性的;

    对于高层视觉识别问题,这些特征提供了有效的语义信息。但是跟踪并不是识别其semantic classes,而是去定位物体的位置。

    那么,很明显,仅仅用最后一层的特征,并不是最优的选择。

  2. 第二个问题是关于提取训练样本。

       训练一个 robust 的分类器需要大量的两本,但是这个在跟踪问题上,并不是非常的适合。因为在一个物体周围进行采样,很难确定哪个算是正样本,哪个是负样本。

  

  本文通过两种方式来解决这两个技术难题。

  (1)利用神经网络的各个层的特征,联合的来表示所要跟踪的物体;

  (2)在各个层次自适应学习 correlation filter,而不必去进行样本的 sampling。

  

  本文总结的几个贡献点为:

  1. 结合了各个层次的特征,进行物体的特征表示;

  2. 采用线性 correlation filter 的方式在每一层来降低 sampling ambiguity。我们 infer 物体位置是通过一种 multi-level correlation response map in a coarse-to-fine fashion. 

  3. 充分的实验。

 

 



 

  为了更好的理解现有方法和传统方法的区别和联系,本文的相关工作写的还是挺不错的。现在我们来分析下这个小节:

 

  Tracking by Binary Classifiers

  跟踪问题可以看做是局部窗口内的一个重复的检测问题,即:tracking by detection的思路。这种分类器学习的方式经常是 online的。

  但是,在物体周围采样本的时候,经常会遇到模糊采样的问题,导致轻微的不准确采样就会使得分类器不准确,从而导致逐渐的偏移。已经有许多算法提出以尝试解决上述问题。核心的 idea就是如何合适的更新一个判别分类器来降低 drift。这里作者给出了许多例子,这里就不一一列举了。 

 

  Tracking by Correlation Filters

  相关滤波最近吸引了很多研究者的眼球,由于其采用了快速傅里叶变换,速度极快。基于 correlation filter 的跟踪方法回归所有输入特征的 circular-shifted versions 到一个目标高斯函数,从而不使用 hard-thresholded samples of target appearance.

  本文也是基于这种方法来做得,不同的地方在于,本文的方法结合了不同层次上的特征,而不是传统手工特征。 

  那么,看到这里,其实本文的工作一句话来说就是:组合了深度学习的特征 +  现有的 correlation filter 进行跟踪。其实,学术贡献点并不是很大,居然可以发 ICCV 。。。

  

  Tracking by CNNs .

   视觉表示是跟踪问题中非常重要的问题,传统方法设计了很多非常有效的表示,例如:子空间表示,颜色直方图。最近CNN 的表示已经被广泛的验证了其有效性。

   然后作者列举了几个深度学习的工作,指出其不足之处在于:仅仅用到了最后一层的 feature,这是远远不够的。

   

  可以看出相关工作的写作,是非常具有针对性的。列举前人工作的时候,要根据自己方法的特色来划分类别和指出别人的不足。

  本文的贡献点是:CNNs +  different feature + correlation filter 

  所以,作者从这三个角度,分别攻击了前人方法的不足,其实是借助了另外的两个成分来弥补当前谈论的方法的缺陷。这个写作技巧可以借鉴在以后的文章写作中去。 

 

  下面这幅图展示了各个 layer 特征的不同。

 



 

  本文所提出的方法流程

 

    文章的主题部分大致分为几个部分:

  1. 卷积特征的提取;

  2. Correlation Filter 的相关介绍;

  3. Coarse-to-Fine Translation Estimation ;

  4. Model Update 

 

  本文的算法流程如下所示:

  

 

 

 

 

 



  实验结果:



 

  

  总结:

  个人感觉这个文章的学术贡献点,并不是非常的充分,只是简单的组合。不过看来,大家对于如何更好的利用深度学习来做跟踪问题,并没有特别好的办法。只是简单的利用其提出的强有力的特征来表达所跟踪的问题。所用的跟踪算法也是现有的,只是借用了不同 CNN layer 的特征。那么,未来的跟踪算法该如何更好的借助 CNN 这个工具,得到更加有效,智能的跟踪算法呢?

路漫漫其修远兮,吾将上下而求索 。。。

 

  

 

 

 

 

 

时间: 2024-09-22 20:36:37

论文笔记之: Hierarchical Convolutional Features for Visual Tracking的相关文章

论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning

论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning  2017-06-06  21:43:53    这篇文章的 Motivation 来自于 MDNet:    本文所提出的 framework 为:                             

论文笔记: Dual Deep Network for Visual Tracking

论文笔记: Dual Deep Network for Visual Tracking  2017-10-17 21:57:08  先来看文章的流程吧 ... 可以看到,作者所总结的三个点在于: 1. 文章将 边界和形状信息结合到深度网络中.底层 feature 和 高层 feature 结合起来,得到 coarse prior map,然后用 ICA-R model 得到更加显著的物体轮廓,以得到更好的似然性模型:  2. Dual network 分别处理两路不同的网络,使得前景和背景更加具

论文笔记之: Recurrent Models of Visual Attention

Recurrent Models of Visual Attention Google DeepMind   模拟人类看东西的方式,我们并非将目光放在整张图像上,尽管有时候会从总体上对目标进行把握,但是也是将目光按照某种次序(例如,从上倒下,从左到右等等)在图像上进行扫描,然后从一个区域转移到另一个区域.这么一个一个的区域,就是定义的part,或者说是 glimpse.然后将这些区域的信息结合起来用于整体的判断和感受. 站在某个底层的角度,物体的显著性已经将这个物体研究的足够透彻.本文就是从这些

(转)CVPR 2016 Visual Tracking Paper Review

  CVPR 2016 Visual Tracking Paper Review    本文摘自:http://blog.csdn.net/ben_ben_niao/article/details/52072659    http://blog.csdn.net/ben_ben_niao/article/details/52078727   做了一段时间的跟踪,最近CVPR大会也过了一段时间了,这次将CVPR2016跟踪的文章做一次总结,主要是对paper的方法,创新,改进等方面进行介绍和总结.

论文笔记之:Visual Tracking with Fully Convolutional Networks

论文笔记之:Visual Tracking with Fully Convolutional Networks ICCV 2015  CUHK 本文利用 FCN 来做跟踪问题,但开篇就提到并非将其看做是一个 黑匣子,只是用来提取特征,而是在大量的图像和 ImageNet 分类任务上关于 CNN 的 feature 做了大量的深度的研究.这些发现促使他们设计了该跟踪系统,他们发现: 不同的卷积层会从不同的角度来刻画目标.顶层的 layer 编码了更多的关于 语义特征并且可以作为种类检测器,而底层的

论文笔记之:Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

  Learning Multi-Domain Convolutional Neural Networks for Visual Tracking CVPR 2016   本文提出了一种新的CNN 框架来处理跟踪问题.众所周知,CNN在很多视觉领域都是如鱼得水,唯独目标跟踪显得有点"慢热",这主要是因为CNN的训练需要海量数据,纵然是在ImageNet 数据集上微调后的model 仍然不足以很好的表达要跟踪地物体,因为Tracking问题的特殊性,至于怎么特殊的,且听细细道来. 目标跟

论文笔记之:UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS

  UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS  ICLR 2016    摘要:近年来 CNN 在监督学习领域的巨大成功 和 无监督学习领域的无人问津形成了鲜明的对比,本文旨在链接上这两者之间的缺口.提出了一种 deep convolutional generative adversarial networks (DCGANs),that have ce

论文笔记:Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking

Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking    本文目标在于 tracking performance 和 efficiency 之间达到一种平衡.将 tracking 过程分解为两个并行但是相互协作的部分: 一个用于快速的跟踪(fast tracking): 另一个用于准确的验证(accurate verification).  本文的 Motivat

论文笔记之:Multiple Feature Fusion via Weighted Entropy for Visual Tracking

  Multiple Feature Fusion via Weighted Entropy for Visual Tracking  ICCV 2015   本文主要考虑的是一个多特征融合的问题.如何有效的进行加权融合,是一个需要解决的问题.本文提出一种新的 data-adaptive visual tracking approach 通过 weighted entropy 进行多特征融合.并非像许多方法所做的简单的链接在一起的方法,本文采用加权的 entropy 来评价目标状态和背景状态之间