论文笔记:Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking

Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking 

 

本文目标在于 tracking performance 和 efficiency 之间达到一种平衡。将 tracking 过程分解为两个并行但是相互协作的部分:

  一个用于快速的跟踪(fast tracking);

  另一个用于准确的验证(accurate verification)。 

  

本文的 Motivation 主要是:

  1. 大部分跟踪的序列,都是比较平坦简单的,但是存在有些非常具有挑战性的片段的存在,使得跟踪的结果不是非常的好。如果处理不好,还会导致跟踪的丢失。本文利用 verifiers 将进行这些关键点的处理。

  2. 计算机视觉当中多线程计算已经非常普遍,特别是 SLAM。By splitting tracking and mapping into two parallel threads, PTAM (parallel tracking and mapping) [23] provides one of the most popular SLAM frameworks with many important extensions.   

  3. 最近快速、准确的跟踪算法提供了有效的 building blocks,并且鼓励我们去寻找组合的解决方法(呵呵了。。。)

 

 

 

创新点:

  1. we propose to build real-time high accuracy trackers in a novel framework named parallel tracking and verifying (PTAV). 

  2. The key idea is : while T needs to run on every frame, V does not. As a general framework, PTAV allows the coordination between the tracker and the verifier: V checks the
tracking results provided by T and sends feedback to V; and V adjusts itself according to the feedback when necessary. By running T and V in parallel, PTAV inherits both the high
efficiency of T and the strong discriminative power of V.

 

==========  分割线  =========

 ======== 以上是 PTAV framework 的流程图,也是两个 tracker 和 verifiers 之间互相协助的过程。 

PTAV Implementation:

1. Tracking 的过程就是利用了 fDSST 跟踪算法,没啥好说的;但是不同的是, the tracker in this paper,存储了所有的中间结果,since sending out last verification request to ensure fast tracing back. 

2. Verifying 是采用了 Siamese network。

  ==>> 当从 tracking 过程中得到的跟踪结果,如果其验证得分低于一个阈值,那么 V 就认为该跟踪结果不可靠,或者说认为已经跟踪失败了。

  此时,V 利用Siamese network,在进行一次检测。具体做法就是利用 region pooling layer 进行一次前传,然后得到许多候选的样本,然后从中选择最好的那个作为检测的结果:

  

  当有了这些检测结果之后,我们在进行一次 check,确认下检测结果是否可信? 其实就是根据检测的置信度和某一阈值进行比较,如果不符合要求,就放大搜索区域,进行再一次的搜索。 

  

 

============================= 算法部分完毕

 实验结果:

 

 想想真可怕,作者居然不辞劳苦的跑了四个数据集。。。

 

时间: 2024-09-20 17:37:57

论文笔记:Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking的相关文章

论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning

论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning  2017-06-06  21:43:53    这篇文章的 Motivation 来自于 MDNet:    本文所提出的 framework 为:                             

论文笔记: Dual Deep Network for Visual Tracking

论文笔记: Dual Deep Network for Visual Tracking  2017-10-17 21:57:08  先来看文章的流程吧 ... 可以看到,作者所总结的三个点在于: 1. 文章将 边界和形状信息结合到深度网络中.底层 feature 和 高层 feature 结合起来,得到 coarse prior map,然后用 ICA-R model 得到更加显著的物体轮廓,以得到更好的似然性模型:  2. Dual network 分别处理两路不同的网络,使得前景和背景更加具

论文笔记之:Visual Tracking with Fully Convolutional Networks

论文笔记之:Visual Tracking with Fully Convolutional Networks ICCV 2015  CUHK 本文利用 FCN 来做跟踪问题,但开篇就提到并非将其看做是一个 黑匣子,只是用来提取特征,而是在大量的图像和 ImageNet 分类任务上关于 CNN 的 feature 做了大量的深度的研究.这些发现促使他们设计了该跟踪系统,他们发现: 不同的卷积层会从不同的角度来刻画目标.顶层的 layer 编码了更多的关于 语义特征并且可以作为种类检测器,而底层的

论文笔记之:Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

  Learning Multi-Domain Convolutional Neural Networks for Visual Tracking CVPR 2016   本文提出了一种新的CNN 框架来处理跟踪问题.众所周知,CNN在很多视觉领域都是如鱼得水,唯独目标跟踪显得有点"慢热",这主要是因为CNN的训练需要海量数据,纵然是在ImageNet 数据集上微调后的model 仍然不足以很好的表达要跟踪地物体,因为Tracking问题的特殊性,至于怎么特殊的,且听细细道来. 目标跟

论文笔记之: Hierarchical Convolutional Features for Visual Tracking

  Hierarchical Convolutional Features for Visual Tracking  ICCV 2015   摘要:跟卢湖川的那个文章一样,本文也是利用深度学习各个 layer 之间提取出来的不同特征进行跟踪.因为各个层次提出来的 feature 具有不同的特征.并且将各个层级的特征用现有的 correlation filter 进行编码物体的外观,我们在每一个层上寻找最佳响应来定位物体. 引言:老套路的讨论了现有的跟踪问题存在的挑战以及现有方法取得的一些进展,并

论文笔记之:Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking

  Spatially Supervised Recurrent Convolutional Neural Networks for Visual Object Tracking  arXiv Paper   Project Page:http://guanghan.info/projects/ROLO/ GitHub:https://github.com/wangxiao5791509/ROLO 摘要:本文提出了一种新的方法进行空间监督 RCNN 来进行目标跟踪.我们通过深度神经网络来学习到

论文笔记之:Multiple Feature Fusion via Weighted Entropy for Visual Tracking

  Multiple Feature Fusion via Weighted Entropy for Visual Tracking  ICCV 2015   本文主要考虑的是一个多特征融合的问题.如何有效的进行加权融合,是一个需要解决的问题.本文提出一种新的 data-adaptive visual tracking approach 通过 weighted entropy 进行多特征融合.并非像许多方法所做的简单的链接在一起的方法,本文采用加权的 entropy 来评价目标状态和背景状态之间

Video Frame Synthesis using Deep Voxel Flow 论文笔记

  Video Frame Synthesis using Deep Voxel Flow 论文笔记 arXiv    摘要:本文解决了模拟新的视频帧的问题,要么是现有视频帧之间的插值,要么是紧跟着他们的探索.这个问题是非常具有挑战性的,因为,视频的外观和运动是非常复杂的.传统 optical-flow-based solutions 当 flow estimation 失败的时候,就变得非常困难:而最新的基于神经网络的方法直接预测像素值,经常产生模糊的结果. 于是,在此motivation的基

Perceptual Losses for Real-Time Style Transfer and Super-Resolution and Super-Resolution 论文笔记

  Perceptual Losses for Real-Time Style Transfer and Super-Resolution and Super-Resolution 论文笔记 ECCV 2016    摘要: 许多经典问题可以看做是 图像转换问题(image transformation tasks).本文所提出的方法来解决的图像转换问题,是以监督训练的方式,训练一个前向传播的网络,利用的就是图像像素级之间的误差.这种方法在测试的时候非常有效,因为仅仅需要一次前向传播即可.但是,