Learning Cross-Modal Deep Representations for Robust Pedestrian Detection
2017-04-11 19:40:22
Motivation：
本文主要是考虑了在光照极端恶劣的情况下，如何充分的利用 thermal data 进行协助学习提升 可见光图像的 特征表达能力，而借鉴了 ICCV 2015 年的一个文章，称为：监督迁移的方法，以一种模态的特征为 label，以监督学习的方式实现无监督学习。说到这里可能比较让人糊涂，什么叫：以监督学习的方式实现无监督学习？说道监督学习，因为这里 training RGB modal 是以监督学习的方式进行训练的，因为标签是以 thermal 提取出来的特征为调整的目标（称为 target label）。说到无监督学习，其实这里没有用到人工标注的数据，只是用到了网络提取出来的 thermal feature, 而这就是比较好的地方了。这也是那个 Supervised Transfer 文章的主要卖点，而这里作者将其应用到 multi-modal 的情况下。
所以，很自然的就可以知道网络的大致设计：
1. 首先要有特征的跨模态迁移，算是第一阶段：
那么，可以看到上图就是刚刚讲的 监督学习的方式进行特征迁移的过程。
2. 有了这个增强的特征，我们就可以利用这个进行黑暗环境下的行人检测了：
看到这个网络的设计，主要是原始特征和后续增强特征的组合了，然后进行最终的 bounding box regression 以及 softmax 分类。
从而完成整个行人检测算法。效果之所以有提升，主要在于第二个网络提供了更好的 黑暗环境下从 thermal data 那里学习到的 feature。
这就是文章的主题思想了。。。。
作者在两个数据集上做了相关的实验。。。具体结果见原文了。
Reference:
1. Learning Cross-Modal Deep Representations for Robust Pedestrian Detection. In CVPR, 2017.
2. S. Gupta, J. Hoffman, and J. Malik. Cross modal distillation for supervision transfer. In CVPR, 2016.
3. J. Hoffman, S. Gupta, and T. Darrell. Learning with side information through modality hallucination. In CVPR, 2016