2019 CVPR之ReID:Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Id

Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Identification
当前的问题及概述：
为了减少模内和模间的差异，我们提出了一种分层模间解调(Hi-CMD)方法，本文提出的方法有效的将ID-discriminative特征和ID- excluded特征分离出来，进而进行分别学习。

ID-discriminative（包含ID特征）：性别、穿着（编码器EP），浅层信息，输出张量
ID- excluded（不含ID特征）:姿态、光照（编码器Ea），深层信息，输出向量
模型及loss：

本文提出的Hi-CMD框架由两部分组成：身份保持人物图像生成(ID-PIG)网络和层次特征学习(HFL)模块，我们的目标是从交叉模态图像中分离出ID-discriminative和ID- excluded。
2.1Identity Preserving Person Image Generation
2.1.1Hierarchical representation（层级表示）
首先将RGB和红外图像分别输入，EP1和EP2分别提取RGB和红外图像的ID-discriminative信息P1、P2，Ea1和Ea2分别提取RGB和红外图像的ID-discriminative和ID- excluded信息，其中as1表示包含ID-discriminative的全局信息，ac1表示光照信息，ac2表示姿态信息，其中ac和ap统称为ID- excluded信息，即aex。
2.1.2Disentangling ID-excluded factors

以RGB输入图为例，首先通过same-reconstruction loss将rgb图通过前面提取好的p1、as1、aex1信息生成原图，该部分是对生成器G的一种训练，然后通过cross-reconstruction loss，将rgb图通过自身的姿态和光照信息aex1及红外图像的性别、穿着信息p2及as2生成转换姿态性别的rgb图像，同时通过code reconstruction loss，讲逆生成器中学习的aex1^信息尽可能和aex1距离越短越好，最后通过cycle loss将生成的图片经过一个逆生成器可以生成原输入图，具体loss如下：




同时将RGB和红外图像的ID- excluded经过一个KL散度，使两个信息其更接近高斯分布：

之后，对生成的图像及原图，输入到判别器D，D中loss为GAN loss:

2.2Hierarchical Feature Learning
这一模块是将asi和pdi级联后进行相似学习和分类任务，其中loss选用triplet loss和CE loss：


2.3overall：
端对端学习总loss：

实验：
数据集：SYSU-MM01和RegDB

消融实验：


与其他方法比较:

visible cvpr CROSS for