图像检索的本质是特征提取与相似度计算。
相同物体图像检索面临的挑战:光照、尺度、视角、遮挡、背景杂乱等变化。
相似类别图像检索面临的挑战:类内变化大、类间相似性干扰。
图像局部特征:图像关键位置。例如角点(即极值点,例如图像轮廓的连接点)、关键点(分析特定问题有帮助的点)。
尺度不变特征转换(Scale-invariant feature transform 或 SIFT):在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变数。
优点:关注图像局部信息,尺度不变性。
缺点:提取数量不固定,容易受到数字影响。
图像全部特征:图像整体统计信息。例如颜色直方图、CNN特征。
颜色直方图:不同颜色在整幅图像中所占的比例,而并不关心每种色彩所处的空间位置,即无法描述图像中的对象或物体。适于描述难以进行自动分割的图像。
优点:全局信息,维度固定。
确定:对尺度变换敏感。
词袋模型
图像在训练好的CNN中计算feature map:
优点:(1)比较有效的特征
(2)可以使用GPU进行计算
(3)可以利用训练模型的信息
无标签情况下,对图像进行feature map编码:
MAC:max-pooling
GeM:广义归一化编码