SIFT描述子及特征匹配——python实现

Maleah ·

更新时间:2024-09-21

· 565 次阅读

文章目录数据集SIFT描述子1.原理2.代码3.结果4.分析描述子匹配1.原理2.代码3.结果4.分析图片可视化匹配1.原理2.代码3.结果4.分析遇到的问题及解决方法1.图片尺寸不同，无法进行特征匹配2.VLfeat无法使用3.下载安装pydot时报错 数据集

因为疫情原因没有口罩出门，本实验取了某游戏中英雄的正面，左右侧面，背面全身像作为数据集，共4位英雄，16张全身像。

SIFT描述子 1.原理

SIFT描述子生成过程中，考虑的是该特征点邻域特征点的分布情况（而没有利用全局信息）。本步骤中主要计算过程包括：确定特征点的方向和生成特征描述符。
描述子生成步骤：
1.构造高斯差分空间图像。
2.寻找极大极小值点
3.精确定位极值点
4.选取特征点主方向
5. 构造特征点描述算子。

2.代码

# -*- coding: utf-8 -*-
from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
from PCV.localdescriptors import harris
# 添加中文字体支持
from matplotlib.font_manager import FontProperties
font = FontProperties(fname=r'c:\windows\fonts\SimSun.ttc', size=14)
imname = 'C:\Python\Pictrue\wangzhe11.jpg'
im = array(Image.open(imname).convert('L'))
sift.process_image(imname, 'empire.sift')
l1, d1 = sift.read_features_from_file('empire.sift')
figure()
gray()
subplot(131)
sift.plot_features(im, l1, circle=False)
title(u'SIFT特征',fontproperties=font)
subplot(132)
sift.plot_features(im, l1, circle=True)
title(u'用圆圈表示SIFT特征尺度',fontproperties=font)
# 检测harris角点
harrisim = harris.compute_harris_response(im)
subplot(133)
filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)
imshow(im)
plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')
axis('off')
title(u'特征点',fontproperties=font)
show()

3.结果

sift描述子兴趣点展示
在这里插入图片描述

4.分析

由于代码中的阈值为0.1，直接过滤了亮度较低的点，同时SIFT描述子消除了边界上的点，所以有些建模较平坦或是灰度化后图像亮度较低的英雄会找不到特征点，如下图
在这里插入图片描述

描述子匹配 1.原理

匹配六步骤：
1.生成高斯差分金字塔（DOG金字塔），尺度空间构建
2. 空间极值点检测（关键点的初步查探）
3. 稳定关键点的精确定位
4. 稳定关键点方向信息分配
5. 关键点描述
6. 特征点匹配
具体原理在下面博客中有详细介绍，这里不多赘述

https://www.learnopencv.com/histogram-of-oriented-gradients/

2.代码

from PIL import Image
from pylab import *
import sys
from PCV.localdescriptors import sift
if len(sys.argv) >= 3:
  im1f, im2f = sys.argv[1], sys.argv[2]
else:
#  im1f = '../data/sf_view1.jpg'
#  im2f = '../data/sf_view2.jpg'
  im1f = 'C:\Python\Pictrue\wangzhe\wangzhe1.jpg'
  im2f = 'C:\Python\Pictrue\wangzhe\wangzhe12.jpg'
#  im1f = '../data/climbing_1_small.jpg'
#  im2f = '../data/climbing_2_small.jpg'
im1 = array(Image.open(im1f))
im2 = array(Image.open(im2f))
sift.process_image(im1f, 'out_sift_1.txt')
l1, d1 = sift.read_features_from_file('out_sift_1.txt')
figure()
gray()
subplot(121)
sift.plot_features(im1, l1, circle=False)
sift.process_image(im2f, 'out_sift_2.txt')
l2, d2 = sift.read_features_from_file('out_sift_2.txt')
subplot(122)
sift.plot_features(im2, l2, circle=False)
#matches = sift.match(d1, d2)
matches = sift.match_twosided(d1, d2)
print '{} matches'.format(len(matches.nonzero()[0]))
figure()
gray()
sift.plot_matches(im1, im2, l1, l2, matches, show_below=True)
show()

3.结果

匹配成功1（旋转）：
在这里插入图片描述
匹配成功2（全身和特写）：

匹配不成功：

值得一提的是，我也拿了同一英雄两款差别不大的皮肤进行特征匹配，匹配的结果却不尽如人意：

4.分析

该小节匹配不成功情况特地选用同系列画风相近皮肤的英雄来做特征匹配，由实验结果可知：对同一英雄进行旋转，匹配成功；对同一英雄进行全身和特写匹配，匹配都成功，需要指出的是，由于英雄有动态特效，每一个时刻英雄的形态可能会有一些细微变化，所以全身和特写这一组匹配的match不多，但仍然是匹配成功；，对不同英雄进行特征匹配匹配失败；同种英雄两个相近皮肤的光照是不一样的，特征匹配也少，由此可见光照对SIFT特征匹配还是有一定影响的。
综上所述可以得到：匹配具有角度和旋转不变性，尺度不变性。

图片可视化匹配 1.原理

1.对图像使用SIFT特征提取，将特征保存在和图像同名的.sift文件中。
2.通过图像间是否具有匹配的局部描述子来定义图像间的连接，确认连接关系。
3.如果图像匹配的数目高于一个阈值（如2），则使用边来连接相应的图像节点。

2.代码

from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
import matplotlib.pyplot as plt
im1f = 'C:\Python\Pictrue\wangzhe\wangzhe1.jpg'
im1 = array(Image.open(im1f))
sift.process_image(im1f, 'out_sift_1.txt')
l1, d1 = sift.read_features_from_file('out_sift_1.txt')
arr=[]
arrHash = {}
for i in range(1,16):
    im2f = (r'C:\Python\Pictrue\wangzhe\wangzhe'+str(i)+'.jpg')
    im2 = array(Image.open(im2f))
    sift.process_image(im2f, 'out_sift_2.txt')
    l2, d2 = sift.read_features_from_file('out_sift_2.txt')
    matches = sift.match_twosided(d1, d2)
    length=len(matches.nonzero()[0])
    length=int(length)
    arr.append(length)
    arrHash[length]=im2f
arr.sort()
arr=arr[::-1]
arr=arr[:3]
i=0
im1f=suplt(2,1,1)
plt.figure(figsize=(5,12))
for item in arr:
    if(arrHash.get(item)!=None):
        img=arrHash.get(item)
        im1 = array(Image.open(img))
        ax=plt.subplot(221 + i)
        ax.set_title('mate{} '.format(item))
        plt.axis('off')
        imshow(im1)
        i = i + 1
plt.show()

3.结果

在这里插入图片描述