基于图匹配算法的关键点匹配方法

1.本发明涉及计算机视觉技术领域，特别涉及一种基于图匹配算法的图像关键点匹配方法。


背景技术：

2.随着计算机技术的不断革新与发展，从上世纪70年代开始，计算机视觉相关领域受到了越来越多的研究者的关注。并且图匹配问题的研究通常有助于解决计算机视觉领域的其他问题，比如人体视频动作跟踪、目标检测与识别、点云配准、三维重建等重要领域。
3.图匹配解决关键点匹配问题的方式，不仅限于利用图像的一阶信息(比如纹理、尺度、旋转等)，图匹配还结合关键点的二阶信息(比如两两关键点之间的几何结构信息)，通过利用这两方面的信息最终计算得到两个图像之间关键点的一一匹配关系。
4.通常的图匹配算法基于纹理、尺度、灰度直方图等一阶信息来描述关键点特征。随着深度学习的发展，本发明采用cnn卷积神经网络来获得更丰富的语义信息用来描述图像关键点，同时采用gnn图神经网络完成关键点之间几何信息的交互，最终计算关键点之间的相似度完成二图之间的关键点匹配。


技术实现要素：

5.本发明的目的是结合图像关键点的纹理、尺度、灰度直方图等一阶信息，和图像关键点的几何结构二阶信息，提出通过加强几何结构信息在二图关键点匹配过程中的重要性的方法，从而提高二图关键点的匹配精度。本发明通过cnn卷积神经网络共享权重的方式得到输入的两张图像的关键点的高维特征，再通过gnn图神经网络进行关键点之间的信息传递，最后计算二图之间关键点的相似度得到最终匹配结果。
6.为完成基于图匹配算法的关键点匹配，本发明通过以下步骤实现：
7.步骤(1)对输入的两张图像进行预处理，采用线性差值的方式裁剪成尺寸大小为256*256的图像；
8.步骤(2)利用cnn卷积神经网络共享权重的方式得到关键点的特征描述；具体来说，采用vgg16预训练模型共享权重的方式对步骤(1)预处理后的两张图像进行训练，最终输出得到两个图像各自的feature map；
9.步骤(3)利用线性差值的方式，根据两个图像上待匹配的关键点的几何位置，在步骤(2)输出的feature map上进行特征提取，最终得到待匹配的关键点的特征；
10.步骤(4)通过三角剖分算法对输入的两张图像上的待匹配的关键点进行构图，得到各自图像上的graph，同时根据edge的两端的关键点特征得到edge的特征；
11.步骤(5)利用两个graph上存在的关键点构建全局结构虚拟关键点，以此代表graph的全局几何结构信息，更好的利用二阶信息，并将该虚拟关键点同graph上其他关键点进行全连接；
12.步骤(6)将步骤(5)输出的两个图像的graph，输入到gnn图神经网络中，通过共享
权重的方式完成各自graph上的关键节点的信息交换；
13.步骤(7)经过步骤(6)分别得到两个graph上的经过纹理、几何信息交换的关键点，然后计算两图之间每对关键点之间的相似度，利用匈牙利算法得到组中的匹配结果。
14.进一步的，步骤(1)中输入的图像大小是经过裁剪最终保持一致的。
15.进一步的，步骤(2)中得到feature map的步骤具体是：
[0016]2‑
1.采用共享权重的方式进行训练；
[0017]2‑
2采用多层次的vgg16
‑
relu
‑
3和vgg16
‑
relu
‑
5当作cnn卷积神经网络最终输出的feature map。
[0018]
进一步的，步骤(3)中通过线性差值的方式得到关键点的特征；从vgg16
‑
relu
‑
3和vgg16
‑
relu
‑
5中分别根据这些关键点坐标位置提取出node feature，最终利用concate的方式得到节点的特征表示。
[0019]
进一步的，步骤(4)中的构图的具体步骤：
[0020]4‑
1通过三角剖分算法利用关键点的几何位置信息完成关键点之间的edge构建；
[0021]4‑
2得到edge的特征的方式是通过edge两端的node的feature相减得到的。
[0022]
进一步的，步骤(5)中构建全局结构虚拟关键点的具体步骤：
[0023]5‑
1在步骤(4)构图的结果上，再次引入一个全局几何结构虚拟关键点；
[0024]5‑
2通过步骤(2)得到两张图像的feature map，提出cross
‑
attention思想，即将两个图像的feature map进行叉乘，并通过mlp得到1
×
1024的虚拟关键点；
[0025]5‑
3将计算得到的虚拟关键点加入到步骤(4)构建的两个graph中，并同其他关键点进行全连接。
[0026]
进一步的，步骤(6)具体实现如下：输入gnn图神经网络完成节点信息交换；通过步骤(5)得到的两个graph，并且graph上的节点和边已经得到了各自的高维特征表示，采用splinecnn共享权重的方式对输入的两个graph进行节点信息交换。
[0027]
进一步的，步骤(7)中得到最终匹配结果的步骤：
[0028]7‑
1通过余弦相似度的方式，计算两张图像上的关键点之间两两相似度；
[0029]7‑
2通过匈牙利算法，得到两张图像待匹配关键点之间的最终一一匹配关系。
[0030]
本发明与之前的关键点匹配方法相比，通过引入神经网络能够更丰富的表示关键点的语义信息，使得算法鲁棒性更强；通过引入“构建全局结构虚拟关键点”，更有效地挖掘了关键点蕴含的几何结构信息，使得本发明关键点匹配精度提高。
附图说明
[0031]
图1本发明方法执行流程图
[0032]
图2输入的第一张原始图
[0033]
图3输入的第二张原始图
[0034]
图4输入的第一张需要被匹配的关键点
[0035]
图5输入的第二张需要被匹配的关键点
[0036]
图6输入的两张图像匹配结果
具体实施方式
[0037]
下面结合附图对本发明的具体实施方案做作进一步说明。
[0038]
本发明通过cnn卷积神经网络能够得到关键点更丰富的语义信息，然后利用三角剖分算法输入的两个图像的待匹配关键点构成的graph，再引入全局结构虚拟关键点，并输入到gnn图神经网络中完成关键点纹理和几何信息的交换，最后计算两图关键点之间的相似度得到最终匹配结果。本发明得到的匹配精确度高、鲁棒性强。本发明主要提出提高两个图像关键点匹配的准确度和鲁棒性的方法，图1是本发明的具体实施步骤：
[0039]
步骤1输入两张含有待匹配关键点二维坐标位置的图像，并通过线性插值的方式裁剪成256*256的尺寸大小。输入第一张图像如图2，第二张图像如图3。
[0040]
步骤2将输入图像输入到cnn卷积神经网络。具体来说，通过将两张图像作为vgg16预训练模型的输入，利用共享权重的方式分别得到两张图像的feature map。
[0041]
步骤3利用线性插值的方式得到关键点节点特征表示。我们利用vgg16
‑
relu
‑
3和vgg16
‑
relu
‑
5当作cnn卷积神经网络最终输出的feature map。随后，通过线性插值的方法，根据预先提供的第一张图像待匹配的关键点坐标位置图4，第二张图像待匹配关键点位置图5，从vgg16
‑
relu
‑
3和vgg16
‑
relu
‑
5中分别根据这些关键点坐标位置提取出node feature，最终利用concate的方式得到节点的特征表示。
[0042]
步骤4通过使用三角剖分算法，构建节点结构graph。得到关键点之间的连接关系(edge)，edge的特征表示通过边的两端的节点特征相减得到。
[0043]
步骤5构建全局结构虚拟关键点。受self
‑
attention思想启发，我们为了得到两图之间不同通道的几何结构信息，提出cross
‑
attention的方法。记步骤3输出的第一张图像的feature map为第二张为其中c，h，w，分别表示feature map的channel，height，width。通过改变m的维度得到其中p＝h
×
w。类似的得到其中p＝h
×
w。之后，通过计算两个图像不同通道上的cross
‑
attention得到最后通过mlp得到虚拟节点特征将v节点加入步骤四得到的两个graph中，并将该虚拟节点与graph中其他关键点进行全连接。
[0044]
步骤6输入gnn图神经网络完成节点信息交换。通过步骤5我们得到了两个graph，并且graph上的节点和边已经得到了各自的高维特征表示，本发明采用splinecnn共享权重的方式对输入的两个graph进行节点信息交换。
[0045]
步骤7计算相似度得到最终结果。经过步骤6得到两个graph输出的节点，然后计算两图之间各个关键点之间的相似度，最终通过匈牙利算法得到最终如图6的关键点一一匹配的结果。