简介
空间验证,用于图像检索的重排阶段。
综合参考以下博客和文章:
Philbin J, Chum O, Isard M, et al. Object retrieval with large vocabularies and fast spatial matching[C]// Computer Vision and Pattern Recognition, 2007. CVPR ‘07. IEEE Conference on. IEEE, 2007:1-8.
Shen X, Lin Z, Brandt J, et al. Spatially-Constrained Similarity Measure for Large-Scale Object Retrieval.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 36(6):1229-1241.
空间验证
著名的全局空间验证方法是RANSAC。RANSAC它重复计算每个对应的仿射变换,并通过适合变换的内点数来验证。RANSAC算法有效地重新排列排名最高的图像的子集,但存在效率问题。
下面是论文中的表述:
空间验证根据所估计的转换对查询区域和每个目标图像的特征位置的预测好坏,估计查询区域和每个目标图像之间的转换。然后根据空间验证后的视觉词汇的可识别性对目标图像进行重新排序。
根据目前视觉数据估计算法的标准,必须考虑两种类型的测量误差:检测到的特征位置和形状的误差;由于检测器故障、遮挡等原因导致的异常值或缺失等误差。标准的解决方案是使用RANSAC算法。这涉及到使用最小数量的对应关系生成转换假设,然后根据该假设下的所有特征的中位数来评估每个假设。
通常情况下,照片是在有限的规范视图范围内拍摄的,我们可以使用这些先验信息来加速转换估计。我们选择使用RANSAC的变体LO-RANSAC。它涉及到生成一个近似模型的假设,然后使用完整的转换迭代地重新评估有希望的假设。通过为假设生成阶段选择一组约束的变换,并利用仿射不变图像区域中的形状信息,我们能够生成只有一对对应特征的假设。这大大减少了可能需要考虑的假设的数量,大大加快了匹配过程。因此,我们选择列举所有这些假设,从而从我们的算法中去除随机性,从而形成一个确定性的过程。
我们比较了三个仿射子群进行假设生成,自由度范围在3到5之间。这是为了评估转换类型之间是否存在显著的性能差异。在每一种情况下,我们都使用一个通用(6自由度)仿射变换来迭代重新估计LO-RANSAC的步骤。3自由度变换大致覆盖了一些情况,比如变焦或镜头到场景的距离,但不包括透视。4自由度变换通过视图之间的水平或垂直缩放近似覆盖了透视。5自由度变换保持了垂直方向,允许各向异性的缩放和垂直剪切。这三种模型都利用了这样一个事实,即图像通常以正确的(垂直的)方向显示的。因此,我们不允许平面内的图像旋转。
我们只需要找到目标中与特定查询特性在空间上最接近的匹配特性,并检查这个单一距离是否小于阈值。这是使用2D k-d树来完成的,以提供对数算术时间搜索。
将目标图像评分为内点视觉词汇的IDF值之和。
空间验证通常和QE算法一起使用,可以使得检索结果排列表更加精准。
自己的看法
重排阶段,就是对前面倒排索引得到的文件,再精细化评估,排名,选出最符合搜索条件的图片。
几何验证,利用的是SIFT特征描述子特有的角度和尺度,作差得到直方图向量,从而比较。
空间验证,利用的是估计图片中有可能出现的仿射变换,包括拉伸、旋转、平移等操作,评估完之后,“内点”,即通过空间验证的图像,排名会在“外点”,即没有通过空间验证的图像,的前面。
视觉验证,这方面没有找到相关博客或者文章,等以后老师上课讲到了再了解了解。