高分辨率遥感图像配准控制点均匀化算法

针对多源遥感图像普遍具有数据量大、辐射差异大等特征,而现有的图像配准算法无法直接应用于遥感图像自动配准处理中的问题,综合考虑控制点的密度和分布,提出了一种高分辨率遥感图像自动配准算法。首先,将待配准图像和参考图像降采样到单机可以处理的大小,利用尺度不变特征变换(SIFT)算法建立降采样图像间的初始匹配;其次,将原始待配准图像按照网格分割为子图像,并利用初始匹配找到每幅子图像在参考图像上的对应子图像;再次,利用SIFT和极大稳定区域(MSER)特征点的空间互补性,在每一对子图像上提取大量特征点;最后,利用随机采样一致性(RANSAC)算法剔除误配后,采用基于最大团问题的贪心法进行控制点均匀化处理,进一步剔除冗余的控制点。与现有的基于SIFT特征和基于灰度的遥感图像配准算法相比,本算法在配准精度和控制点的分布均匀度等方面具有优越性。     

改进的双向SIFT特征匹配算法

以基于图像序列摄像机自标定为基础,针对尺度不变特征转换SIFT算法误匹配率高且运行效率低的问题,提出一种改进的双向SIFT特征匹配算法。在去除误匹配方面,首先采用双向匹配消除部分误匹配点对,然后结合视差梯度约束算法和随机抽样一致性RANSAC算法提纯匹配点对;在提高运行速度方面,首先在初匹配中采用K邻近算法,其次调整视差梯度约束迭代条件,都通过减少迭代次数来降低算法耗时。实验表明,改进后的算法在去除了大部分误匹配的基础上,保留了足够的匹配点对以用于摄像机空间位置和姿态的自动标定,且相较SIFT算法在运行速度上有了较大的改进。     

基于多例学习的Web图像聚类

在图像分类和自动标注系统中,多例学习(MIL)是研究的热点.目前MIL中的算法多为监督学习方法.针对非监督学习,在基于EM算法和启发式迭代优化算法的框架下,提出了6种多例聚类算法,并通过它们对来自于真实Web环境下的图像进行聚类以分析用户的搜索兴趣.由于一幅图像含有若干个区域,每个区域可被看为一个样例,属于同一个图像的区域则组成一个包.因此如何理解图像语义内容的问题即转化为多例学习.在多例学习的经典数据集MUSK数据和来自于Web图像集上的比较实验表明,提出的多例聚类算法具有优良的聚类性能.     

大规模图像语义相关性自动标注

针对大规模图像集合的自动标注问题,提出一种图像语义相关性自动标注方法.首先提取图像的视觉特征,将每个样本表示为局部邻域样本点的稀疏线性组合;然后采用一种基于最大后验概率准则的多标签学习方法得到每幅图像的单特征标签相关度;最终对单个特征和特定标签的相关度阈值进行无偏估计,并采用无监督组合方法融合多种视觉特征和标签的相关度.互联网数据集测试结果表明,该方法是有效的.     

形状特征和置信传播在去除SIFT特征点错误匹配中的应用

针对SIFT特征点匹配错误问题,提出一种置信传播与特征点形状特征相结合去除SIFT特征点匹配错误的算法.该算法分为4步:1)根据每个特征点的尺度信息、主方向信息以及匹配邻居特征点信息确定每个特征点邻域窗口的大小和方向,并计算每个特征点在邻域窗口内匹配邻居构成的形状特征;2)连接每个特征点与其最近的3个邻居特征点,构成置信传播网的基本框架;3)利用每对待确定特征点对的特征描述符之间的距离与其形状特征之间的距离生成置信传播网的证据函数,利用每对待确定特征点对与其邻居之间的空间关系生成置信传播网的相容函数;4)迭代计算每个特征点的置信度以及传递给邻居的消息,直至整个网络收敛,并通过最后得到的置信度确定初始匹配特征点对是否为误配.利用真实拍摄的图像和牛津几何视觉组数据库中的图像进行仿真实验,并与RANSAC算法、GTM算法以及BP_SIFT算法进行了比较,仿真结果表明,在召回率、准确率、丢失率和效率上,文中算法总体上优于上述3种算法.     

基于最大似然估计准则的特征匹配点提纯算法

图像特征匹配的准确度直接影响着图像分析与处理的效率与性能,所以要对图像的特征匹配点进行提纯和过滤。首先使用SIFT算法从图像中提取显著特征,建立粗略的匹配关系,利用最近邻比策略初始化特征匹配点的匹配概率,然后基于混合模型的最大似然估计采用EM算法建立匹配点之间的空间转换模型。EM迭代收敛之后,通过其对应关系过滤掉错误的匹配点。实验数据表明,本方法提纯的平均精度可以达到96.8%,平均召回率为81.6%,平均时间消耗为3.1 s。采用该方法提取到的正确匹配点数高于其他算法,同时对包括大视角差、光线变化和仿射变换等大多数变换具有鲁棒性。     

一种基于分块匹配的SIFT算法

SIFT算法在图像处理领域具有独特的优势,但是经过不断发展,SIFT算法在特征匹配过程中仍然具有数据处理量大、计算速度慢的问题.基于这些问题,提出了一种基于分块匹配的新型SIFT匹配算法,它通过剔除非重叠区域来降低特征提取和匹配的时间损耗.对于图像的刚性变换,算法的核心在于图像块的切分和重叠区域的计算,首先选取少量的种子点来估算两幅图像的相关变换矩阵;然后将原始图像切分为几块,通过变换矩阵找出在匹配图中的相关块;再检测所有的匹配块上的特征点;最后结合RANSAC算法去除伪匹配点对,来提高匹配的准确率.实验结果表明:与标准SIFT算法相比,基于分块匹配的SIFT算法在实时性和鲁棒性方面得到了进一步的提升,在实际图像匹配中具有一定的应用价值.     

基于SIFT的遥感图像配准方法

针对多传感器遥感图像配准问题,改进了一种基于SIFT的图像自动配准方法.首先提取图像中适应尺度变化的局部不变特征点,提出了利用最近邻特征点距离与次近邻特征点距离之比的互对应约束得到初始匹配点对,然后利用RANSAC(Random Sample Concensus)算法删除误匹配特征点对.试验结果表明:该方法能够实现多传感器遥感图像和不同分辨率图像的自动配准.     

基于相邻角点间隔度数直方图图像检索

提出一种新的基于图像形状的图像检索方法,首先将图像分成中心圆和外侧圆环两个区域,每个区域分别求出所有相邻角点的间隔度数,将间隔度数量化若干等级,从而计算出每幅图像在每个区域的相邻角点的间隔度数直方图,两幅图像的相似性取决于对应区域的直方图的欧式距离．该算法具有平移、旋转及尺度不变性的特点,经实验证明具有较好的图像检索效率．     

一种基于SIFT和SUSAN特征的图像匹配方法

针对SIFT方法在角点检测上的不足,提出了一种基于SIFT和SUSAN混合特征匹配的自动匹配算法。算法应用SIFT和SUSAN两种具有互补特性的局部不变特征,利用SIFT方法检测空间极值特征点,利用SUSAN方法检测角点,结合两种特征点位置,利用SIFT方法生成匹配特征向量,最后根据最近邻特征点距离与次近邻特征点距离之比确定初始匹配点对,实现图像的配准。实验表明该算法有效,能够提高图像的自动匹配准确性。     

基于分类融合和关联规则挖掘的图像语义标注

图像语义自动标注问题是现阶段一个具有挑战性的难题。在跨媒体相关模型基础上,提出了融合图像类别信息的图像语义标注新方法,并利用关联规则挖掘算法改善标注结果。首先对图像进行低层特征提取,用“视觉词袋”描述图像;然后对图像特征分别进行K-means聚类和基于支持向量机的多类别分类,得到图像相似性关系和类别信息;计算语义标签和图像之间的概率关系,并将图像类别信息作为权重融合到标签的统计概率中,得到候选标注词集;最后以候选标注词概率为依据,利用改善的关联规则挖掘算法挖掘文本关联度,并对候选标注词集进行等频离散化处理,从而得到最终标注结果。在图像集Corel上进行的标注实验取得了较为理想的标注结果。     

Image Annotation by Propagating Labels from Semantic Neighbourhoods

Automatic image annotation aims at predicting a set of semantic labels for an image. Because of large annotation vocabulary, there exist large variations in the number of images corresponding to different labels (“class-imbalance”). Additionally, due to the limitations of human annotation, several images are not annotated with all the relevant labels (“incomplete-labelling”). These two issues affect the performance of most of the existing image annotation models. In this work, we propose 2-pass k-nearest neighbour (2PKNN) algorithm. It is a two-step variant of the classical k-nearest neighbour algorithm, that tries to address these issues in the image annotation task. The first step of 2PKNN uses “image-to-label” similarities, while the second step uses “image-to-image” similarities, thus combining the benefits of both. We also propose a metric learning framework over 2PKNN. This is done in a large margin set-up by generalizing a well-known (single-label) classification metric learning algorithm for multi-label data. In addition to the features provided by Guillaumin et al. (2009) that are used by almost all the recent image annotation methods, we benchmark using new features that include features extracted from a generic convolutional neural network model and those computed using modern encoding techniques. We also learn linear and kernelized cross-modal embeddings over different feature combinations to reduce semantic gap between visual features and textual labels. Extensive evaluations on four image annotation datasets (Corel-5K, ESP-Game, IAPR-TC12 and MIRFlickr-25K) demonstrate that our method achieves promising results, and establishes a new state-of-the-art on the prevailing image annotation datasets.     

基于深度学习的SIFT图像检索算法

深度学习作为一个新的机器学习方向,被应用到计算机视觉领域上成效显著.为了解决分布式的尺度不变特征转换（Scale-Invariant Feature Transform,SIFT）算法效率低和图像特征提取粗糙问题,提出一种基于深度学习的SIFT图像检索算法.算法思想：在Spark平台上,利用深度卷积神经网络（Convolutional Neural Network,CNN）模型进行SIFT特征抽取,再利用支持向量机（Support Vector Machine,SVM）对图像库进行无监督聚类,然后再利用自适应的图像特征度量来对检索结果进行重排序,以改善用户体验.在Corel图像集上的实验结果显示,与传统SIFT算法相比,基于深度学习的SIFT图像检索算法的查准率和查全率大约提升了30个百分点,检索效率得到了提高,检索结果图像排序也得到了优化.     

混合特征下最优阈值预测的图像匹配

针对单一特征条件下图像匹配率较低,以及SIFT算法由于固定对比度阈值造成特征点数目提取不均的问题,提出一种混合特征下最优阈值预测的图像匹配算法。该算法首先采用SIFT算法提取图像特征点,然后利用纹理参数二阶矩自适应法得到最优阈值,并用描述性较强的纹理特征向量对SIFT匹配过程进行约束实现图像的匹配。实验结果表明,提出的算法根据图像灰度分布自适应选取对比度阈值,能够增强图像细节信息且使提取的特征点数量稳定,在匹配过程中引入纹理向量作为约束准则,避免了相似区域的误匹配,对光照和模糊图像有较好的鲁棒性。     

Weakly-supervised region annotation for understanding scene images

Scene image understanding has drawn much attention for its intriguing applications in the past years. In this paper, we propose a unified probabilistic graphical model called Topic-based Coherent Region Annotation (TCRA) for weakly-supervised scene region annotation. The multiscale over-segmented regions within a scene image are considered as the “words” of our topic model, which impose neighborhood contextual constraints on topic level through spatial MRF modeling, and incorporate an annotation reasoning mechanism for learning and inferring region labels automatically. Mean field variational inference is provided for model learning. The proposed TCRA has the following two main advantages for understanding natural scene images. First, spatial information of multiscale over-segmented regions is explicitly modeled to obtain coherent region annotations. Second, only image-level labels are needed for automatically inferring the label of every region within the scene. This is particularly helpful in reducing human burden on manually labeling pixel-level semantics in the scene understanding research. Thus, given a scene image that has no textual prior, the regions in it can be automatically labeled using the learned TCRA model. The experimental results conducted on three benchmarks consisting of the MSRCORID image dataset, the UIUC Events image dataset and the SIFT FLOW dataset show that the proposed model outperforms the recent state-of-the-art methods.     

基于多标签判别字典学习的图像自动标注

针对图像自动标注中底层视觉特征与高层语义之间的语义鸿沟问题,在传统字典学习的基础上,提出一种基于多标签判别字典学习的图像自动标注方法。首先,为每幅图像提取多种类型特征,将多种特征组合作为字典学习输入特征空间的输入信息;然后,设计一个标签一致性正则化项,将原始样本的标签信息融入到初始的输入特征数据中,结合标签一致性判别字典和标签一致性正则化项进行字典学习;最后,通过得到的字典和稀疏编码矩阵求解标签稀疏编向量,实现未知图像的语义标注。在Corel 5K数据集上测试其标注性能,所提标注方法平均查准率和平均查全率分别可达到35%和48%;与传统的稀疏编码方法（MSC）相比,分别提高了10个百分点和16个百分点;与距离约束稀疏/组稀疏编码方法（DCSC/DCGSC）相比,分别提高了3个百分点和14个百分点。实验结果表明,所提方法能够较好地预测未知图像的语义信息,与当前几种流行的图像标注方法进行比较,所提方法具有较好的标注性能。     

基于改进的RAKEL算法的心电图诊断分类

心电图（ECG）数据通常包含多种病症,而ECG诊断是一个典型的多标签分类问题。在多标签分类方法中,RAKEL算法将标签集随机分解为若干个大小为k的子集,并建立LP分类器进行训练;然而由于没有充分考虑标签间的相关性,LP分类器中容易产生一些标签组合所对应样本稀少的情况,从而影响预测性能。为了充分考虑标签间的相关性,提出一种基于贝叶斯网络的RAKEL算法BN-RAKEL。首先利用贝叶斯网络找到标签间的相关性,确定候选标签子集;然后对每个标签采用基于信息增益的特征选择算法确定其最优特征空间,并针对每个候选标签子集利用最优特征空间相似性来检测其相关程度,以确定最终的具有强相关性的标签子集;最后在标签子集的最优特征空间上训练LP分类器。在实际的ECG数据集上,与多标签K近邻（ML-KNN）、RAKEL、CC和基于FP-Growth的RAKEL算法FI-RAKEL进行对比,结果显示所提算法在召回率和F-score上最少提高了3.6个百分点和2.3个百分点。实验结果表明,BN-RAKEL算法有较好的预测性能,能有效提升ECG诊断的准确性。     

一种基于GOR+GPU算法的机器人视觉导航方法

提出一种一般物体识别(GOR)方法.借鉴词袋(BOW)的统计模型,利用SIFT(尺度不变特征变换)检测算子进行特征向量描述.为了增加信息的冗余度,利用物体部件空间关系的统计信息来描述一幅图片中所有特征点的空间(相对距离和角度)关系,增广了原BOW模型中的特征向量.运用无监督判别分类器支持向量机(SVM)来实现分类识别.与此同时,采用GPU加速技术来实现SIFT特征提取与描述,以保证其实时性.然后,存手绘地图辅助导航的基础上,将该方法成功地应用到室内移动机器人导航上.实验结果表明,基于该方法的机器人导航技术具有较强的鲁棒性和有效性.     

基于尺度不变特征变换的快速图像拷贝检测

针对传统基于尺度不变特征变换（SIFT）特征的图像拷贝检测算法特征提取速度慢、匹配效率不高的问题,提出了一种基于SIFT特征点位置分布与方向分布特征的快速图像拷贝检测算法。首先,提取SIFT特征点二维位置信息,通过计算各个特征点与图像中心点的距离、角度,分块统计各区间的特征点数量,依据数量关系量化生成二值哈希序列,构成一级鲁棒特征;然后,根据特征点一维方向分布特征分块统计各方向子区间特征点数量,依据数量关系构成二级图像特征;最后,拷贝检测时采用级联式过滤框架作出是否为拷贝的判断。仿真实验结果表明,与传统SIFT以128维特征描述子为基础构建哈希序列的图像拷贝检测算法相比,所提算法在保证鲁棒性与独特性不降低的同时,特征提取时间缩短为原来的1/20,匹配时间也缩短了1/2以上,可满足在线拷贝检测的需求。     

Image annotation refinement via 2P-KNN based group sparse reconstruction

Image annotation aims at predicting labels that can accurately describe the semantic information of images. In the past few years, many methods have been proposed to solve the image annotation problem. However, the predicted labels of the images by these methods are usually incomplete, insufficient and noisy, which is unsatisfactory. In this paper, we propose a new method denoted as 2PKNN-GSR (Group Sparse Reconstruction) for image annotation and label refinement. First, we get the predicted labels of the testing images using the traditional method, i.e., a two-step variant of the classical K-nearest neighbor algorithm, called 2PKNN. Then, according to the obtained labels, we divide the K nearest neighbors of an image in the training images into several groups. Finally, we utilize the group sparse reconstruction algorithm to refine the annotated label results which are obtained in the first step. Experimental results on three standard datasets, i.e., Corel 5K, IAPR TC12 and ESP Game, show the superior performance of the proposed method compared with the state-of-the-art methods.