二值化的SIFT特征描述子及图像拼接优化

目的 针对SIFT算法计算复杂度高、存储开销大和近几年提出的BRIEF（binary robust independent elementary features）、ORB（oriented BRIEF）、BRISK（binary robust invariant scalable keypoints）和FREAK（fast retina keypoint）等二进制描述子可区分性弱和鲁棒性差的问题,提出基于SIFT的二进制图像局部特征描述子。方法 首先,对传统SIFT的特征空间和特征向量分布在理论和实验上进行分析,在此基础上结合二进制特征描述子的优势对SIFT进行改进。不同于传统的二进制特征描述子,本文算法对传统SIFT特征向量在每一维上的分量进行排序后,以该特征向量的中值作为量化阈值,将高维浮点型SIFT特征向量转化成位向量得到二进制特征描述子。并使用易于计算的汉明距离代替欧氏距离度量特征点间的相似性以提高匹配效率。然后,在匹配阶段将二进制特征描述子分为两部分并分别对其进行匹配,目的是通过初匹配剔除无效匹配特征点来进一步缩短匹配时间。最后,对提出的量化算法的可区分性及鲁棒性进行验证。结果 该量化算法在保持SIFT的较强的鲁棒性和可区分性的同时,达到了低存储、高匹配效率的要求,解决了SIFT算法的计算复杂度高、二进制描述子鲁棒性和可区分性差的问题。此外,在匹配阶段平均剔除了77.5%的无效匹配特征点,减少了RANSAC（random sample consensus）的迭代次数。结论 本文提出的量化算法可用于快速匹配和快速图像拼接中,提高匹配和拼接效率。     

多重约束条件下的LBD描述子与直线段匹配

目的 针对直线描述子匹配算法缺乏有效的几何约束,且易受弱纹理、尺度变化的影响,提出一种结合多重约束条件的LBD描述子的直线段匹配算法（LBDs）。方法 该算法以LSD算法提取的直线段作为匹配基元,利用SIFT匹配得到的同名点构建同名三角网约束确定候选直线;参考影像上以目标直线段为中心轴建立该直线段的矩形支撑域;根据目标直线段端点及其支撑域四角点在搜索影像上的核线约束建立候选直线段的对应支撑域;利用仿射变换统一目标直线段及候选直线段支撑域的大小;将直线段支撑域分解为大小相等的条形带,通过计算每个条形带的描述符得到该直线段的描述子,依次完成目标直线段与候选直线段LBD描述子的构建;分别计算目标直线段与每个候选直线段描述子向量间的欧氏距离,将满足最近邻距离比准则的候选直线段作为匹配结果;最后选取角度约束对匹配结果检核,确定同名直线。结果 实验选取网上公开的3组分别存在角度、旋转、尺度变换的近景影像对作为实验数据,采用LBDs分别对其进行直线段匹配实验,并与其他直线段匹配算法进行对比分析,实验结果表明,LBDs获取同名直线数目约为其他算法的1.061.41倍,匹配正确率也提高了2.411.6个百分点,从匹配效率上来看,LBDs更为耗时,但兼顾该算法匹配获得同名直线数目、匹配正确率及运行时间,LBDs的鲁棒性更强,匹配结果的准确性与可靠性较高。结论 结合多重约束条件构建的LBD描述子对于存在角度、旋转和尺度变化的影像进行直线匹配过程中具有稳定性。     

随机亮度差量化的二进制特征描述

目的 传统的基于浮点型向量表示的图像局部特征描述子（如SIFT、SURF等）已经成为计算机视觉研究和应用领域的重要工具,然而传统的高维特征向量在基于内容的大规模视觉检索应用中存在着维度灾难的问题,这使得传统浮点型视觉特征在大规模多媒体数据应用中面临严峻挑战。为了解决浮点型特征的计算复杂度高以及存储空间开销大的问题,越来越多的计算机视觉研究团队开始关注和研究基于二进制表达的局部特征并取得了重要进展。方法 首先介绍了二进制特征的相关工作,并对这些方法进行了分类研究,在此基础上提出了基于亮度差量化的特征描述算法。有别于传统二进制特征描述算法,本文算法首先对图像局部进行随机像素点对采样,并计算像素点对之间的亮度差,通过对亮度差值作二进制量化得到图像的局部二进制特征。结果 本文算法在公共数据集上与目前主流的几种二进制特征提取算法进行了比较评价,实验结果表明,本文二进制特征在特征匹配准确率和召回率上超过目前主流的几种二进制描述子,并且同样具有极高的计算速度和存储效率。结论 通过实验结果验证,本文二进制特征在图像条件发生变化时仍然能保持一定的鲁棒性。     

精确局部特征描述的表情识别

目的 针对传统局部特征提取方法在表情识别上的局限性,提出一种精确局部特征描述的表情识别方法。方法 首先将人的眉毛、眼睛和嘴巴3个对表情识别起关键作用的器官分割出来,使得特征描述更具有针对性。然后,构造充分矢量三角形以统计图像的轮廓特征与细节特征。最后,对于不同的表情器官采用不同尺度的充分矢量三角形描述,对于同种表情器官采用多种尺度的充分矢量三角形联合描述,从而充分描述关键器官的图像信息。结果 该算法在日本女性表情人脸库(JAFFE)、cohn-kanade库(CK)以及Pain expressions库上进行实验,分别取得了95.67%、97.83%、84.0%的平均识别率以及11.70 ms、30.23 ms、11.73 ms的平均特征提取时间,实验结果表明,精确局部特征描述的表情识别方法可以较快、较准确的进行人脸表情识别。结论 精确局部特征描述的表情识别方法通过器官的分割以及充分矢量三角形模式的构造与灵活运用,良好地表达了图像的局部特征且具有较低的时间复杂度,本文算法与目前典型的表情识别算法的实验对比结果也表明了本文算法的有效性。     

显著图和多特征结合的遥感图像飞机目标识别

目的 遥感图像飞机目标的检测与识别是近年来国内外研究的热点之一。传统的飞机目标识别算法一般是先通过目标分割,然后提取不变特征进行训练来完成目标的识别。在干扰较少的情况下,传统算法的识别效果较好。但遥感图像存在着大量的干扰因素,如光照变化、复杂背景及噪声等,因此传统算法识别精度较低,耗时量较大。为快速、准确识别遥感图像中飞机目标,提出一种基于显著图和全局特征、局部特征结合的飞机目标识别算法。方法 首先使用改进的Itti显著算法提取遥感图像中的显著目标;接着使用基于区域增长和线标记算法寻找连通区域来确定候选目标的数量和位置;然后提取MSA（multi-scale autoconvolution）、Pseudo-Zernike矩和Harris-Laplace特征描述子,并使用标准差和均值的比值来评估特征的稳定性,再把提取的特征结合成特征向量;最后应用支持向量机的方法完成对候选目标的识别。结果 实验结果表明,本文算法检测率和识别率分别为97.2%和94.9%,均高于现有算法,并且耗时少,虚警率低（为0.03）,对噪声干扰、背景影响以及光照变化和仿射变化均具有良好的鲁棒性。结论 本文算法使用了图像的3种特征信息,包括MSA、Pseudo-Zernike矩和Harris-Laplace特征描述子,有效克服单一特征的缺点,提高了遥感图像飞机目标的识别率和抗干扰能力。     

对数极坐标系下尺度不变特征点的检测与描述

目的 当前国际流行的SIFT算法及其改进算法在检测与描述特征点时基于高斯差分函数,存在损失图像高频信息的缺陷,从而导致图像匹配时其性能随着图像变形的增加而出现急剧下降。针对SIFT算法及其改进算法的这一缺陷,本研究提出了一种新的无图像信息损失的、在对数极坐标系下的尺度不变特征点检测与描述算法。方法 本研究提出的尺度不变特征点检测与描述算法首先将直角坐标系下以采样点为中心的圆形图块转换为对数极坐标系下的矩形图块,并以此矩形图块为基础对采样点进行特征点检测与描述符提取;该算法使用固定宽度的窗口在采样点的对数极坐标径向梯度图像的log_t^r轴上进行移动以判断该点是否为特征点并计算该点的特征尺度,并在具有局部极大窗口响应的特征尺度位置处提取特征点的描述符。该算法的描述符基于对数极坐标系下的矩形图块的灰度梯度的幅值与角度,是一个192维向量,并具有对于尺度、旋转、光照等变化的不变性。结果 本研究采用INRIA数据组和Mikolajczyk提出的匹配性能指标对SIFT算法、SURF算法和提出的尺度不变特征点检测与描述算法进行比较。与SIFT算法和SURF算法相比,提出的尺度不变特征点检测与描述算法在对应点数、重复率、正确匹配点数和匹配率等方面均具有一定优势。结论 提出了一种基于对数极坐标系的图像匹配算法,即将直角坐标系下以采样点为中心的圆形图块转换为对数极坐标系下的矩形图块,这样在特征点的检测过程中,可以有效规避SIFT算法因为采用DoG函数而造成的高频信息损失;在描述符提取过程中,对数极坐标系可以有效地减少图像的变化量,从而提高了匹配性能。     

LoVPE 3维局部特征描述子

目的 局部特征描述子在3维目标识别等任务中能够有效地克服噪声、不同点云分辨率、局部遮挡、点云散乱分布等因素的干扰,但是已有3维描述子难以在性能和效率之间取得平衡,为此提出LoVPE（局部多视点投影视图相关编码）特征描述子用于复杂场景中的3维目标识别。方法 首先构建局部参考坐标系,将世界坐标系下的局部表面变换至关键点局部参考坐标系下的局部表面;然后绕局部参考坐标系各坐标轴旋转K个角度获得多视点局部表面,将局部表面内的点投影至局部参考系各坐标平面内,投影平面分成N×N块,统计每块内投影点的散布信息生成特征描述向量;最后将各视点特征描述向量进行两两视图对相关编码得到低维度特征描述向量,采用ZCA（零项分量分析）白化降低特征描述向量各维间相关性得到LoVPE描述子。结果 在公用数据集上进行不同描述子对噪声、不同分辨率、遮挡及杂波等干扰鲁棒性的特征匹配实验,实验结果表明,提出的描述子特征匹配率与现有最佳描述子处于同等水平,但保持了较低的特征维度和较高的计算效率,维度降低约1半、特征构建及特征匹配时间缩短为现有最佳描述子的1/4。结论 提出一种新的3维局部特征描述子,具有强描述能力,对噪声、不同网格分辨率、遮挡及杂波等具有强鲁棒性,存储消耗较少且计算效率较高,该方法适用于模型点云及真实点云数据,可用于复杂场景中的3维目标识别。     

基于空间结构的图像特征匹配算法

图像二进制特征描述器比浮点数特征描述器存储容量小、计算速度更快。在对常用二进制特征描述器进行分析的基础上,利用图像特征点之间的空间结构信息改进FREAK描述器的采样模式,提出MPFREAK描述器,提高特征描述能力;针对特征匹配时最近邻算法运行较慢的缺点,改进LSH算法,减少候选集列表空间,提出了海明空间的二进制特征快速匹配算法MLSH。实验表明,MPFREAK描述器描述能力优于其他算法,特征匹配算法效果明显、速度更快。     

局部特征及视觉一致性的柱面全景拼接算法

目的 传统的基于平面拼接算法生成的全景图像存在严重的失真问题,很难保证良好的视觉一致性;而普通柱面拼接算法无法较好地满足实时性要求。为此,提出一种基于改进SIFT（scale-invariant feature transform）特征描述子的柱面全景图像拼接算法。方法 首先将待拼接的图像序列进行柱面投影,利用改进的SIFT特征检测器获取图像中的特征点,生成64维SIFT特征描述子;然后根据特征描述子之间的欧氏距离提取初始特征点对,利用RANSAC（random sample consensus）方法进一步剔除伪匹配特征点对并建立待拼接图像之间的空间变换矩阵;最后根据图像之间的空间变换矩阵进行图像配准,采用加权平均融合的方法完成图像的无缝拼接。结果 本文全景图拼接算法,可以有效地克服平面拼接算法存在的失真问题,保证了全景图像的视觉一致性。同时,相比普通柱面拼接算法,本文算法的拼接速度提高了近一倍。结论 通过对不同尺寸和数量的图像序列构建全景图,相对于平面拼接算法和普通柱面拼接算法,本文算法可以有效实现图像之间的拼接,生成宽视野、高分辨率的全景图像,且能够应用于对实时性要求比较高的图像拼接场合。     

主色提取的直方图峰值筛选与剔除方法

目的 针对已有主色提取方法中存在的严重误检和漏检现象以及要求主色数量固定等问题,在分析主色特征含义的基础上提出了一种用于主色提取的直方图峰值筛选与剔除算法。方法 首先根据像素的空间聚集度统计出图像的鲁棒颜色直方图,并提取其局部峰值形成候选主色集;然后根据各候选主色的隶属像素数和空间分布特征以及它们之间的共同相似像素数,对候选主色进行循环筛选;最后通过候选主色剔除过程,将隶属像素数目过少、空间分布过于分散或与其他候选主色差异较小的候选主色去掉,得到最终的图像主色。另外,针对已有主色评价方法比较片面的缺陷,设计了一个能够全面反映主色影响因素的主色综合评价模型。结果 大量的实验结果表明,本文算法提取的主色在代表图像颜色特征的有效性上超越了已有的方法,且本文算法平均评价分数是已有最高得分算法的1.1倍,相对提高了约10个百分点。结论 鉴于该算法所展示的优越性能,它在图像检索、分割和编辑等领域具有较大的潜在应用价值。     

灰度序模式的局部特征描述算法

目的 在针对LIOP（local intensity order pattern）特征描述算法构造特征描述符过程中,计算描述子权值时未充分考虑采样点之间的局部信息及存在冗余的灰度序模式,从而导致特征描述符不准确的问题,提出一种结合采样点结构信息和剔除冗余模式的算法。方法 首先,研究了采样点局部信息,并利用采样点顺序结构构造了计算特征描述符权值方法;其次,分析了灰度序模式与对应特征描述子权值的关系;最后,在构造特征描述符时,将冗余的灰度序模式剔除。结果 对标准数据集（Oxford dataset）及另外4幅复杂光照变化的图像进行了仿真实验,得到132维的特征描述符。结果表明,与原始LIOP算法相比,该算法在不增加特征维度时precision-recall曲线有较大的提高,即提高了描述特征描述符描述能力,增强了特征对单调强度变化和旋转变化的鲁棒性。结论 提出的算法同时考虑了采样点的差异信息和结构信息,较为完整地保留了待描述点的局部信息,使得图像存在复杂光照强度情况下,能够得到较高精度和辨识度的特征描述符。     

S-shaped and V-shaped gaining-sharing knowledge-based algorithm for feature selection

In machine learning, searching for the optimal feature subset from the original datasets is a very challenging and prominent task. The metaheuristic algorithms are used in finding out the relevant, important features, that enhance the classification accuracy and save the resource time. Most of the algorithms have shown excellent performance in solving feature selection problems. A recently developed metaheuristic algorithm, gaining-sharing knowledge-based optimization algorithm (GSK), is considered for finding out the optimal feature subset. GSK algorithm was proposed over continuous search space; therefore, a total of eight S-shaped and V-shaped transfer functions are employed to solve the problems into binary search space. Additionally, a population reduction scheme is also employed with the transfer functions to enhance the performance of proposed approaches. It explores the search space efficiently and deletes the worst solutions from the search space, due to the updation of population size in every iteration. The proposed approaches are tested over twenty-one benchmark datasets from UCI repository. The obtained results are compared with state-of-the-art metaheuristic algorithms including binary differential evolution algorithm, binary particle swarm optimization, binary bat algorithm, binary grey wolf optimizer, binary ant lion optimizer, binary dragonfly algorithm, binary salp swarm algorithm. Among eight transfer functions, V₄ transfer function with population reduction on binary GSK algorithm outperforms other optimizers in terms of accuracy, fitness values and the minimal number of features. To investigate the results statistically, two non-parametric statistical tests are conducted that concludes the superiority of the proposed approach.

     

哈希编码结合空间金字塔的图像分类

目的 稀疏编码是当前广泛使用的一种图像表示方法,针对稀疏编码及其改进算法计算过程复杂、费时等问题,提出一种哈希编码结合空间金字塔的图像分类算法。方法 首先,提取图像的局部特征点,构成局部特征点描述集。其次,学习自编码哈希函数,将局部特征点表示为二进制哈希编码。然后,在二进制哈希编码的基础上进行K均值聚类生成二进制视觉词典。最后,结合空间金字塔模型,将图像表示为空间金字塔直方图向量,并应用于图像分类。结果 在常用的Caltech-101和Scene-15数据集上进行实验验证,并和目前与稀疏编码相关的算法进行实验对比。与稀疏编码相关的算法相比,本文算法词典学习时间缩短了50%,在线编码速度提高了1.3～12.4倍,分类正确率提高了1%～5%。结论 提出了一种哈希编码结合空间金字塔的图像分类算法,利用哈希编码代替稀疏编码对局部特征点进行编码,并结合空间金字塔模型用于图像分类。实验结果表明,本文算法词典学习时间更短、编码速度更快,适用于在线词典学习和应用。     

基于改进快速鲁棒特征的图像快速拼接算法

针对快速鲁棒特性（SURF）算法实时性、鲁棒性等无法满足实际应用需求的问题,提出了一种对SURF的改进算法,实现图像快速拼接。改进的算法采用机器学习的方法,建立一个二进制分类器,识别出SURF提取的特征点中的关键特征点,并剔除非关键特征点。此外,采用Relief-F算法将改进的SURF描述子降维简化来完成图像配准。图像融合阶段采用带阈值的加权融合算法,实现了图像无缝拼接。实验结果表明,改进的算法具有较强的实时性和鲁棒性,并且提高了图像配准的效率,加快了图像拼接的速度。     

字典重建和空间分布关系约束下的特征选择与图像拼接

目的 针对大型图像检索领域中,复杂图像中SIFT特征描述子的冗余和高维问题,提出了一种基于字典重建和空间分布关系约束的特征选择的方法,来消除冗余特征并保留最具表现力的、保留原始空间结构性的SIFT特征描述子。方法 首先,实验发现了特征选择和字典学习方法在稀疏表示方面的内在联系,将特征选择问题转化为字典重构任务;其次,在SIFT特征选择问题中,为了保证特征空间中特征的鲁棒性,设计了新型的字典学习模型,并采用模拟退火算法进行迭代求解;最后,在字典学习的过程中,加入熵理论来约束特征的空间分布,使学习到的特征描述子能最大限度保持原始SIFT特征空间的空间拓扑关系。结果 在公开数据集Holiday大型场景图片检索数据库上,通过与国际公认的特征选择方法进行实验对比,本文提出的特征选择方法在节省内存空间和提高时间效率（30%~ 50%）的同时,还能保证所筛选的特征描述子的检索准确率比同类特征提高8%~ 14.1%;在国际通用的大型场景图片拼接数据库IPM上,验证本文方法在图像拼接应用中特征提取和特征匹配上的有效性,实验表明本文方法能节省（50% ~70%）图像拼接时间。结论 与已有的方法比较,本文的特征选择方法既不依赖训练数据集,也不丢失重要的空间结构和纹理信息,在大型图像检索、图像拼接领域和3D检索领域中,能够精简特征,提高特征匹配效率和准确率。     

加权局部二值模式的人脸特征提取

目的 为了能够得到图像更加丰富的纹理特征,提出一种新的自适应加权局部二值模式算法。方法 首先,将图像进行分块,利用新算法提取每个子块的局部二值模式的纹理直方图;然后,将各子图像的信息熵作为直方图的加权依据,对每个子块对应的直方图进行自适应加权,并将所有子块的直方图连接成最终的纹理特征。提取每个子块的局部纹理特征时的方法为:以某一像素点为中心取相邻的8个像素组成一个局部邻域,在该邻域内依据自适应设定的阈值分别比较3对水平方向和3对竖直方向像素值的大小,以此获得6位二进制码并将每位二进制码乘以相应的权重后相加,累加和即为该邻域新的局部二值模式纹理特征。结果 在两大人脸数据库上进行的实验结果表明,利用本文提出的方法提取纹理特征,并结合最近邻分类法可以得到85.29%和96.50%的正确识别率。结论 文中提出的自适应加权局部二值模式特征能够获取图像中更加丰富的纹理信息,因而具有较高的正确识别率,并且对于其他的物体识别也具有一定的参考价值。