Harris相关与特征匹配

基于图像梯度提出一种图像特征,称为Harris相关.应用Harris相关特征,构造图像特征描述子,包括特征点描述子、直线描述子和曲线描述子.这些描述子的构造较简单,对图像旋转与图像亮度的线性变化具有不变性.直线与曲线描述子的构造方法为直线和曲线的匹配提供一种思路.实验表明,应用Harris相关构造的特征点描述子对图像变化表现出较好性能,直线与曲线描述子在实际图像中取得较好的匹配结果.     

基于改进的图像局部区域相似度学习架构的图像特征匹配技术研究

该文在AdaBoost算法的基础上提出了一种图像局部区域相似度的学习架构,利用该架构训练图像局部特征来获得低维数、独特的特征描述子,以实现对图像局部区域高精度地匹配.所提学习架构通过学习图像局部区域相似性得到一组非线性弱学习器对图像局部特征进行描述;同时,在响应函数组合形式和弱学习器权重优化配置方面,针对浮点描述子和二值描述子分别提出了新的补丁相似性度量函数作为目标函数的核函数,提高了图像特征相似性匹配效果.该学习架构不会受限于任何预定义的图像特征信息采集模式,能产生基于灰度信息或方向梯度信息的特征描述子.实验结果表明采用这种学习架构获得的特征描述子,在所有对比描述子中图像局部匹配查准率是最好的.所提学习框架能有效地配置优化描述子弱学习器,能提高图像特征描述子对图像尺度和视角变化的鲁棒性.     

均值-标准差描述子与直线匹配

提出一种通过直线描述子来进行自动直线匹配的思想.直线描述子的建立分为以下3个主要步骤:首先为直线定义平行邻域并将该邻域分解为一系列平行线,其次通过选择图像特征建立直线描述矩阵,最后通过计算描述矩阵列向量的均值和标准差获得直线描述子.基于不同的图像特征(灰度、梯度和梯度幅值),提出3个具有平移、旋转和线性光照不变性的直线描述子.实验结果表明本文提出的直线描述子具有较好的匹配性能.     

基于注意力机制的增强特征描述子

传统手工获取特征描述子的方式不能保证特征点在非线性形变状态下进行正确匹配,无法有效解决图像存在较大形变时的特征描述问题。针对柔性生物组织MR影像特征点匹配问题,提出一种结合注意力机制的增强描述子。采用多层感知机对特征点位置信息进行编码并与特征点的初始描述子相结合,将图注意力神经网络中的自我注意与交叉注意的方法相结合,并运用消息传递方法传递节点信息。通过充分利用图注意力神经网络的层次性,以融合不同层次间的节点信息并最终获得特征描述子。在真实柔性生物组织MR影像数据集上的实验结果表明,该描述子相比SIFT、SURF、DAISY、GIH描述子的描述性能更优,且适用于真实MR影像的匹配任务。     

基于全局二值特征描述子的三维CBCT图像快速匹配算法

三维图像拼接是通过锥束CT(CBCT)获取大尺寸物体完整的高分辨率三维图像过程中的关键技术之一,成为目前三维图像处理的一个新的研究方向.针对基于特征点的三维CBCT图像拼接技术中相似特征匹配正确率低、匹配过程耗时长的问题,提出一种基于全局二值特征描述子的三维CBCT图像快速匹配算法.首先对二值特征描述子BRIEF进行三维拓展,以适应三维图像;在此基础上加入全局描述子,增强特征描述子的独特性;在特征点匹配时,根据上述特征描述子的特点设计由粗到精的匹配策略,提高特征匹配正确率和效率.实验结果表明,该算法简单有效,可以在大量相似特征条件下提高特征点匹配的正确率,同时也显著提升了匹配速度.     

一种基于稳定区域的图像特征描述子

当不同成像条件下图像局部内容的特征存在明显差异时,会导致特征描述子难以正确匹配。为此,提出一种基于稳定区域的图像特征描述子。利用最大稳定极值区域检测算法提取图像的稳定区域,结合图像特征点的位置和尺度信息,根据稳定区域计算特征主方向,在适应于特征点所属稳定区域尺度的较大邻域内,生成基于对数-极坐标系的特征描述子。应用结果表明,该描述子在图像局部内容变化较大时仍具有旋转不变性和稳定的匹配性能,能有效解决印刷电路板CT图像的配准问题。     

基于空间结构的图像特征匹配算法

图像二进制特征描述器比浮点数特征描述器存储容量小、计算速度更快。在对常用二进制特征描述器进行分析的基础上,利用图像特征点之间的空间结构信息改进FREAK描述器的采样模式,提出MPFREAK描述器,提高特征描述能力;针对特征匹配时最近邻算法运行较慢的缺点,改进LSH算法,减少候选集列表空间,提出了海明空间的二进制特征快速匹配算法MLSH。实验表明,MPFREAK描述器描述能力优于其他算法,特征匹配算法效果明显、速度更快。     

基于梯度角度的直方图局部特征描述子的图像匹配算法

针对传统的局部特征描述子在图像匹配效果和效率上很难兼顾的问题,提出了一种基于梯度角度的直方图(HGA)的图像匹配算法。该算法先通过加速片段测试特征(FAST)获取的图像关键点,然后采用块梯度计算和飞镖靶型结构对局部区域的结构特征进行描述。HGA有效地实现了在旋转、模糊、亮度等多种变换下的良好匹配性能,并在一定程度上具备抗仿射变换的能力。在各种复杂场景下,与高速鲁棒描述子(SURF)、尺度不变特征转换(SIFT)和FAST定向的抗旋转二进制鲁棒独立基元特征(BRIEF)描述子(ORB)进行的实验对比表明基于梯度角度的直方图局部特征描述子达到了匹配效果和效率的均衡,算法时间约为SIFT的1/3,点对匹配准确率均在94.5%以上。     

一种改进的OSID的图像匹配算法

针对OSID在构建描述符时未考虑一个特征点的图像块里存在其他特征点,以及生成直方图描述子匹配速度较慢的问题,提出一种基于OSID的改进二进制描述符。在OSID描述符构建的过程中,扇形个数m的选择是固定的,因此提出当一个特征点的图像块里有多个特征点时,尝试将m的值自适应,丰富描述子所包含的信息,提高算法的正确匹配率;并将OSID最后生成的直方图描述子编码成二进制描述子,使用汉明距离代替欧氏距离进行图像匹配,提高算法的匹配速度。在标准数据集上进行测试,结果表明在复杂的视点变化、图像模糊和JPEG压缩等场景下,改进OSID的匹配精度优于同类描述符以及原算法。     

基于通道注意力和Transformer的图像标题生成方法

图像标题生成是指通过计算机将图像翻译成描述该图像的标题语句。针对现有图像标题生成任务中，未充分利用图像的局部和全局特征以及时间复杂度较高的问题，本文提出一种基于卷积神经网络（Convolution Neural Networks,CNN）和Transformer的混合结构图像标题生成模型。考虑卷积网络所具有的空间和通道特性，首先将轻量化高精度的注意力ECA与卷积网络CNN进行融合构成注意力残差块，用于从输入图像中提取视觉特征；然后将特征输入到序列模型Transformer中，在编码器端借助自注意学习来获得所参与的视觉表示，在语言解码器中捕获标题中的细粒度信息以及学习标题序列间的相互作用，进而结合视觉特征逐步得到图像所对应的标题描述。将模型在MSCOCO数据集上进行实验，BLEU-1、BLEU-3、BLEU-4、Meteor和CIDEr指标分别提高了0.3、0.5、0.7、0.4、1.6个百分点。     

基于卷积神经网络和流形排序的图像检索算法

针对基于内容的图像检索(CBIR)中低层视觉特征与用户对图像理解的高层语义不一致以及传统的距离度量方式难以真实反映图像之间相似程度等问题,提出了一种基于卷积神经网络(CNN)和流形排序的图像检索算法。首先,将图像输入CNN,通过多层神经网络对图像的监督学习,提取网络中全连接层的图像特征;其次,对图像特征进行归一化处理,然后用高效流形排序(EMR)算法对查询图像所返回的结果进行排序;最后,根据排序的结果返回最相似的图像。在corel数据集上,深度图像特征比基于场景描述的图像特征的平均查准率(mAP)提高了53.74%,流形排序比余弦距离度量方式的mAP提高了18.34%。实验结果表明,所提算法能够有效地提高图像检索的准确率。     

一种改进AKAZE特征和RANSAC的图像拼接算法

针对传统图像描述方法在图像对变化复杂时特征点配准精度低,且传统RANSAC算法计算稳定性差的问题,提出一种结合改进AKAZE特征与RANSAC算法的图像拼接算法。利用AKAZE算法构造非线性尺度空间提取图像特征点,采用卷积神经网络描述符生成128维特征向量描述图像特征点,通过精简特征点并在迭代中设定嵌套阈值改进RANSAC算法得到最优变换矩阵模型,结合最佳缝合线算法和多频段融合算法对变换后的图像进行拼接。实验结果表明,和传统AKAZE算法相比,该算法在图像对的视角差异和光照差异较大时,配准精度分别提高12.60和6.99个百分点,改进后的RANSAC算法计算时间较改进前缩短4.17ms,图像拼接精度更高。     

融合图像场景及物体先验知识的图像描述生成模型

目的 目前基于深度卷积神经网络（CNN）和长短时记忆（LSTM）网络模型进行图像描述的方法一般是用物体类别信息作为先验知识来提取图像CNN特征,忽略了图像中的场景先验知识,造成生成的句子缺乏对场景的准确描述,容易对图像中物体的位置关系等造成误判。针对此问题,设计了融合场景及物体类别先验信息的图像描述生成模型（F-SOCPK）,将图像中的场景先验信息和物体类别先验信息融入模型中,协同生成图像的描述句子,提高句子生成质量。方法 首先在大规模场景类别数据集Place205上训练CNN-S模型中的参数,使得CNN-S模型能够包含更多的场景先验信息,然后将其中的参数通过迁移学习的方法迁移到CNN_d-S中,用于捕捉待描述图像中的场景信息;同时,在大规模物体类别数据集Imagenet上训练CNN-O模型中的参数,然后将其迁移到CNN_d-O模型中,用于捕捉图像中的物体信息。提取图像的场景信息和物体信息之后,分别将其送入语言模型LM-S和LM-O中;然后将LM-S和LM-O的输出信息通过Softmax函数的变换,得到单词表中每个单词的概率分值;最后使用加权融合方式,计算每个单词的最终分值,取概率最大者所对应的单词作为当前时间步上的输出,最终生成图像的描述句子。结果 在MSCOCO、Flickr30k和Flickr8k 3个公开数据集上进行实验。本文设计的模型在反映句子连贯性和准确率的BLEU指标、反映句子中单词的准确率和召回率的METEOR指标及反映语义丰富程度的CIDEr指标等多个性能指标上均超过了单独使用物体类别信息的模型,尤其在Flickr8k数据集上,在CIDEr指标上,比单独基于物体类别的Object-based模型提升了9%,比单独基于场景类别的Scene-based模型提升了近11%。结论 本文所提方法效果显著,在基准模型的基础上,性能有了很大提升;与其他主流方法相比,其性能也极为优越。尤其是在较大的数据集上（如MSCOCO）,其优势较为明显;但在较小的数据集上（如Flickr8k）,其性能还有待于进一步改进。在下一步工作中,将在模型中融入更多的视觉先验信息,如动作类别、物体与物体之间的关系等,进一步提升描述句子的质量。同时,也将结合更多视觉技术,如更深的CNN模型、目标检测、场景理解等,进一步提升句子的准确率。     

多媒体工程：2016——图像检索研究进展与发展趋势

目的 基于内容的图像检索方法利用从图像提取的特征进行检索,以较小的时空开销尽可能准确的找到与查询图片相似的图片。方法 本文从浅层特征、深层特征和特征融合3个方面对图像检索国内外研究进展和面临的挑战进行介绍,并对未来的发展趋势进行展望。结果 尺度下不变特征转换（SIFT）存在缺乏空间几何信息和颜色信息,高层语义的表达不够等问题;而CNN （convolutional neural network）特征则往往缺乏足够的底层信息。为了丰富描述符的信息,通常将SIFT与CNN等特征进行融合。融合方式主要包括：串连、核融合、图融合、索引层次融合和得分层（score-level）融合。"融合"可以有效地利用不同特征的互补性,提高检索的准确率。结论 与SIFT相比,CNN特征的通用性及几何不变性都不够强,依然是图像检索领域面临的挑战。     

灰度序模式的局部特征描述算法

目的 在针对LIOP（local intensity order pattern）特征描述算法构造特征描述符过程中,计算描述子权值时未充分考虑采样点之间的局部信息及存在冗余的灰度序模式,从而导致特征描述符不准确的问题,提出一种结合采样点结构信息和剔除冗余模式的算法。方法 首先,研究了采样点局部信息,并利用采样点顺序结构构造了计算特征描述符权值方法;其次,分析了灰度序模式与对应特征描述子权值的关系;最后,在构造特征描述符时,将冗余的灰度序模式剔除。结果 对标准数据集（Oxford dataset）及另外4幅复杂光照变化的图像进行了仿真实验,得到132维的特征描述符。结果表明,与原始LIOP算法相比,该算法在不增加特征维度时precision-recall曲线有较大的提高,即提高了描述特征描述符描述能力,增强了特征对单调强度变化和旋转变化的鲁棒性。结论 提出的算法同时考虑了采样点的差异信息和结构信息,较为完整地保留了待描述点的局部信息,使得图像存在复杂光照强度情况下,能够得到较高精度和辨识度的特征描述符。     

结合改进CNN和双线性模型的CBIR方法

针对现有基于内容的图像检索（Content-Based Image Retrieval,CBIR）方法中图像特征维度较大等问题,提出一种结合改进卷积神经网络（Convolutional Neural Network,CNN）和双线性模型的CBIR方法。采用一种低维度池化方法代替传统CNN中的池化过程,以此降低图像特征映射的维度。基于双线性模型的思想,使用两个特征提取器进行特征提取,并在每个图像位置上对两个特征进行内积,以形成最终的图像描述符。通过计算图像间的曼哈顿距离度量来评估相似性,获得相关图像及其排序。实验结果表明,该方法能够准确检索出相关图像,并具有较低的检索时间和内存消耗。     

字典重建和空间分布关系约束下的特征选择与图像拼接

目的 针对大型图像检索领域中,复杂图像中SIFT特征描述子的冗余和高维问题,提出了一种基于字典重建和空间分布关系约束的特征选择的方法,来消除冗余特征并保留最具表现力的、保留原始空间结构性的SIFT特征描述子。方法 首先,实验发现了特征选择和字典学习方法在稀疏表示方面的内在联系,将特征选择问题转化为字典重构任务;其次,在SIFT特征选择问题中,为了保证特征空间中特征的鲁棒性,设计了新型的字典学习模型,并采用模拟退火算法进行迭代求解;最后,在字典学习的过程中,加入熵理论来约束特征的空间分布,使学习到的特征描述子能最大限度保持原始SIFT特征空间的空间拓扑关系。结果 在公开数据集Holiday大型场景图片检索数据库上,通过与国际公认的特征选择方法进行实验对比,本文提出的特征选择方法在节省内存空间和提高时间效率（30%~ 50%）的同时,还能保证所筛选的特征描述子的检索准确率比同类特征提高8%~ 14.1%;在国际通用的大型场景图片拼接数据库IPM上,验证本文方法在图像拼接应用中特征提取和特征匹配上的有效性,实验表明本文方法能节省（50% ~70%）图像拼接时间。结论 与已有的方法比较,本文的特征选择方法既不依赖训练数据集,也不丢失重要的空间结构和纹理信息,在大型图像检索、图像拼接领域和3D检索领域中,能够精简特征,提高特征匹配效率和准确率。