采用上下文金字塔特征的场景分类

为了能有效地表述场景图像的语义特性,提出一种基于图像块上下文信息的场景图像分类框架.首先用规则网格将图像分块,并提取每个块的SIFT特征;然后用K均值算法对训练图像的块特征聚类,形成块类型的码本;再根据此码本对图像块进行量化,得到图像的视觉词汇表示,形成视觉词汇图,并在其上建立2类视觉词汇模型:相邻共现的不同视觉词汇对模型和连续共现的相同视觉词汇群模型;最后应用空间金字塔匹配建立视觉词汇的上下文金字塔特征,并采用SVM分类器进行分类.实验结果证明,在常用的场景图像库上,文中方法比已有的典型方法具有更好的场景分类性能.     

融合颜色词袋特征的视觉词汇树图像检索

针对由图像灰度空间产生的传统词袋模型SIFT特征无法体现图像的颜色信息的问题,提出了一种融合颜色特征的视觉词汇树来对图像进行描述。提取SIFT特征并建立词汇树,获取图像的SIFT表示向量。利用K-means方法对图像库中的所有图像的HSV值进行聚类,获得基于HSV空间的颜色词袋表示向量,避免了传统颜色直方图方法所带来的量化误差。将SIFT特征与颜色词袋特征进行融合,完成了图像的全局特征和局部特征的融合。然后,计算融合特征的相似度,将相似度从高到低排序,完成图像检索。为了验证本方法的有效性,选择Corel图像库对算法性能进行实验分析,从主观评价和客观评价标准分别进行评价,并与传统方法进行了对比。结果表明,特征融合的检索性能与单一特征方法相比有较大提高。特征融合方法的平均检索查准率和查全率-查准率等评价指标,对比传统方法均有不同程度提高。     

场景语义引导下的改进灰度世界算法

色彩恒常性的实现中,灰度世界算法通常因自然图像间场景差异导致较弱的光源估计性能.针对上述问题,提出了一种以场景语义为引导的改进灰度世界算法.首先,使用灰度化图像计算稠密SIFT描述子以避免彩色图像偏色干扰,SIFT描述子集合由词袋模型进一步生成无序视觉词汇;其次,以视觉词汇对应像素平均亮度为权重,基于空间金字塔匹配算法构建金字塔结构的亮度加权词频直方图;然后,采用直方图交叉核函数计算图像间场景语义相似度,并依据该相似度检索与测试图像场景语义相似的候选图像集;最后,所有候选图像的像素统计分布在经孤立森林算法移除异常值后被用于自适应推断,并更新灰度世界算法的固定假设,改进后灰度世界算法通过光源估计实现色彩恒常性.在ColorChecker,Cube+和NUS共3类公开色彩恒常数据集中的实验结果表明,所提算法在单相机测试中的光源估计角度误差较同类型灰度世界改进算法下降接近20%,且可在跨相机测试中取得对比算法中最低的光源估计角度误差.     

基于空间分布差异度的分块彩色图像检索方法

传统的基于颜色直方图的彩色图像检索方法具有计算简单和尺度变化不敏感的优点,但传统的方法普遍存在丢失图像空间信息和特征维数较高的缺点。为克服上述缺陷,提出了一种基于空间分布差异度的分块颜色直方图图像检索新方法。该算法首先将图像进行划分,并计算图像各子块间的相似度;然后,对分块的图像进行空间分布差异度的计算,并由此确定各分块的权值系数;最后,对各子块的相似度进行加权累加从而得到整幅图像的相似度。实验表明,该算法能克服传统方法的弊端,并具有较好的平均查找性能。     

基于空间上下文的目标图像检索

提出了一种空间上下文描述与匹配方法,有效地提高了基于视觉性.首先通过定义具有仿射协变性的空间邻域,得到自适应的多层空间上下文描述;然后提出模糊堆土机距离度量方法计算空间上下文相似性,以减少区块特征聚类错误对空间关系匹配的影响.在预处理阶段,基于熵值和自相似度进行噪声区块过滤.与已有方法相比,该方法的平均检索精度相对提高了10.8%.     

一种基于上下文的语义相似度算法

本体中概念映射的关键是概念相似度计算.本文针对目前概念相似度计算所存在的问题,提出了一种基于上下文的计算本体内概念间语义相似度的算法,从概念的父代和子代两个角度进行计算.该算法充分考虑了概念所处的具体应用环境,利用了本体中概念的语义信息.实验结果表明,基于上下文的语义相似度算法比单纯地计算概念闻语义相似度更有效.     

基于增强微结构和上下文相似度的图像检索

针对图像检索中多特征综合描述子维度过高且综合权值难以确定的缺点,提出一种新的基于增强微结构和上下文相似度的图像检索方法。首先,使用一种新的局部模式映射来创建过滤图;然后,基于该图上的颜色共生关系提取增强微结构描述子,该描述子综合了多种特征而维度与单特征相同,检索时使用此描述子计算图像对间的规范距离得出初始的有序相似图像序列;最后,结合迭代上下文相似度对检索序列进行重新排序。当迭代次数为50且考虑前24幅结果图像时,在Corel-5000和Corel-10000图像集上的实验结果显示,所提方法与同类型的多重基元直方图(MTH)和微结构描述子(MSD)方法相比,检索查准率分别提高了13.14%、7.09%和11.03%、6.8%。结果表明新方法能在维度不变的情况下综合多种特征并充分利用上下文信息,从而有效提高图像检索的准确率。     

融合主题及上下文特征的汉缅双语词汇抽取方法

缅甸语属于低资源语言,网络中获取大规模的汉-缅双语词汇一定程度上可以缓解汉-缅机器翻译中面临句子级对齐语料匮乏的问题.为此,本文提出了一种融合主题及上下文特征的汉缅双语词汇抽取方法.首先利用LDA主题模型获取汉缅文档主题分布,并通过双语词向量表征将跨语言主题向量映射到共享的语义空间后抽取同一主题下相似度较高的词作为汉-缅双语候选词汇,然后基于BERT获取候选双语词汇相关上下文的词汇语义表征构建上下文向量,最后通过计算候选词的上下文向量的相似度对候选双语词汇进行加权得到质量更高的汉缅互译词汇.实验结果表明,相对于基于双语词典的方法和基于双语LDA+CBW的方法,本文提出的方法准确率上分别提升了11.07%和3.82%.     

一种基于加权时空上下文的鲁棒视觉跟踪算法

由于光照及外观变化、复杂背景、目标旋转与遮挡等因素的影响, 给实现鲁棒的视觉跟踪带来困难. 有效利用上下文(Context)中包含的有用信息有助于提升上述条件下视觉跟踪的鲁棒性. 时空上下文 (Spatio-temporal context, STC)算法是新近提出的一种基于时空上下文的目标跟踪算法, 它利用目标周围的稠密上下文信息, 取得了良好的跟踪效果. STC的不足是其同等对待整个上下文区域, 没有对上下文做进一步的区分, 减弱了上下文的作用. 本文采用动态分区处理思想, 根据上下文中不同区域与跟踪目标运动相似度大小, 赋予不同权值, 提出了基于加权时空上下文(Weighted spatio-temporal context, WSTC)的鲁棒视觉跟踪算法. 最后在公共数据集上进行的对比实验表明, 本文所提出的算法具有更好的跟踪效果和鲁棒性.     

基于空间分布描述符的SIFT误匹配校正方法

针对SIFT（scale invariant feature transform）特征描述符因仅利用特征点的局部邻域信息而对散落在图像内相似结构中的点极易发生误匹配的现象,提出了一种基于空间分布描述符的SIFT误匹配校正方法。该方法首先利用SIFT算法进行匹配;然后对于匹配结果中的特征点,再利用图像轮廓像素点对该点的空间分布信息进行重新描述,以形成一种独特性更高的空间分布描述符;最后运用此种描述符,对匹配结果中存在的“一对多”和“一对一”的错误匹配形式,分别采取两种不同的匹配策略进行校正。以真实图像进行的实验结果表明,该方法与RANSAC（随机抽样一致性)算法相比,其在不损失正确匹配的前提下,能够真正提高正确匹配率。     

基于张量积扩散与纹理元相似的医学图像检索

针对医学图像检索中相似性表达的自身困难,以及噪声影响的问题,提出一种通过张量积图进行扩散,利用其他数据点的上下信息改进基于纹理元的成对相似性度量的方法。首先,采用纹理元的统计方法进行医学图像特征描述和提取,并通过对纹理元相似性加权,得到图像的成对相似性;然后,利用张量积图沿着数据点的内在流形进行相似性的传播,实现全局的相似性度量。在ImageCLEFmed 2009上的实验结果表明,该算法与基于Gabor的检索算法相比,其类平均精度提高了32%,与基于尺度不变特征转换(SIFT)的检索算法相比,其类平均精度提高了19%,能良好地应用于医学图像检索。     

Feature grouping and local soft match for mobile visual search

More powerful mobile devices stimulate mobile visual search to become a popular and unique image retrieval application. A number of challenges come up with such application, resulting from appearance variations in mobile images. Performance of state-of-the-art image retrieval systems is improved using bag-of-words approaches. However, for visual search by mobile images with large variations, there are at least two critical issues unsolved: (1) the loss of features discriminative power due to quantization; and (2) the underuse of spatial relationships among visual words. To address both issues, this paper presents a novel visual search method based on feature grouping and local soft match, which considers properties of mobile images and couples visual and spatial information consistently. First features of the query image are grouped using both matched visual features and their spatial relationships; and then grouped features are softly matched to alleviate quantization loss. An efficient score scheme is devised to utilize inverted file index and compared with vocabulary-guided pyramid kernels. Finally experiments on Stanford mobile visual search database and a collected database with more than one million images show that the proposed method achieves promising improvement over the approach with a vocabulary tree, especially when large variations exist in query images.     

Expert system design using wavelet and color vocabulary trees for image retrieval

A new image indexing and retrieval system for content based image retrieval (CBIR) is proposed in this paper. The characteristics (vector points) of image are computed using color (color histogram) and SOT (spatial orientation tree). The SOT defines the spatial parent-child relationship among wavelet coefficients in multi-resolution wavelet sub-bands. First the image is divided into sub-blocks and then constructed the SOT for each low pass wavelet coefficient is considered as a vector point of that particular image. Similarly the color histogram features are collected from the each sub-block. The vector points of each image are indexed using vocabulary tree. The retrieval results of the proposed method are tested on different image databases, i.e., natural image database consists of Corel 1000 (DB1), Brodatz texture image database (DB2) and MIT VisTex database (DB3). The results after being investigated show a significant improvement in terms of average precision, average recall and average retrieval rate on DB1 database and average retrieval rate on texture databases (DB2 and DB3) as compared with most of existing techniques on respective databases.     

Encoding Spatial Context for Large-Scale Partial-Duplicate Web Image Retrieval

Many recent state-of-the-art image retrieval approaches are based on Bag-of-Visual-Words model and represent an image with a set of visual words by quantizing local SIFT (scale invariant feature transform) features. Feature quantization reduces the discriminative power of local features and unavoidably causes many false local matches between images, which degrades the retrieval accuracy. To filter those false matches, geometric context among visual words has been popularly explored for the verification of geometric consistency. However, existing studies with global or local geometric verification are either computationally expensive or achieve limited accuracy. To address this issue, in this paper, we focus on partial duplicate Web image retrieval, and propose a scheme to encode the spatial context for visual matching verification. An efficient affine enhancement scheme is proposed to refine the verification results. Experiments on partial-duplicate Web image search, using a database of one million images, demonstrate the effectiveness and efficiency of the proposed approach. Evaluation on a 10-million image database further reveals the scalability of our approach.     

基于深度语义模型的乳腺X线图像检索

图像特征是基于内容的图像检索（Content-based image retrieval,CBIR）的关键,大部分使用的手工特征难以有效地表示乳腺肿块的特征,底层特征与高层语义之间存在语义鸿沟。为了提高CBIR的检索性能,本文采用深度学习来提取图像的高层语义特征。由于乳腺X线图像的深度卷积特征在空间和特征维度上存在一定的冗余和噪声,本文在词汇树和倒排文件的基础上,对深度特征的空间和语义进行优化,构建了两种不同的深度语义树。为了充分发挥深度卷积特征的识别能力,根据乳腺图像深度特征的局部特性对树节点的权重进行细化,提出了两种节点加权方法,得到了更好的检索结果。本文从乳腺X线图像数据库（Digital database for screening mammography, DDSM）中提取了2 200个感兴趣区域（Region of interest,ROIs）作为数据集,实验结果表明,该方法能够有效提高感兴趣肿块区域的检索精度和分类准确率,并且具有良好的可扩展性。     

基于全局特征和尺度不变特征转换特征融合的医学图像检索

特征提取是图像检索或图像配准的关键步骤,针对单一特征不能很好地表述图像的问题, 根据医学图像的特点,提出了一种融合全局特征和局部特征的医学图像检索算法。首先在研究单一特征医学图像检索算法的基础上, 提出了融合全局特征和相关反馈的检索算法;其次对尺度不变特征转换(SIFT)特征进行了优化,提出了改进的SIFT 特征提取算法和匹配算法;最后,为了保证结果的准确性并改进检索效果,采用了融合局部特征的方法逐步求精。通过对标准临床数字式X射线成像(DR)图像数据库的实验研究表明,该算法应用在医学图像的检索中有较好的结果。     

改进的基于颜色和SIFT特征的图像检索方法

针对全局灰度直方图缺少空间分布信息和SIFT特征匹配方法准确性不足的问题,提出基于分块的提取图像颜色矩方法,并改进了SIFT特征度量算法.然后将这两种改进算法相结合,并应用于图像检索系统中.实验结果表明,本文提出的算法在图像检索中取得了较好的效果.     

多媒体工程：2016——图像检索研究进展与发展趋势

目的 基于内容的图像检索方法利用从图像提取的特征进行检索,以较小的时空开销尽可能准确的找到与查询图片相似的图片。方法 本文从浅层特征、深层特征和特征融合3个方面对图像检索国内外研究进展和面临的挑战进行介绍,并对未来的发展趋势进行展望。结果 尺度下不变特征转换（SIFT）存在缺乏空间几何信息和颜色信息,高层语义的表达不够等问题;而CNN （convolutional neural network）特征则往往缺乏足够的底层信息。为了丰富描述符的信息,通常将SIFT与CNN等特征进行融合。融合方式主要包括：串连、核融合、图融合、索引层次融合和得分层（score-level）融合。"融合"可以有效地利用不同特征的互补性,提高检索的准确率。结论 与SIFT相比,CNN特征的通用性及几何不变性都不够强,依然是图像检索领域面临的挑战。