文本图像信息的提取与识别

文本是计算机视觉的许多应用中的一项重要特征,图像中的文本往往包含着比较丰富的信息,将文本图像信息里的文字进行提取和识别,对于图像内容的分析、理解、信息检索等方面具有重要的意义。文本图像的识别分为预处理,文字的切分,细化,特征选择与提取,最后对候选文字进行识别。在文字的切分方面提出了一种改进的投影算法,该算法能在很大程度上提高文字切分的准确度,采用基于数学形态学算法对文字进行细化处理,并在特征选择方面引用了多级分类的算法。     

基于RGB-D融合特征的图像分类

当前经典的图像分类算法大多是基于RGB图像或灰度图像,并没有很好地利用物体或场景的深度信息,针对这个问题,提出了一种基于RGB-D融合特征的图像分类方法。首先,分别提取RGB图像dense SIFT局部特征与深度图Gist全局特征,然后将得到的两种图像特征进行特征融合;其次,使用改进K-means算法对融合特征建立视觉词典,克服了传统K-means算法过度依赖初始点选择的问题,并在图像表示阶段引入LLC稀疏编码对融合特征与其对应的视觉词典进行稀疏编码;最后,利用线性SVM进行图像分类。实验结果表明,所提出的算法能有效地提高图像分类的精度。     

多源异构用户生成内容的融合向量化表示学习

随着移动网络和APPs的发展,包含用户评价、标记、打分、图像和视频等多源异构数据的用户生成内容(User Genera-ted Contents,UGC)成为提高个性化服务质量的重要依据,对这些数据的融合和表示学习成为其应用的关键.对此,提出一种面向多源文本和图像的融合表示学习.采用Doc2vec和LDA模型,给出多源文本的向量化表示,采用深度卷积网络获取与评价文本相关的图像特征;给出多源文本向量化表示的多策略融合机制,以及文本和图像卷积融合的表示学习.将所提算法应用于亚马逊含UGC内容的商品数据集上,基于UGC向量化表示物品的分类准确率说明了该算法的可行性和有效性.     

相关空间嵌入算法及其在图像检索中的应用

图像语义检索的一个有效解决途径是找到图像底层特征与文本语义之间的关联.文中在核方法和图拉普拉斯矩阵的基础上,提出一种相关空间嵌入算法,并利用文本隐性语义索引和图像特征的视觉单词,构造出文本语义空间与图像特征空间这两个异构空间的相关关系,从而找出文本语义与视觉单词间潜在关联,实现图像的语义检索.文中算法把保持数据流形结构的一致性作为一种先验约束,将文本语义空间和图像特征空间中的数据点嵌入到同一个相关空间中.因此,与典型相关分析算法相比,这种相关嵌入映射不仅可揭示不同数据空间之间存在的相关关系,还可在相关空间中保留原始数据分布结构,从而提高算法的可靠性.实验验证文中算法的有效性,为图像语义检索提供一种可行方法.     

跨模态多标签生物医学图像分类建模识别

目的 生物医学文献中的图像经常是包含多种模式的复合图像,自动标注其类别,将有助于提高图像检索的性能,辅助医学研究或教学。方法 融合图像内容和说明文本两种模态的信息,分别搭建基于深度卷积神经网络的多标签分类模型。视觉分类模型借用自然图像和单标签的生物医学简单图像,实现异质迁移学习和同质迁移学习,捕获通用领域的一般特征和生物医学领域的专有特征,而文本分类模型利用生物医学简单图像的说明文本,实现同质迁移学习。然后,采用分段式融合策略,结合两种模态模型输出的结果,识别多标签医学图像的相关模式。结果 本文提出的跨模态多标签分类算法,在ImageCLEF2016生物医学图像多标签分类任务数据集上展开实验。基于图像内容的混合迁移学习方法,比仅采用异质迁移学习的方法,具有更低的汉明损失和更高的宏平均F1值。文本分类模型引入同质迁移学习后,能够明显提高标签的分类性能。最后,融合两种模态的多标签分类模型,获得与评测任务最佳成绩相近的汉明损失,而宏平均F1值从0.320上升到0.488,提高了约52.5%。结论 实验结果表明,跨模态生物医学图像多标签分类算法,融合图像内容和说明文本,引入同质和异质数据进行迁移学习,缓解生物医学图像领域标注数据规模小且标签分布不均衡的问题,能够更有效地识别复合医学图像中的模式信息,进而提高图像检索性能。     

拥抱融合的多模态灾害分析算法

融合文本和图像的多模态信息相对于单模态可以提升灾害事件分析准确率。但是已有的工作多数将文本特征和图片特征进行简单的融合,在提取、融合特征的时候造成特征的冗余,同时忽略了模态之间的联系,没有考虑到图像和文本之间特征的相关性。为此,本文分析和研究目前流行的多模态融合算法,提出一种拥抱融合的多模态灾害事件分析算法。首先将文本特征和图像的特征向量互相对比,考虑文本和图像特征之间的相关性。然后基于多项抽样,剔除冗余的特征,融合文本特征和图像特征。实验结果表明,拥抱融合在CrisisMMD2.0数据集上实验1的2个任务的分类效果准确率分别高达88.2%、85.1%,都明显优于其他多模态融合模型,表明了该模型的有效性。同时第2个实验也验证了拥抱模型对于不同文本和图像深度学习模型的适用性。     

基于视觉描述符的图像大数据分类算法仿真

图像大数据化是不可阻挡的科技进程,但随着图像数量的增多,传统分类算法在图像识别与分类上具有一定的局限性。为解决大数据图像分类的精确度低下的问题,提出一种融合图像视觉描述符与图像初级特征的分类算法。首先利用迁移学习的优势,从VGG18的最大池化层提取图像的初级特征;然后加个图像预处理,采用“82圆型LBP算子”与“化Canny算子”分别提取同质纹理描述符与边缘直方描述符;最后将图像基础特征与视觉描述符相融合构建基于支持向量机的图像识别分类模型(DES-SVM)。仿真结果表明,经图像视觉描述符与图像初级特征相融合的建模方式,有效的提高了图像分类的精确度,较传统SVM模型相比,DES-SVM模型在UKB图像库与ZBD图像库上准确率、召回率与F指标分别提高了7.85%、8.42%和8.13%。构建的DES-SVM图像识别分类模型通过视觉描述符提取的方式有效的提升了模型的性能。     

基于文本与视觉信息的细粒度图像分类

一般细粒度图像分类只关注图像局部视觉信息,但在一些问题中图像局部的文本 信息对图像分类结果有直接帮助,通过提取图像文本语义信息可以进一步提升图像细分类效果。 我们综合考虑了图像视觉信息与图像局部文本信息,提出一个端到端的分类模型来解决细粒度 图像分类问题。一方面使用深度卷积神经网络获取图像视觉特征,另一方面依据提出的端到端 文本识别网络,提取图像的文本信息,再通过相关性计算模块合并视觉特征与文本特征,送入 分类网络。最终在公共数据集 Con-Text 上测试该方法在图像细分类中的结果,同时也在 SVT 数据集上验证端到端文本识别网络的能力,均较之前方法获得更好的效果。     

图像重排序中与查询相关的图像相似性度量

现今的图像搜索引擎主要利用图像周围文本信息为图像排序,根据图像内容重排序可以进一步提高搜索性能。图像相似性的度量对重排序算法的性能至关重要。然而已有的相似性度量没有考虑针对不同的查询,图像的相似性应该不同。提出一种与查询相关的相似性度量方法,将基于全局特征的相似性,基于局部特征的相似性,以及视觉单词同时出现率融合到一个迭代算法中,挖掘出与查询相关的图像信息,计算图像相似性。在Bing图像搜索引擎上的实验结果证明本文提出的相似性度量方法优于基于全局特征,局部特征,或它们线性组合的相似性。     

融合视觉感知特性的场景分类算法

目的 目前对于场景分类问题,由于其内部结构的多样性和复杂性,以及光照和拍摄角度的影响,现有算法大多通过单纯提取特征进行建模,并没有考虑场景图像中事物之间的相互关联,因此,仍然不能达到一个理想的分类效果。本文针对场景分类中存在的重点和难点问题,充分考虑人眼的视觉感知特性,利用显著性检测,并结合传统的视觉词袋模型,提出了一种融合视觉感知特性的场景分类算法。方法 首先,对图像进行多尺度分解,并提取各尺度下的图像特征,接着,检测各尺度下图像的视觉显著区域,最后,将显著区域信息与多尺度特征进行有机融合,构成多尺度融合窗选加权SIFT特征（WSSIFT）,对场景进行分类。结果 为了验证本文算法的有效性,该算法在3个标准数据集SE、LS以及IS上进行测试,并与不同方法进行比较,分类准确率提高了约3%~17%。结论 本文提出的融合视觉感知特性的场景分类算法,有效地改善了单纯特征描述的局限性,并提高了图像的整体表达。实验结果表明,该算法对于多个数据集都具有较好的分类效果,适用于场景分析、理解、分类等机器视觉领域。     

文本检测与识别在细粒度图片分类中的应用

细粒度的图片分类是深度学习图片分类领域中的一个重要分支,其分类任务比一般的图片分类要困难,因为很多不同分类图片中的特征相似度极高,没有特别鲜明的特征用以区分,因而需要优化一个传统的图片分类方法.在一般的图片分类中,通常通过提取视觉以及像素级别的特征用来训练,然而直接应用到细粒度分类上并不太适配,效果仍有待提高,可考虑利用非像素级别的特征来加以区分.因此,我们提出联合文本信息和视觉信息作用于图片分类中,充分利用图片上的特征,将文本检测与识别算法和通用的图片分类方法结合,应用于细粒度图片分类中,在Con-text数据集上的实验结果表明我们提出的算法得到的准确率有显著的提升.     

在线生物文献MRI图像识别系统的设计与实现

为构建在线生物文献核磁共振图像库,通过分析在线医学文献图像的特点,用塔式梯度方向直方图进行图像特征提取,结合图像对应的文本标注,采用基于高斯过程的分类方法设计实现了一个在线生物文献MRI图像识别系统。实验结果表明,该系统比基于单一特征的系统识别率更高,同时比基于标准的SVM和KNN的识别方法性能更好。表明该系统的设计是可行、可靠和有效的。     

利用概率主题模型的遥感影像半监督分类

土地覆盖是自然环境与人类活动相互作用的中心,而土地覆盖信息主要是通过遥感影像分类来获取,因此影像分类是遥感影像分析的最基本问题之一。在参考基于概率主题模型的高分辨率遥感影像聚类分析的基础上,通过半监督学习最典型的生成模型方法引出了基于概率主题模型的半监督分类（SS-LDA）算法。借鉴SS-LDA模型在文本识别应用的流程,构建了基于SS-LDA算法的高分辨率遥感影像分类的基本流程。通过实验证明,相对于传统的非监督分类与监督分类算法,SS-LDA算法能够获取较高精度的影像分类结果。     

Robust content-based image indexing using contextual clues and automatic pseudofeedback

In this paper we present a robust information integration approach to identifying images of persons in large collections such as the Web. The underlying system relies on combining content analysis, which involves face detection and recognition, with context analysis, which involves extraction of text or HTML features. Two aspects are explored to test the robustness of this approach: sensitivity of the retrieval performance to the context analysis parameters and automatic construction of a facial image database via automatic pseudofeedback. For the sensitivity testing, we reevaluate system performance while varying context analysis parameters. This is compared with a learning approach where association rules among textual feature values and image relevance are learned via the CN2 algorithm. A face database is constructed by clustering after an initial retrieval relying on face detection and context analysis alone. Experimental results indicate that the approach is robust for identifying and indexing person images.Y. Alp Aslandogan: Correspondence to:     

图像匹配方法综述

图像匹配是图像处理技术中的重要研究内容。本文介绍了图像匹配的几个要素,图像匹配算法的分类以及图像匹配性能评价指标,探讨了图像匹配中有待进一步研究和解决的问题。介绍了近来出现的新思路和新方法,提出了实际应用中有待进一步研究的内容,如算法的融合、基于局部特征的算法、基于模型的匹配算法等。     

一种基于视觉单词的图像检索方法

基于内容的图像检索技术最主要的问题是图像的低层特征和高层语义之间存在着"语义鸿沟"。受文本内容分析的启发,有研究学者借鉴传统词典中用文本单词组合解释术语的思路,将图像视为视觉单词的组合,利用一系列视觉单词的组合来描述图像的语义内容。为此,利用SIFT进行图像的视觉单词特征提取,然后构建视觉单词库,最后实现了一个基于视觉单词的图像检索系统。实验结果表明,该方法在一定程度上提高了图像检索的查准率。     

一种能实现免脱帽人脸识别系统算法

针对人脸识别系统在人脸被遮挡情况下识别率低的问题,为进一步提升人脸在遮挡情况下的识别率,文章提出一种通过图像多方向梯度值,使用融合、补偿等方式产生可以对原图像进行特征描述的特征图像,通过对特征图进行一系列处理后实现人脸识别的算法;算法首先计算图像四方位的梯度值;其次对4个梯度值进行融合运算,产生合融梯度、差融梯度;再次以合融梯度、差融梯度作为补偿变量在原图像上进行适当系数的补偿,形成人脸图像特征图;然后对特征图依次进行直方图统计、主成分分析后,使用SVM分类器进行分类识别;使用Matlab2016试验仿真平台在ORL、CMU_PIE等多个人脸数据库上进行测试,分别取得100%、92.21%的准确率,结果表明推荐算法在人脸被遮挡情况下的识别率具有很好的表现。     

A new method for expiration code detection and recognition using gabor features based collaborative representation

Text in images and video contains important information for visual content understanding, indexing, and recognizing. Extraction of this information involves preprocessing, localization and extraction of the text from a given image. In this paper, we propose a novel expiration code detection and recognition algorithm by using Gabor features and collaborative representation based classification. The proposed system consists of four steps: expiration code location, character isolation, Gabor features extraction and characters recognition. For expiration code detection, the Gabor energy (GE) and the maximum energy difference (MED) are extracted. The performance of the recognition algorithm is tested over three Gabor features: GE, magnitude response (MR) and imaginary response (IR). The Gabor features are classified based on collaborative representation based classifier (GCRC). To encompass all frequencies and orientations, downsampling and principal component analysis (PCA) are applied in order to reduce the features space dimensionality. The effectiveness of the proposed localization algorithm is highlighted and compared with other existing methods. Extensive testing shows that the suggested detection scheme outperforms existing methods in terms of detection rate for large image database. Also, GCRC show very competitive results compared with Gabor feature sparse representation based classification (GSRC). Also, the proposed system outperforms the nearest neighbor (NN) classifier and the collaborative representation based classification (CRC).