语音识别实现多媒体检索的系统设计

设计并实现利用语音识别对多媒体信息检索的系统。该系统综合运用分类法．主题法和基于内容的多媒体检索方法,并嵌入语音识别技术。以达到综合运用多媒体低级内容特征和高级语义特征来提高检索性能的目的,同时使得人机交互更为便利。     

一种基于本体的信息检索模型

为解决传统的基于关键词的信息检索只能从语法上分析关键词、进行关键词的机械匹配,导致检索缺乏语义的问题,提出了一个基于本体的语义网检索模型,并以此为基础构建一个系统原型.实践结果表明,该检索模型能够在一定程度上改善检索效果.     

一种实时数字视频内容识别方法

提出了一种在数字电视和流媒体播出过程中进行实时视频内容识别的算法模型,讨论了该模型的几个性质,同时给出一种融合不同视觉特征模型的视频匹配方法,并针对数字电视TS流进行了算法测试,得到了准确实时的内容检测效果.     

基于音频的电视新闻节目的主题检索和聚类

随着流媒体应用的蓬勃兴起,基于媒体内容的检索和管理逐渐成为当前的学术研究热点。新闻节目作为电视节目的一种常见形式,对其主题进行自动提取检索具有重要的实际意义。该文从电视新闻节目的音频入手,综合应用了播音室语音/非播音室语音分类、说话人转换点检测以及按说话人聚类等多种技术,实现了对电视新闻节目的主题的检索和聚类。实验表明,该文中的方法能够找到新闻节目中96%以上的播音室段落,并对其进行准确归类,显示了这种方法的可行性和潜在价值。     

基于流的流媒体语义提取技术研究

提出了在流的基础上最大限度的挖掘流媒体途径各网络层的语义信息。对流媒体语义信息的提取主要包括以下几个方面：首先根据流媒体传输协议规范,对流媒体数据进行实时捕获;通过数据包的入口信息定位和区分不同的流媒体数据流;然后结合多层语义分析方法设计流媒体语义提取算法,最后将提取出的语义信息存入流媒体语义标签库。实验仿真表明,采用基于流的流媒体语义提取技术较好的完成了对流媒体信息的最大化理解。     

基于差异化信息融合的语义信息检索模型

研究语义信息检索方法,提高检索的效率.差异化信息由于特征差异过大,在检索过程中存在较大排异现象,传统的语义信息检索模型针对大差异信息检索过程中,以多轮次检测为主,效率很低.为此,提出一种基于决策树算法的语义信息检索方法.根据多层次解析融合相关理论,计算窗口函数,并且根据窗口函数进行不同层次数据的融合,得到差异信息融合结果.根据上述结果,建立决策树,实现语义信息的检索.实验结果表明,利用改进算法进行语义信息检索,能够提高检索的效率.     

基于词汇树层次语义模型的图像检索算法

解决语义鸿沟必须建立图像低层特征到高层语义的映射,针对此问题,本文提出了一种基于词汇树层次语义模型的图像检索方法.首先提取图像包含颜色信息的SIFT特征来构造图像库的特征词汇树,生成描述图像视觉信息的视觉词汇.并在此基础上利用Bayesian决策理论实现视觉词汇到语义主题信息的映射,进而构造了一个层次语义模型,并在此模型基础上完成了基于内容的语义图像检索算法.通过检索过程中用户的相关反馈,不仅可以加入正反馈图像扩展图像查询库,同时能够修正高层语义映射.实验结果表明,基于该模型的图像检索算法性能稳定,并且随着反馈次数的增加,检索效果明显提升.     

一种高效的语音关键词检索系统

针对音频检索任务中的关键词检索提出一种新的基于拼音图的两阶段检索系统,可以高效地从大量语音数据中检索出感兴趣的文本信息,从而达到为国家安全服务的目的。该系统分为预处理阶段和检索阶段。预处理阶段将语音数据识别成具有高覆盖率的拼音图,在这一过程中通过若干次的无监督最大似然线性回归自适应算法渐次提高拼音图的质量。检索阶段响应用户的频繁查询,只需在拼音图中查找出与关键词拼音匹配的拼音串,并采用基于N元拼音文法的前后向算法计算置信度以实现对检索结果的筛选。实验表明:系统具有较高的召回率和正确率,且检索阶段仅需0.01倍实时,可以满足快速检索的需要。     

基于草图的空间数据检索研究

 空间数据库中蕴含了大量拓扑和方向关系语义,但传统的空间数据检索方法没有很好地利用这些高层语义,针对这一局限性,本文提出了一种基于草图的空间数据检索方法,将九交集拓扑模型和深度方向矩阵引入空间数据检索,给出了一种结合拓扑与方向关系并支持地理数据库中所有数据类型的草图检索方法,基于二元约束满足问题的求解给出了检索算法,并针对实际应用给出了该算法的优化算法.最后通过开发系统原型及实际应用对本文提出的方法进行了验证.     

基于规则推理的语义检索若干关键技术研究

 针对专业领域复杂的检索需求,目前相关研究采用基于语义的方法来扩展检索范围并提高准确度.在语义推理方面,目前搜索引擎通常直接采用语义网中的推理算法,推理效率不高.在排序方面,基于关键字的搜索引擎的排序算法也不适合对语义检索结果进行排序.针对上述问题,本文给出了基于语义网的语义规则建立方法,并提出了一种基于闭合世界假设的反向链接推理算法,提高推理效率,同时给出了一种基于特征相似性排序算法,使检索结果排序方式更加符合语义检索的特点.基于本文提出的方法,构造了语义搜索引擎MaterialHub,实验表明该搜索引擎提高了检索的准确率和查全率,有较好的查询响应时间,并已经得到实际应用.     

一种基于倒排索引的音频检索方法

传统的基于实例的音频检索算法采用顺序索引,检索时需遍历数据库并导致难以忍受的等待时间。针对传统的顺序的索引方法,该文提出基于倒排索引的音频检索算法。该方法首先利用多种音频特征构成的超向量,通过多层音频分割方法将连续音频流分割为特征数值波动幅度小的短时音频段;然后利用事先训练好的音频字典,将短时音频段序列转换为可以表征音频内容的音频字序列,并建立倒排索引;检索时,将用户提交的查询转换为音频字后利用倒排索引无须遍历数据库即可直接定位候选段落,并根据候选段落与查询的内容相似度大小对候选段落进行排序,将排好序的列表作为检索结果。仿真实验以匹配项排名、同类检索结果比例、定位准确性和检索用时4个方面作为评价指标,实验结果显示,该算法能够在平均1.101 s时间内实现92.58%的检索准确率。     

基于融合特征的现勘图像检索结果优化算法

刑侦现勘图像数据库是具有保密性高、图像内容罕见等极具行业特色的图像数据库.针对现勘图像内容复杂、目标物体不明确的特点,提出了DCT-DCT波纹理特征,并与HSV颜色直方图特征、GIST特征相融合构成融合特征.与常用的图像特征相比,DCT-DCT波纹理特征能够得到较高的检索效率,而融合特征的平均检索查准率高于构成其本身的三种特征的平均检索查准率.最后,将语义分析技术引入到检索过程中,提出基于检索结果优化的现勘图像检索算法,利用支持向量机（Support Vector Machine,SVM）分类器对查询图像进行语义提取,并对初次检索的结果进行语义分析,根据初检结果中语义类别的占比选择二次检索方案,该算法能在按例查询的基础上进一步提高平均检索查准率.     

Audio Feature Extraction and Analysis for Scene Segmentation and Classification

Understanding of the scene content of a video sequence is very important for content-based indexing and retrieval of multimedia databases. Research in this area in the past several years has focused on the use of speech recognition and image analysis techniques. As a complimentary effort to the prior work, we have focused on using the associated audio information (mainly the nonspeech portion) for video scene analysis. As an example, we consider the problem of discriminating five types of TV programs, namely commercials, basketball games, football games, news reports, and weather forecasts. A set of low-level audio features are proposed for characterizing semantic contents of short audio clips. The linear separability of different classes under the proposed feature space is examined using a clustering analysis. The effective features are identified by evaluating the intracluster and intercluster scattering matrices of the feature space. Using these features, a neural net classifier was successful in separating the above five types of TV programs. By evaluating the changes between the feature vectors of adjacent clips, we also can identify scene breaks in an audio sequence quite accurately. These results demonstrate the capability of the proposed audio features for characterizing the semantic content of an audio sequence.     

一种基于TSP-KNN的事件相关故事单元检索算法

在传统的基于内容视频检索的方法中,由于视频的领域较宽,视频的低级视觉特征和高级概念之间存在着较大的语义鸿沟,常导致检索效果不佳．本文认为更有现实意义的做法是,以含有比镜头更多语义信息的事件相关故事单元为检索单位,通过提取事件相关媒体中的文本信息并利用机器学习方法自动建立事件类的模型,从而提供概念化的故事单元查询方式．本文提出了组合特征选择方法和一种二阶段修剪KNN：TSP-KNN,组合特征选择方法相对于MI方法更适合事件相关故事单元的检索．二阶段修剪KNN先对训练集进行修剪,然后再用KNN训练得到分类器,该方法解决了样本混叠以及多中心分布问题．实验结果表明所提出的方法是有效的,明显地提高了事件相关故事单元的检索性能．     

基于音视频模板匹配的新闻视频识别方法

本文提出了一种基于音视模板匹配的新闻视频识别方法。在模板建立过程中,从新闻视频片头中的主题音乐提取音频模板,从主持人镜头中的扩展人脸区域提取视觉模板,这两者共同构成音视模板;在识别过程中,对电视视频流先进行音频模板匹配,然后由匹配通过的候选时间点定位到相应的视频镜头,接着通过视觉模板对镜头中的扩展人脸区域进行匹配,进而确定主持人镜头,最后完成新闻视频识别。实验结果表明,该方法计算效率高、简单易操作,具有较好的实用价值。     

Research on image feature extraction and retrieval algorithms based on convolutional neural network

With the rapid development of mobile Internet and digital technology, people are more and more keen to share pictures on social networks, and online pictures have exploded. How to retrieve similar images from large-scale images has always been a hot issue in the field of image retrieval, and the selection of image features largely affects the performance of image retrieval. The Convolutional Neural Networks (CNN), which contains more hidden layers, has more complex network structure and stronger ability of feature learning and expression compared with traditional feature extraction methods. By analyzing the disadvantage that global CNN features cannot effectively describe local details when they act on image retrieval tasks, a strategy of aggregating low-level CNN feature maps to generate local features is proposed. The high-level features of CNN model pay more attention to semantic information, but the low-level features pay more attention to local details. Using the increasingly abstract characteristics of CNN model from low to high. This paper presents a probabilistic semantic retrieval algorithm, proposes a probabilistic semantic hash retrieval method based on CNN, and designs a new end-to-end supervised learning framework, which can simultaneously learn semantic features and hash features to achieve fast image retrieval. Using convolution network, the error rate is reduced to 14.41% in this test set. In three open image libraries, namely Oxford, Holidays and ImageNet, the performance of traditional SIFT-based retrieval algorithms and other CNN-based image retrieval algorithms in tasks are compared and analyzed. The experimental results show that the proposed algorithm is superior to other contrast algorithms in terms of comprehensive retrieval effect and retrieval time.     

基于多目标区域的图像检索

针对传统的基于目标区域的图像检索算法中存在的"语义鸿沟"问题,以及基于全局特征的图像检索算法不能很好地处理多目标检索问题,提出了一种基于多目标区域的图像检索模型,并实现了一款高效的检索算法.首先借助于目标检测算法定位出图像中的目标,然后使用卷积神经网络(CNN)提取各个目标的特征,最后采用新提出的多目标区域相似度测量方法计算其与数据库图像的相似度并返回检索结果.实验表明,所提算法与现有的其他检索算法相比,在多目标图像检索任务上性能更佳.