基于哼唱的音乐检索应用系统

通过研究哼唱旋律基频提取和检索算法,给出了一个完整的基于哼唱的音乐检索系统框架。系统主要分析了旋律特征提取和近似旋律匹配部分。旋律特征提取部分采用基于差分Mel倒谱法求基频;旋律匹配部分对经典的动态时间弯折算法原理分析后,根据声音特征引入音长差序列的余弦相似度,提高了检索效率和精度。在340首MIDI歌曲的测试集上,前三位识别效率提高3.7%,用时降低16%,系统的性能有明显改善。     

一种启发式的用哼唱检索音乐的层次化方法

“用哼唱检索音乐”是一种友好的基于内容的音乐检索方法，它已经引起了广泛的研究兴趣；在对音乐库做了统计分析的基础上，总结了一些启发式规则，帮助对哼唱输入进行基音检测、音符分割，哼唱输入表达为音高轮廓图和节奏，音乐库中的音乐按音乐的节奏类型分为不同的节奏区域，并从每首音乐中抽取旋律轮廓图和节奏信息，用递归神经网络记忆旋律轮廓，音乐库的索引是神经网络的权值矩阵，将哼唱输入与音乐库中的音乐匹配的过程就是计算神经网络的输出过程。实验结果显示了所提方法的有效性。     

基于相对特征的音乐哼唱多句检索算法*

面对海量音乐数据,如何在基于内容检索时对其建立索引、提高检索速度是一个非常重要的研究内容。以句为单位对音乐内容提取特征并建立索引时,库中保存的是音乐旋律的相对特征,但用户在哼唱检索时,有时会哼唱一段包含多句的音乐来检索,这时就需要生成多句特征。针对此本文提出单句特征和多句转换及匹配问题的解决方案并应用于检索系统中,获得了较好的检索效果,相关成果也可应用于具有相似结构的时间序列数据的检索系统中。     

一个使用歌谱信息进行哼唱检索的系统

提出一种直接使用歌谱信息进行哼唱检索的方法,并在此基础上实现了一个基于内容的哼唱检索系统--Music Angel.该系统采用歌谱轮廓作为检索目标,首先提出歌谱轮廓特征提取算法并构造标准音调差值图,然后提取哼唱片段的基音轮廓特征并将其转换为歌谱轮廓特征,最后使用动态规划算法进行字符串相似度计算,得出检索结果.结果表明,该系统对环境噪声有较好的鲁棒性;在含有405首歌曲的搜索空间中,检索前5位成功率超过90%.     

一种新的哼唱音符音高划分方法

哼唱音符音高的准确划分,对哼唱音乐检索系统识别率的提高起着很大的作用。目前,大部分的哼唱音乐检索系统都是采用能量划分的方法,在很大程度上并不能对哼唱波形文件顺利完成单音切割,因此,论文提出的一种新的音符音高划分方法,在基于一般能量划分的基础上,采用基于倍音列的音高识别模型对划分结果进行二次划分、规整,最终实现哼唱音符音高的划分。实验表明,该划分方法能够有效地实现哼唱音符音高的准确划分。     

一种改进的哼唱式音乐检索方法

针对哼唱式音乐检索的非准确性,本文提出了一种新的旋律表示方法,并根据旋律的表示采用了两次匹配算法,将相似度最高的乐曲输出。实验结果表明,该方法提高了哼唱式音乐检索的准确率。     

一种哼唱检索的新方法

文章提出了一种近似旋律匹配的新方法--线性对齐匹配法.与已有的基于内容的音乐检索不同,该算法并非基于近似符号串匹配、统计模型或者特征空间,而是根据相近旋律的音高轮廓在几何上的相似性,将音高和节奏特征一并考虑设计而成的全新算法.在含有1652首乐曲的搜索空间中,检索57段人声哼唱,该方法取得了93%的前3位命中率.这一实验结果表明了线性对齐匹配法的有效性,及其应用于大型数字音乐检索引擎的可行性.     

基于两级神经网络的连续哼唱特征提取

针对用户以任意字词连续哼唱的情况下,哼唱特征提取中音符分割、音符识别难度大的问题,提出了一种基于两级神经网络的哼唱特征提取方法。第一级采用BP神经网络实现哼唱音符分割,得到独立音符;第二级采用RBF神经网络识别分割出的各个音符,获得音符的MIDI音高值。实验结果表明,该方法能较好地完成哼唱特征的提取,适合于实际哼唱检索系统对连续哼唱的要求。     

哼唱音符划分技术研究

哼唱音乐一般是一种波形文件,这样的格式并不利于检索和查找。在使用哼唱音乐检索音乐内容时,需要将哼唱文件转换为音高和时值的形式,作为检索关键字。这些步骤都建立在哼唱已经被按音符切分的基础上。论文采用一种基于振幅能量的多层次音符切分方法,实现对哼唱文件的快速切分。基于能量的划分方法具有简便快速的特点。分层次的划分方法能够针对各种不同音符情况,采用最合适的方法切分。论文还讨论了一种基于音高识别技术的音符划分方法。     

一种基于隐马尔科夫模型的波形文件主旋律基频提取算法

哼唱检索中通常以旋律的基频作为音乐特征进行检索,目前研究的哼唱检索系统都是基于MIDI音乐文件。但是,目前存在的MIDI音乐文件的数量非常少,基于波形文件的哼唱检索系统才是未来的发展趋势。本文针对单声道波形文件,研究了一种提取歌曲主旋律基频曲线的算法。该算法将隐马尔科夫模型和“谐波乐器/打击乐器声音分离”模型进行结合。实验表明该算法对主旋律基频提取具有很高的准确率。     

音乐检索中哼唱找歌的新方法

提出了一个通过哼唱曲调从音乐库中搜索出所需歌曲的方法.由于在哼唱中引起的误差是不可避免的,所以应该考虑留有一定的冗余度.为了适应人们的哼唱习惯,给出了一个新的曲调表示法和新的分级匹配方法.详细描述了检索处理和数据库处理的算法.新的方法在实验评估中发挥了很高的效率.     

一种新的近似旋律匹配方法及其在哼唱检索系统中的应用

提出了一种近似旋律匹配(approximate meltlody matching)的新方法——线性对齐匹配法,并在此基础上实现了一个哼唱检索(queryby humming)系统原型．与已有的基于内容的音乐检索(content-based music retrieval)不同,该算法并非基于近似符号串匹配、统计模型或者特征空间,而是根据相近旋律的音高轮廓在几何上的相似性,将音高和节奏特征一并考虑所设计而成的全新算法．通过实验检验该算法的有效性,在含有3864首乐曲的搜索空间中,检索62段人声哼唱,线性对齐匹配法取得了90．3％的前3位命中率,相比传统的近似符号匹配算法高出11％以上．这一实验结果有力地表明了线性对齐匹配法的有效性,及其应用于大型数字音乐检索引擎的可行性．     

支持得分矩阵的音乐检索技术

作为音乐检索的重要方式,哼唱检索由于其有效性和方便性,引起了广泛的关注。对此提出了一种新的基于得分矩阵的音乐哼唱快速检索技术,可以实现哼唱音乐的快速检索。首先根据哼唱音乐特征,将音乐数据库和用户提供的哼唱片段,按自然停顿方式划分音乐的语句,同时使用K-means聚类算法对音乐的语句片段进行音高相似性计算,并根据聚类情况提取出位置特异性得分矩阵。此外,基于得分矩阵提出NA匹配算法和两种加速分段计分方法,分别是顺序前瞻计分SLS算法和置换矩阵前瞻计分PLA算法。实验结果表明所提出的基于得分矩阵的音乐检索技术能够快速有效地返回查询结果,同时PLA算法具有更有效的哼唱音乐检索结果。     

基于定性映射的哼唱音乐旋律提取

根据哼唱旋律提取的特点和定性映射的相关知识,结合基本乐理,提出哼唱片段旋律提取的定性映射模型和算法,包括哼唱旋律音符切分阈值的动态定性判定,以及音符音高确定的动态赋权的定性映射。实验结果表明,该算法不仅能灵活合理地确定音符切分的定性判定基准,同时能够较准确地提取音符音高,并得到哼唱片段的旋律轮廓线。     

Pattern discovery and change detection of online music query streams

Mining of music data is one of the most important problems in multimedia data mining. In this paper, two research issues of mining music data, i.e., online mining of music query streams and change detection of music query streams, are discussed. First, we proposed an efficient online algorithm, FTP-stream (Frequent Temporal Pattern mining of streams), to mine all frequent melody structures over sliding windows of music melody sequence streams. An effective bit-sequence representation is used in the proposed algorithm to reduce the time and memory needed to slide the windows. An effective list structure is developed in the FTP-stream algorithm to overcome the performance bottleneck of 2-candidate generation. Experiments show that the proposed algorithm FTP-stream only needs a half of memory requirement of original melody sequence data, and just scans the music query stream once. After mining frequent melody structures, we developed a simple online algorithm, MQS-change (changes of Music Query Streams), to detect the changes of frequent melody structures in current user-centered music query streams. Two music melody structures (set of chord-sets and string of chord-sets) are maintained and four melody structure changes (positive burst, negative burst, increasing change and decreasing change) are monitored in a new summary data structure, MSC-list (a list of Music Structure Changes). Experiments show that the MQS-change algorithm is an effective online method to detect the changes of music melody structures over continuous music query streams.

A General Framework of Progressive Filtering and Its Application to Query by Singing/Humming

This paper presents the mathematical formulation and design methodology of progressive filtering (PF) for multimedia information retrieval, and discusses its application to the so-called query by singing/humming (QBSH), or more formally, melody recognition. The concept of PF and the corresponding dynamic programming-based design method are applicable to large multimedia retrieval systems for striking a balance between efficiency (in terms of response time) and effectiveness (in terms of recognition rate). The application of the proposed PF to a five-stage QBSH system is reported, and the experimental results demonstrate the feasibility of the proposed approach.     

有效的哼唱旋律基音提取方法研究与实现

为使用户可以通过哼唱音乐片段的方式,在较大规模乐曲库中能实时、准确、快速搜索到目标歌曲,结合多种音乐的乐理特点和音乐的数字化表示,提出考虑周期性测度改进传统端点检测方案,并综合线性预测分析（LPC）和相关函数与削波法相结合的方法进行旋律基音提取。实验表明利用LPC仅仅保留声门激励信号的特点,有效地减少了声道共振峰的影响,而采用削波法也一定程度减少噪声的干扰并使得计算相关函数的运算量大为减少,更显著的是考虑周期性测度的端点检测可以找到更精确的语音段,可以准确提取旋律并有效达到哼唱检索实时性要求。