分布式潜在狄利克雷分配研究综述

作为主题模型中最重要的机器学习模型,潜在狄利克雷分配问题在包括自然语言处理和信息检索等各领域展现出不可替代的地位.求解潜在狄利克雷分配问题主要采用变分推断和马尔科夫链蒙特卡洛两类算法.目前,数据的增长速度早已远超硬件能力的增长速度,因此在大数据时代,分布式平台的使用成为大数据训练的主流解决方案.利用分布式系统加速对潜在狄利克雷的训练和推断,成为相关研究领域的热门问题.本文对分布式潜在狄利克雷分配算法的相关工作进行分类整理和评估,对未来该领域的研究方向具有引导作用.     

大规模MIMO系统上行链路时间-空间结构信道估计算法

针对大规模多入多出(MIMO)系统上行链路非平稳空间相关信道的估计问题,该文利用信道的时间-空间2维稀疏结构信息,应用狄利克雷过程(DP)和变分贝叶斯推理(VBI),设计了一种低导频开销和计算复杂度的信道估计迭代算法,提高了信道估计精度。由于平稳空间相关信道难以适用于大规模MIMO系统,该文借助于狄利克雷过程构建了非平稳空间相关信道先验模型,可将具有空间关联的多个物理信道映射为具有相同时延结构的概率信道,并应用变分贝叶斯推理设计了低导频开销和计算复杂度的信道估计迭代算法。实验结果验证了所提算法的有效性,且具有对系统关键参数鲁棒性的优点。     

有限贝塔刘维尔混合模型的变分学习及其应用

由于贝塔刘维尔分布的共轭先验分布中存在积分表达式,贝叶斯估计有限贝塔刘维尔混合模型参数异常困难.本文提出利用变分贝叶斯学习模型参数,采用gamma分布作为近似的先验分布并使用合理的非线性近似技术,得到了后验分布的近似解.与常用的EM算法相比,该方法能够同时估计模型参数和确定分量数,且避免了过拟合的问题.在合成数据集及场景分类问题上进行了大量的实验,实验结果验证了本文所提方法的有效性.     

贝塔混合模型的变分贝叶斯学习及应用

贝塔混合模型（Beta Mixture Model,BMM）是一种重要的非高斯概率模型,常用于有界数据的统计分析.但是由于其表达式复杂,BMM的参数估计比较困难.针对该问题,本文提出一种高效的变分贝叶斯学习方法进行参数估计.该方法采用形式简单的自由分布,通过不断最大化初始变分目标函数的下界,迭代逼近得到真实的贝叶斯后验分布.在合成数据集与实际数据集上进行实验,实验结果证明了所提出算法的有效性和可行性.     

一种基于G0分布的水平集SAR图像分割方法

G0分布是一种性能优良的概率统计模型,能够精确描述SAR图像中均匀区域、不均匀区域以及极不均匀区域的统计特性.文中基于G0分布提出了一种基于概率统计模型的变分水平集SAR图像分割方法.该方法通过引入G0分布统计模型,定义了一种更加适用于SAR图像分割的能量泛函.利用基于Mellin变换的G0分布的参数估计方法估计各个区域内最优的分布参数,并且通过水平集方法进行偏微分方程的数值求解,实现了SAR图像的区域和目标分割.由于G0分布的采用,使得该方法能够适用于多种SAR图像的分割.利用模拟和真实SAR图像上的分割实验验证了该方法的有效性.     

浅海非高斯噪声下基于变分贝叶斯推断的波达角估计

传统基于高斯统计特性的波达角(DOA)估计方法在高斯背景噪声中可以获得较好的估计性能,然而受脉冲噪声影响的浅海环境噪声不再服从高斯分布,若直接利用传统波达角估计方法会引入较大误差。为提升非高斯噪声环境下的波达角估计性能,该文提出一种浅海非高斯噪声下的基于变分贝叶斯推断的波达角估计方法。首先利用信号与脉冲噪声的稀疏性构建多测量向量稀疏信号恢复(SSR)模型;其次,考虑信号的共稀疏特性与脉冲噪声的独立稀疏性,构建层次化贝叶斯估计框架;然后利用变分贝叶斯推断估计信号与噪声的后验概率估计。稀疏信号模型中考虑离网格误差,利用根稀疏贝叶斯估计实现离网格误差修正,解决离网格误差引起的基失配问题;最后通过迭代更新获得较为精确的波达角估计,同时消除脉冲噪声的影响。仿真结果表明:所提方法在非高斯噪声环境下具有较好的波达角估计性能,同时对于脉冲噪声具有较强的抗干扰特性。     

角闪烁下基于变分贝叶斯-交互式多模型的目标跟踪

开展角闪烁噪声下的目标跟踪研究对提升传感器的探测性能具有重要意义,其中角闪烁噪声具有的分布未知和非平稳特性是长期困扰研究者的难点。针对该问题,该文首先给出角闪烁下基于变分贝叶斯参数学习的跟踪滤波理论框架。其次,提出一种联合估计运动状态和闪烁噪声分布的变分贝叶斯-交互式多模型(VB-IMM)算法,该算法通过设计多个并行的跟踪模型处理角闪烁的跟踪问题,同时利用变分贝叶斯方法实现闪烁噪声分布参数的在线学习,并反馈给跟踪模型,实时调整跟踪模型参数。最后,设计了仿真实验对算法在闪烁噪声分布未知和非平稳条件下的跟踪性能进行了验证,同时对算法的计算复杂度进行了仿真分析。仿真结果表明,在量测噪声分布未知和非平稳条件下,VB-IMM具有较高的跟踪精度,且算法复杂度较小,易于实现。     

最大期望模拟退火的贝叶斯变分推理算法

针对贝叶斯变分推理收敛精度低和搜索过程中易陷入局部最优的问题,该文基于模拟退火理论(SA)和最大期望理论(EM),考虑变分推理过程中初始先验对最终结果的影响和变分自由能的优化效率问题,构建了双重EM模型学习变分参数的初始先验,以降低初始先验的敏感性,同时构建逆温度参数改进变分自由能函数,使变分自由能在优化过程得到有效控制,并提出一种基于最大期望模拟退火的贝叶斯变分推理算法.该文使用收敛性准则理论分析算法的收敛性,利用所提算法对一个混合高斯分布实例进行实验仿真,实验结果表明该算法具有较优的收敛结果.     

具有新目标函数的改进型变分贝叶斯

针对变分贝叶斯迭代运算中参数集分解所带来的问题,定义表观信息作为新的目标函数,提出了一种改进型的变分贝叶斯方法.该方法应用于线性高斯动态系统时,等价于Kalman滤波方法.推导过程还得出了Kalman增益的简化计算方程.     

平坦衰落信道下基于变分贝叶斯的多天线信号联合符号检测算法

该文针对平坦衰落信道下存在信道参数差异的多天线接收信号联合参数估计和符号检测问题,提出一种基于变分贝叶斯的联合处理算法。算法直接利用多个接收数据流进行信息符号的估计,抑制传统信号合成与解调解耦处理带来的性能损失。将问题建模为已知多组观测数据条件下发送符号、信道传输时延、信道增益和噪声功率的联合最大后验估计问题。基于变分贝叶斯理论对该最大后验进行近似求解,在相对熵最小化的准则下,推导得到了各个待估参数解析形式的近似后验分布——变分分布。所提算法无需计算各参数精确的点估计值,而是采用信道参数和信息符号变分分布迭代处理的方式进行联合求解。仿真结果表明,所提算法通过多信号、多参数的联合处理能够获得优于经典解耦处理和部分联合处理技术的系统误码率性能,且在接收天线数目较多和观测数据长度较短时性能优势体现更加明显。     

多视图有监督的LDA模型

本文主要关注多视图数据的分类问题.考虑到集成分类方法可组合多个弱分类器构成一个强分类器,以及主题模型能学习复杂数据的语义表示,本文试图将集成学习思想引入主题模型中,以便同时学习多视图数据的分类规则和预测性语义特征.具体地,结合概率主题模型LDA模型和集成分类方法Softmax混合模型,提出了一个多视图有监督的分类模型.基于变分EM方法,推导了该模型的参数估计算法.两个真实图像数据集上的实验结果表明了提出模型有较好的分类性能.     

贝叶斯估计器先验模型参数的迭代感知方法

充分利用先验信息是提高统计推断性能的有效途径之一。贝叶斯估计的先验信息模型参数必须在设计阶段确定下来,与待探测环境模型参数之间必然存在不一致性,从而有可能导致估计质量的下降。该文首先给出了基于估计性能的先验模型参数感知的一般性框架。基于该框架,针对白高斯噪声中直流信号的贝叶斯估计器,分析了先验失配条件下的估计性能,给出了一种先验模型参数迭代感知的算法。利用计算机仿真分析了该估计器性能对先验模型参数的敏感性和稳健性,分析了不同条件下的迭代感知过程。计算机仿真结果表明,该文给出的迭代感知方法建立了从估计性能到先验模型参数的反馈,通过估计器与待探测场景的多次交互,可以使得先验模型与当前场景模型匹配。     

基于TMS320C6678的背景更新算法的改进与实现

利用混合高斯模型描述序列图像背景是地面复杂背景下红外搜索跟踪系统中的关键技术。针对背景更新算法的收敛性和估计准确性的问题,提出了一种自适应混合高斯模型的背景更新框架。该背景更新框架通过建立混合模型迭代过程中学习因子与时间、模型状态的关系并且自适应选择混合模型中高斯分布的个数,有效地提高了背景估计的精确程度和算法的收敛速度。通过真实序列图像详细分析本文背景更新框架性能,同时研究设计了基于TMS320C6678DSP芯片的背景更新图像处理系统,实现了视频的传输、处理等系列功能,并与其他算法作比较,从数据分析和实验结果等方面表明本文算法的优越性。     

Robust anisotropic Gaussian fitting for volumetric characterization of pulmonary nodules in multislice CT

This paper proposes a robust statistical estimation and verification framework for characterizing the ellipsoidal (anisotropic) geometrical structure of pulmonary nodules in the Multislice X-ray computed tomography (CT) images. Given a marker indicating a rough location of a target, the proposed solution estimates the target's center location, ellipsoidal boundary approximation, volume, maximum/average diameters, and isotropy by robustly and efficiently fitting an anisotropic Gaussian intensity model. We propose a novel multiscale joint segmentation and model fitting solution which extends the robust mean shift-based analysis to the linear scale-space theory. The design is motivated for enhancing the robustness against margin-truncation induced by neighboring structures, data with large deviations from the chosen model, and marker location variability. A chi-square-based statistical verification and analytical volumetric measurement solutions are also proposed to complement this estimation framework. Experiments with synthetic one-dimensional and two-dimensional data clearly demonstrate the advantage of our solution in comparison with the gamma-normalized Laplacian approach (Linderberg, 1998) and the standard sample estimation approach (Matei, 2001). A quasi-real-time three-dimensional nodule characterization system is developed using this framework and validated with two clinical data sets of thin-section chest CT images. Our experiments with 1310 nodules resulted in (1) robustness against intraoperator and interoperator variability due to varying marker locations, (2) 81% correct estimation rate, (3) 3% false acceptance and 5% false rejection rates, and (4) correct characterization of clinically significant nonsolid ground-glass opacity nodules. This system processes each 33-voxel volume-of-interest by an average of 2 s with a 2.4-GHz Intel CPU. Our solution is generic and can be applied for the analysis of blob-like structures in various other applications.     

泊松噪声模糊图像的边缘保持变分复原算法

从贝叶斯估计出发,构造了一种新的变分模型,用于复原被泊松噪声污染的模糊图像.首先讨论了模型正则化项中具有边缘保持能力的函数选取以及模型求解的相关问题,然后将变分模型的求解转化为可快速求解的非线性扩散方程,给出了正则化参数选取的初步空间自适应方法,可以区分平滑区域和图像边缘自适应的调节参数.实验结果表明,本文方法的复原效果整体上优于传统的迭代正则化方法,复原图像的边缘得到了有效的保护,泊松噪声的抑制效果明显,复原图像提高的改进信噪比(ISNR)要比迭代正则化方法平均提高1 dB以上.     

Key-frame reference selection for non-feedback video communication

This article addresses the problem of reference picture optimization in video communication over error prone networks. A novel estimation model for transmission distortion is proposed. This model is capable of recursively estimating the overall end-to-end distortion caused by quantization, error propagation, and error concealment. Simulation results show that this model can accurately estimate channel distortion. Then, based on the distortion estimation model, a new non-feedback key-frame reference picture selection (KRPS) algorithm is developed. The optimum reference picture minimizes the transmission distortion under the rate-distortion optimization framework. Extensive experiment results demonstrate that the proposed KRPS algorithm substantially achieves more peak signal to noise ratio (PSNR) gain over traditional prediction, especially in low bit-rate transmission.     

基于变分贝叶斯推断的新型全局频谱协作感知算法

为了实现多维动态频谱接入,首先给出了主用户的全局功率谱近似模型,并构建了新型全局频谱协作感知算法的总体流程,以获得主用户网络中占用频段、功率及位置等全局信息。接着利用变分贝叶斯推断技术,设计了相应的模型系数向量估计器。仿真结果表明,该方法采用的近似模型具有较好的准确性,相应的系数向量估计算法具有较高的有效性和收敛稳定性,同时指明了信噪比和泄漏总虚假功率的关系以及两者对均方误差性能的影响。此外,还证明了该方法通过利用系数向量θ的稀疏性,而在均方误差性能上具有较大优势。     

End-to-end DeepNCC framework for robust visual tracking

In this paper, we propose an NCC-based object tracking deep framework, which can be well initialized with the limited target samples in the first frame. The proposed framework contains a pretrained model, online feature fine-tuning layers and tracking processes. The pretrained model provides rich feature representations while online feature fine-tuning layers select discriminative and generic features for the tracked object. We choose normalized cross-correlation as a template tracking layer to perform the tracking process. To enable the learned features representation closely coordinated to the tracked target, we jointly train the feature representation network and tracking processes. In online tracking, an adaptive template and a fixed template are fused to find the optimal tracking results. Scale estimation and a high-confidence model update scheme are perfectly integrated into the framework to adapt to the target appearance changes. The extensive experiments demonstrate that the proposed tracker achieves superior performance compared with other state-of-the-art trackers.