语音信源的语义编码传输方法研究

作为一种新兴的通信范式，语义通信在有效提升端到端传输性能方面展现出巨大的潜力。语音信源的语义编码传输研究方法分为两大类：基于信号波形的语音语义编码传输和生成式语音语义编码传输。在基于信号波形的语音语义编码传输中，现有方案的语义信息无法度量，编码效率低。基于非线性变换的语音语义信源编码方案通过对语音的语义特征进行变分建模，有效衡量语义特征内容复杂度，并引入信源信道联合编码，使语义编码传输更加高效可靠。针对生成式语音语义编码传输方法，分析了其优势、挑战，以及研究前景。     

信噪比自适应Turbo自编码器信道编译码技术

作为通信系统中基本的组成部分,信道编码使信息在传输的过程中能够抵抗信道的干扰。随着人工智能的发展,深度学习(Deep Learning,DL)越来越多地被用到通信领域解决实际问题。近年来,有学者提出将DL应用于端到端的信道编译码系统,并展现出了其良好的性能。现有基于DL的信道编译码方法在特定信噪比(Signal-to-Noise ratio,SNR)下训练网络模型,然而,在部署实际通信系统时,并不能保证信道条件和训练时是一致的,导致对于不同的SNR,需要存储大量模型。基于此,提出了自适应信道SNR的Turbo自编码器信道编译码系统,通过引入注意力机制感知信道变化,生成与信道条件相匹配的编码码字。仿真结果表明,该方法能够有效应对信道条件的变化,大幅降低设备端神经网络参数的存储开销。     

基于深度学习的图像语义通信系统

语义通信是一种新颖的通信方式，可通过传输数据的语义信息提高带宽效率。提出一种用于无线图像传输的系统。该系统基于深度学习技术开发并以端到端（E2E）的方式进行训练。利用深度学习实现语义特征的提取和重建，在发送端提取信源信息不同类型和不同形式的语义特征，在接收端融合各类型语义特征进行目标语义恢复。仿真结果表明，与基准模型相比，所提模型在信道环境恶劣的情况下，具有更好的重建精度。     

基于感兴趣区域的自适应帧内更新编码算法

针对视频压缩码流对信道差错异常敏感的问题,提出了一种基于感兴趣区域的自适应帧内更新编码算法。该算法利用人眼的视觉感知特性设计感兴趣区域提取模型,根据信道差错累积情况自适应调整帧内更新编码策略,将更少的失真分配给人眼感兴趣区域,提高差错信道下传输视频图像的主客观质量。实验结果表明,与基于端到端失真的帧内更新算法相比,在不同的信道丢包条件下,所提算法可以获得更好的主客观质量,感兴趣区域的峰值信噪比(PSNR)平均提高0.87 dB左右,提高了差错信道下视频通信的鲁棒性。     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。      

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰，如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构，但针对相似度较高物体的结构和轮廓，仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率，提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量，首先基于SegNet模型，提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net），其中D-MA block采用基于注意力的自适应多尺度模块，根据学习到的权重自适应地对不同尺度特征进行提取，以获得更多有效的高级语义特征。为进一步细化提取物体的边界，基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合，以增强对图像空间分辨率的鲁棒性。实验结果表明，所提算法提高分割的准确率，对于不规则物体边界，能有良好的分割效果。     

基于信道感知与监测的传感器网络传输参数自适应调整方法

针对预警系统中广域部署在偏远地区的传感器利用现有话音通信线路传输感知信息时,信道具有时变的特征,提出了一种基于信道感知与监测的传输参数自适应调整方法。该方法解决了连接线路在低信噪比下频繁掉线导致的传感器网络采集数据缺失与延时的问题。首先,在数据包传输期间,引入盲信噪比估计方法对信道质量进行感知,通过加权滑窗平均估计结果得到信道质量周期监测的观测值。然后根据卡尔曼滤波原理建立离散化的传输参数自适应调整模型,在保持链路连通状态下,根据信道质量优劣变化自适应地调整传输速率与功率。最后,实验表明,对于野外布设传感器网络的时变信道,该方法能有效保证信息传输的实时性与可靠性。      

基于自适应差分量化的红外背景抑制新方法

针对复杂背景下红外弱小目标图像的背景抑制难题,从图像采集环节考虑,根据自适应差分量化理论,提出了一种基于自适应背景抑制的红外弱小目标图像采集方法.其基本思想是:根据红外弱小目标图像背景杂波的相关性,利用自适应预测器,由已采集的像素信息实时估计出下一时刻背景杂波的最佳估计,并将其反馈至原始图像信号输出端,与实际采集图像信号相比较.通过量化残差图像信号来获得预测增益,从而提高采集图像的信噪比.理论分析与仿真实验表明,与传统的直接图像采集方法相比,此方法不仅等效地提高模数转化器的性能,而且能够很大程度地提高采集图像的信噪比(SNR),SNR可由1.43提高到4.57.     

时延约束下采用SVC编码的D2D协作视频多播传输方案

为缓解基站的视频流量过载，本文针对时延敏感的实时视频业务，设计一种D2D协作视频多播传输方案。该方案采用可伸缩视频编码（Scalable Video Coding, SVC）对视频流进行编码处理，利用SVC流的分层结构特征来应对多播信道间的差异性。在SVC编码的基础上，为了改善用户观看体验及提升用户所接收的视频质量，所提出的协作式视频传输方案引入有效吞吐量这一概念，在一定时延约束下，根据信道反馈信息灵活地对不同信道上的不同SVC视频层进行码率调整。仿真结果表明，所提出的方案能够有效地减小端到端时延，有效丢失率，提高有效吞吐量。      

无线信道中的联合信源信道编码

该文提出了一种噪声信道下传输渐进图像的联合信源信道编码方法。该方法根据信道条件的好坏动态的调整信源编码速率和信道编码速率，因此极大地提高了系统的性能和编码效率。同时该方法还具有结构简单，易于实现等优点。试验证明本方法与以前文献中提出的EEP方法以及UEP方法相比，在信噪比低时即信道条件恶劣的情况下，能够明显提高恢复图像的质量。     

DECANet：基于改进DeepLabv3+的图像语义分割方法

在图像的语义分割任务中，不同对象之间像素值存在差异，导致现有的网络模型在图像语义分割过程中丢失图像局部细节信息。针对上述问题，提出一种图像语义分割方法（DECANet）。首先，引入通道注意力网络模块，通过对所有通道的依赖关系进行建模提高网络的表达能力，选择性地学习并强化通道特征，提取有用信息，抑制无用信息。其次，利用改进的空洞空间金字塔池化（ASPP）结构，对提取到的图像卷积特征进行多尺度融合，减少图像细节信息丢失，且在权重参数不改变的情况下提取语义像素位置信息，加快模型的收敛速度。最后，DECANet在PASCAL VOC2012和Cityscapes数据集上的平均交并比分别达81.08%和76%，与现有的先进网络模型相比，检测性能更优，可以有效地捕获局部细节信息，减少图像语义像素分类错误。     

面向6G的深度图像语义通信模型

目前的语义通信模型在处理图像数据方面仍有可改善的部分，包括有效的图像语义编解码、高效的语义模型训练和精准的图像语义评估。为此，提出了一种深度图像语义通信（DeepISC）模型。首先采用基于vision transformer的自编码器（ViTA）网络实现高质量的图像语义编解码；接着采用自编码器实现信道编解码，保证语义在信道上的传输；然后利用判别器网络（DSN）和ViTA的双网络架构协同训练，提高重建图像的语义精度；最后针对不同的下游视觉任务提出不同的图像语义评估指标。仿真结果表明，相较于其他方案，DeepISC可以更有效地还原传输图像的语义特征，使重建图像在各个下游任务中都展现出与原图像相同或相近的语义结果。     

全局特征提取的全卷积网络图像语义分割算法

以全卷积神经网络为基础设计图像语义分割算法框架,设计全局特征提取模块提升高维语义特征的提取能力,引入带孔卷积算子保留图像细节并提升分割结果的分辨率。通过搭建端到端的图像语义分割算法框架进行训练,在可见光数据集上对算法框架进行性能评估,结果表明,本文方法在可见光图像上取得良好的语义分割性能和精度。本文还在不借助红外数据标注训练的情况下对红外图像进行分割,结果证明本文方法在典型红外目标如行人、车辆的分割中也有较好的表现。     

基于AI辅助的可扩展视频语义通信系统

语义通信作为一种面向多智能体交互的新型通信范式，对未来通信实现高效传输提供了新的解决方法。由此，提出了一个AI辅助的可扩展视频语义通信系统。该系统能够基于现有的信源信道分离编码方案（如传统的高效视频编码HEVC与低密度奇偶校验编码LDPC），与AI辅助的可学习语义编解码器相结合，实现视频流与语义流的共同传输。其中可学习的语义数据流是视频帧中针对特定任务提取的语义信息，能够较好地提升接收端精确重建与下游任务的性能。实验证明，该视频语义通信框架相较于传统通信，在重建任务性能相差无几的情况下具有更好的下游任务表现；而相较于现有的端到端的基于深度学习的语义通信系统，性能相近的同时能够基于多种传统视频编解码标准进行扩展设计，具有与传统压缩方案更强的耦合性与适应更多场景的能力。     

信源信道联合的新范式：语义通信

从信源信道联合处理的角度，总结了编码传输技术的发展历程，进而引入基于非线性处理的语义通信编码传输新技术框架。该框架采用“非线性变换”和“非线性编码”两个新机制，可有效提取信源的语义特征，并与信道传输实现精准匹配，从而显著提升系统传输效率，实现通信传输从经典技术层到现代语义层的突破。     

一种基于特征值和级联聚类的协作频谱感知方法

为了提高低信噪比(Signal-to-Noise Ratio, SNR)下频谱感知的性能，使用模糊C均值(Fuzzy C-means, FCM)和高斯混合模型(Gaussian Mixture Model, GMM),提出了一种基于特征值和级联聚类的协作频谱感知方法。从接收信号的协方差矩阵中提取特征值构造特征向量，通过在三维空间中执行聚类得到信道是否可用的分类模型，此过程无需获得主用户(Primary User, PU)信号以及噪声功率的先验信息，避免了复杂的门限计算。FCM聚类用于优化GMM聚类的初始参数，有效解决了在低SNR下GMM容易陷入局部最小值的问题。仿真结果表明，该方法降低了GMM的收敛时间并提高了模型分类的准确性，与其他主流方法相比能够有效提升频谱感知的性能。     

基于Unet的多任务医学图像语义分割模型

深度学习网络在医学图像分割领域应用广泛,针对传统语义分割模型只在局部像素点进行考虑,在小目标的医学图像语义分割中检测精度不高。本文提出了基于Unet的双任务图像语义分割模型,对传统的Unet语义分割进行改进,编码阶段采用经过预训练的Resnet34作为框架进行特征提取,设计了SCSE模块对图像特征信息进行修正,从空间和通道两个方向获取图像的全局信息,损失函数采用“分类”和“分割”融合的多任务策略进行学习,对气胸医学图像进行语义分割。为进一步提高网络模型的泛化能力,对数据集图像进行随机水平翻转、垂直翻转等图像增强处理,实验表明该语义分割方法比传统的Unet语义分割方法在分割精度上提高5%以上。     

基于U-Net和胶囊网络的合成孔径雷达图像语义分割

图像语义分割作为一种像素级分类技术,已应用于合成孔径雷达(SAR)图像的解译领域中.U-Net是一种端到端的图像语义分割网络,具有典型的编码-解码结构.其中,编码部分主要由卷积层和池化层组成,可以有效提取图像中的目标特征,但难以获取目标的位置和方向等信息.胶囊网络是一种能够获取目标姿态(位置、大小、方向)等信息的神经网络,因此,提出了一种基于U-Net和胶囊网络的SAR图像语义分割方法.此外,考虑到SAR图像数据集较小的特点,将U-Net的编码部分设计成视觉几何组(VGG16)结构,将预训练的VGG16模型直接迁移至编码部分.为了验证本方法的有效性,在两个极化SAR图像数据集上开展了建筑物目标的分割实验.结果 表明,相比U-Net,本方法的精确率、召回率、F1分数和交并比更高,且能减少网络模型的训练时间.     

面向语义信息直传的通信架构

随着聚焦提升带宽和频谱效率的传统通信发展模式渐入瓶颈，越来越多的研究将智能通信的目标从语法层转向语义层，通过感知并传输语义而非完整信号来节省带宽资源。信宿端智能体只需接收可理解语义中有信息部分即可。若能在信源端从语义角度中甄别出对信宿端有信息的部分加以传输，将进一步降低带宽资源和信宿端语义信息处理的时间和功耗。为此，首先探讨了智能体的语义信息处理和理解的过程，并将信宿从信息中感知到的语义划分为冗余语义、难以理解语义（暗语义）和有信息的语义（语信）；接着，提出了面向传输语义中有信息的部分的通信范式——语信通信，并将通信范式划分为语法、语义、语信、语用四层；最后，通过仿真实验验证了语信通信的可行性和有效性。这为下一代通信范式的发展提供了新思路和技术牵引。     

一种基于不等纠错保护的图像传输方法

对噪声信道上的图像传输方法进行了研究,提出了一种新的基于不等纠错保护的图像传输方法,该方法在编码端利用纠错算术码对SPIHT码流进行不等纠错保护,根据SPIHT码流各个不同重要程度的部分采用不同禁用区间的纠错算术码进行不同程度的差错保护,相比传统的基于不等纠错保护图像传输方法而言,可获得近似连续可变的编码码率;在解码端,采用堆栈序列估计算法进行信道估计后再进行SPIHT解码,重建图像.实验结果表明,与经典的Guionnet不等纠错保护传输方法以及分离编码传输方法相比,所提出的传输方法具有较为明显的性能增益.