基于深度学习的伺服系统状态预测算法

针对传统状态预测方法难以从伺服系统历史数据中有效提取特征的问题,提出一种基于深度学习的伺服系统状态预测算法。该算法利用长短时记忆网络LSTM(Long Short-Term Memory)从时序和特征参数两个维度在系统状态参数中提取数据特征。并在多任务学习MTL(Multi-task Learning)框架下将具有相同特征参数的预测任务整合到同一个模型当中,所有预测任务共享LSTM网络权重。在每一状态参数预测阶段,独立地引入注意力机制,以调节不同时刻、不同特征对所预测状态的影响。针对应用中预测参数的重要性不同,构建加权损失函数,以减小重要参数的预测误差。实验结果表明,该算法与传统LSTM模型、单任务模型STL-LSTM相比,预测误差平均降低40.9%、19.8%。     

自适应多任务学习的自动艺术分析

目的 艺术品数字化为从计算机视觉角度对艺术品研究提供了巨大机会。为更好地为数字艺术品博物馆提供艺术作品分类和艺术检索功能,使人们深入理解艺术品内涵,弘扬传统文化,促进文化遗产保护,本文将多任务学习引入自动艺术分析任务,基于贝叶斯理论提出一种原创性的自适应多任务学习方法。方法 基于层次贝叶斯理论利用各任务之间的相关性引入任务簇约束损失函数模型。依据贝叶斯建模方法,通过最大化不确定性的高斯似然构造多任务损失函数,最终构建了一种自适应多任务学习模型。这种自适应多任务学习模型能够很便利地扩展至任意同类学习任务,相比其他最新模型能够更好地提升学习的性能,取得更佳的分析效果。结果 本文方法解决了多任务学习中每个任务损失之间相对权重难以决策这一难题,能够自动决策损失函数的权重。为了评估本文方法的性能,在多模态艺术语义理解SemArt数据库上进行艺术作品分类以及跨模态艺术检索实验。艺术作品分类实验结果表明,本文方法相比于固定权重的多任务学习方法,在“时间范围”属性上提升了4.43%,同时本文方法的效果也优于自动确定损失权重的现有方法。跨模态艺术检索实验结果也表明,与使用“作者”属性的最新的基于知识图谱模型相比较,本文方法的改进幅度为9.91%,性能与分类的结果一致。结论 本文方法可以在多任务学习框架内自适应地学习每个任务的权重,与目前流行的方法相比能显著提高自动艺术分析任务的性能。     

可自适应分组的超球多任务学习算法

针对现有回归多任务学习中各任务独立评估风险、缺乏统一约束条件的缺点,提出了一种具有自适应分组能力的超球多任务学习算法。该算法以极限学习机(ELM)为基础形式,首先引入超球损失函数对所有任务的风险进行统一评估,并采用迭代再权最小二乘法求解;其次,考虑到任务之间关联度存在差异,基于相关性强的任务其权重向量也较相似的假设,构建带分组结构的正则项,使得同组内的任务独立进行训练,最终将优化目标转为混合0-1规划问题,并采用多目标优化方法自动确定模型参数和最优分组结构。基于仿真数据和圆柱壳振动信号数据的测试结果表明,该算法可有效识别出任务中的分组结构,同时与现有算法相比,可明显提高回归模型的泛化能力。     

MTL-BERT:一种结合BERT的中文文本多任务学习模型

单任务学习常常受限于单目标函数的不足,多任务学习能有效利用任务相关性的先验性,故而受到了学界的关注.在中文自然语言处理领域,关于多任务学习的研究极为匮乏,该领域需同时考虑到中文文本特征提取和多任务的建模.本论文提出了一种多任务学习模型MTL-BERT.首先将BERT作为特征提取器以提升模型的泛化性.其次分类和回归是机器学习中的两个主要问题,针对多标签分类和回归的混合任务,提出了一种任务权重自适应框架.该框架下,任务之间的权重由联合模型参数共同训练.最后从模型最大似然角度,理论验证了该多任务学习算法的有效性.在真实中文数据集上的实验表明,MTL-BERT具有较好的计算效果.     

SAGA:一种面向任务的卫星网络资源分配算法

针对现有卫星网络多资源、多任务约束下的资源分配,没有同时考虑任务完成时间和任务优先级导致的任务总体完成时间过长、任务优先级匹配度不高等问题,定义了任务序列优先级逆序数,建立了以任务总体完成时间最短和任务序列优先级逆序数最小为目标的约束模型,提出了一种自适应遗传算法并对模型进行求解.该算法利用精英保留的思想改进了采用轮盘赌策略的选择算子并且给出了一种能够自适应更新自身概率的变异、交叉算子,解决了标准遗传算法容易陷入局部最优的缺陷,避免了最优解的丢失.仿真实验验证表明,本文算法在任务总体完成时间方面降低了15.84%,在优先级逆序数方面降低了24.32%,有效解决了卫星网络多资源、多任务约束下的多目标分配问题.     

云平台访问控制自适应风险评估指标权重分配方法

针对云平台风险访问控制模型中风险评估指标权重主观设定且固定的问题，提出自适应风险评估指标权重分配方法。首先，通过带约束的多元线性回归设计自适应风险评估指标权重分配模型；然后，提出并优化配方回归算法求解相应权重；最后，构建带有自适应权重分配的风险值量化公式，动态计算访问请求的风险值。实验结果表明，该方法与动态风险访问控制（DRAC）模型、基于系统安全风险的访问控制模型相比，在训练集数量级相同的条件下，其风险值的准确率和灵敏度平均提升了2.8%和18.5%、1.7%和18.7%。该方法与DRAC模型、基于动态属性的风险感知访问控制（DA-RAAC）模型以及基于系统安全风险的访问控制模型相比，在访问请求数量相同的条件下，响应时间平均缩短了9.2%、34.6%和96.6%。所提方法在大并发用户数情况下所得风险值有较高的准确率和灵敏度，且响应时间更短，更适用于云环境。     

犯罪量动态优化组合预测方法

单一预测模型在预测犯罪量时难以协调拟合和泛化关系,从而影响预测结果的准确性。针对以上问题,提出一种数据驱动的可动态优化组合预测方法。以分析自回归求和移动平均模型、向量自回归模型及支持向量机模型的优点为基础,使用后验概率为每个模型赋予权重,结合误差最小原则动态调整权重。实验结果表明,该方法具有较高的预测精度和稳定性,能满足短时犯罪量预测的需要。     

基于多任务学习的炼钢终点预测方法

钢水质量通常根据终点命中率来判断,但炼钢过程影响因素众多,机理分析难以准确预测终点温度和含碳量,鉴于此,提出一种由数据驱动的多任务学习（MTL）炼钢终点预测方法。首先,分析并提取炼钢过程的输入和输出要素,结合炼钢两阶段吹炼特点选择多个子学习任务;其次,根据子任务与终点参数的相关性选择合适的子任务,提升终点预测的准确度并构建多任务学习模型,再对模型输出结果进行二次优化;最后,通过近端梯度算法对处理后的生产数据进行模型训练,获取多任务学习模型的过程参数。以某钢厂为案例,该方法相比神经网络在终点温度12℃误差范围内和终点含碳量0.01%误差内的准确度提升了10%,误差范围6℃和0.005%的预测准确度分别提升了11%和7%。实验结果表明,多任务学习在实际中能够提升终点预测的准确性。     

YOLOv5预测边界框分簇自适应损失权重改进模型

目标检测的精确程度是计算机视觉识别任务的主要影响因素.针对单阶段目标检测模型YOLOv5存在的检测精度问题,从多任务损失优化角度,提出一种在不同分辨率特征图上基于同一目标的预测边界框分簇自适应损失权重改进模型.该模型由GT(ground true)目标边界框UID分配器、GT目标边界框UID匹配器、边界框位置及分类损失权重算法构成,通过改善YOLOv5的位置精度和分类精度实现模型整体精度的提升.实验结果表明,改进模型的平均精度均值(mean average precision, mAP)较YOLOv5.6标准模型相对提升5.23%;相较于更为复杂的YOLOv5x6标准模型,改进模型mAP取得8.02%的相对提升.     

基于模型过滤的多任务回归在帕金森症预测中的应用

传统基于语音的帕金森症（PD）病情预测方法则是分别预测运动症状评分（motor-UPDRS）和总体症状评分（total-UPDRS）。为解决在单任务预测过程中,传统方法无法利用任务之间的共享信息和预测性能不佳的问题,提出了一种基于模型过滤的多任务回归方法来预测帕金森症患者的motor-UPDRS和total-UPDRS。首先,考虑到子任务语音特征对预测motor-UPDRS和total-UPDRS不同的影响,添加L1正则化项进行特征选择;其次,在构建模型的同时,根据不同帕金森患者对象分布在不同的域,添加了过滤机制,来提高预测精度。在远程帕金森数据集仿真实验中,基于模型过滤的多任务回归方法在预测UPDRS时,较单任务条件下最小二乘法（LS）模型预测motor值准确度提高了67.2%,预测total值则提高了83.3%;相比单任务条件下决策回归树（CART）模型预测motor值提高了64%,预测total值则提高了78.4%。实验结果表明,基于模型过滤的多任务回归算法对UPDRS预测要优于单任务回归算法。     

基于逻辑回归的多任务域快速分类学习算法

多任务学习通过寻找并共享不同任务域之间的共性特征来完成学习,利用知识迁移加速不同任务域的学习为每个任务域构建一个分类器。提出了一种基于罗杰斯特回归模型的多任务学习方法MTC-LR（Multi-task Coupled Logistic Regression）。“罗杰斯特回归模型”已经被成功应用于单任务分类器上,该模型被众多实验证明是有效的,正是这种方法给人们带来了启示。从理论上证明了通过构造多任务分类器的“开销函数”和“差异性度量函数”,MTC-LR算法可以提高多任务分类器的各自分类精度。相比传统的基于SVM的多任务学习方法,MTC-LR并不依赖于核方法而是通过共轭梯度下降法寻找各个分类器的最优参数。同时MTC-LR与采用“罗杰斯特回归模型”的快速算法CDdual更容易结合,可扩展至大样本的多任务分类学习。正是基于上述发现,为了充分高效利用大样本的多任务域数据,满足大样本的快速运算,在MTC-LR算法的基础上,结合最新的CDdual（The Dual Coordinate Descent Method）算法,提出了MTC-LR的快速算法MTC-LR-CDdual,并对该算法进行了相关的理论分析。将该算法在人工数据集和真实数据集上进行了验证,实验结果表明该算法有着较高的识别率、快速的识别速度和较好的鲁棒性。     

基于加权支持向量回归的网络流量预测

网络流量预测对于网络的安全和可用性至关重要,但是,传统的网络流量预测方法使用平均时间加权的方法进行预测,缺泛化能力导致预测精度低。基于每一个网络流量历史数据到预测点的时间间隔计算其时间权重,使用带时间权重的加权支持向量回归模型w-SVR预测网络流量。该模型因为其泛化能力和为每个训练数据设置单独的权重而提高了网络流量预测的准确性。模拟实验显示w-SVR模型相对于ANN和AR模型,预测错误率分别降低了37.4%和65.6%,而标准误差降低了46.2%和53.3%。     

基于共享BERT和门控多任务学习的事件检测方法

事件检测任务的目标是从文本中自动获取结构化的事件信息。目前基于表示学习的神经事件检测方法能够有效利用潜在语义信息,但人工标注数据集的语义知识含量有限,制约了神经网络模型的认知广度。相对地,多任务表示学习框架,有助于模型同时学习不同任务场景中的语义知识,从而提升其认知广度。BERT预训练模型得益于大规模语言资源的充沛语义信息,具有高适应性(适应不同任务)的语义编码能力。因此,该文提出了一种基于BERT的多任务事件检测模型。该方法将BERT已经包含的语义知识作为基础,进一步提升多任务模型的表示、学习和语义感知能力。实验表明,该方法有效提高了事件检测的综合性能,其在ACE2005语料集上事件分类的F₁值达到了76.7%。此外,该文在实验部分对多任务模型的训练过程进行了详解,从可解释性的层面分析了多任务架构对事件检测过程的影响。     

基于高斯混合一时间序列模型的轨迹预测

针对不同时间道路车流量变化下轨迹预测误差变化大的问题,提出基于概率分布模型的高斯混合-时间序列模型（GMTSM）,对海量车辆历史轨迹进行模型回归和路段车流量的分析以实现车辆轨迹预测。首先,针对均匀网格划分方法容易造成相关轨迹点分裂的问题,提出迭代式网格划分来实现轨迹点的数量均衡;其次,训练并结合高斯混合模型（GMM）和时间序列分析中的差分自回归滑动平均模型（ARIMA）;然后,为了避免GMTSM中子模型自身的不稳定性对预测结果产生干扰,对子模型的预测进行误差分析,动态计算子模型的权重;最后,依据动态权重组合子模型实现轨迹预测。实验结果表明,GMTSM在路段车流量突变情况下,平均预测准确率为90.3%;与相同参数设置下的高斯混合模型和马尔可夫模型相比,GMTSM预测准确性提高了55%左右。GMTSM不仅能在正常情况下准确预测车辆轨迹,而且能有效提高道路车流量变化情况下的轨迹预测准确率,适用于现实路况环境。     

基于进化多任务多目标优化的边缘计算任务卸载

目前边缘计算卸载的主流方案是将其建模为一个多目标优化问题,即最小化能耗和延时。不同于已有研究,主要考虑边缘计算中,不同卸载区域的任务具有一定的相似性,可以利用任务的相似性加快算法的收敛速度和求解效果。以此基于进化多任务优化,提出一种进化多任务多目标优化算法求解不同区域的任务卸载问题。该算法考虑了多个独立的待优化区域,将每个区域的任务卸载系统模型建模为一个多目标优化问题。通过学习不同区域的用户分布和待处理任务的相似性来动态调节种群的交流程度,加快了收敛速度,通过一次进化,实现对两个不同区域的优化。实验结果表明,算法在收敛速度及最优解分布的均匀性上均取得较好效果,可以获得边缘计算下的卸载部署优化方案。     

面向多任务的非线性群决策系统多模型匹配算法*

针对多任务的非线性群决策系统提出了多模型匹配算法。为了对各种不同性质的任务进行理性决策,首先根据不同任务的特性选取针对不同任务的满意决策群体,构成动态满意决策群体集;在此基础上为每个决策任务构造多个决策方案模型集,然后根据方案模型的匹配程度和决策者的决策权重以及决策的目标权重来控制决策过程的动态变化,从而得到最优匹配决策方案模型;最后给出该算法的应用实例,实践表明该算法是有效的,能够灵活选取模型库中的不同模型,提高决策的速度和精度。     

基于LDA主题模型的短文本分类方法

针对短文本的特征稀疏性和上下文依赖性两个问题,提出一种基于隐含狄列克雷分配模型的短文本分类方法。利用模型生成的主题,一方面区分相同词的上下文,降低权重;另一方面关联不同词以减少稀疏性,增加权重。采用K近邻方法对自动抓取的网易页面标题数据进行分类,实验表明新方法在分类性能上比传统的向量空间模型和基于主题的相似性度量分别高5%和2.5%左右。     

融合注意力机制与多任务学习的DR分级模型

在糖尿病患者中,糖尿病视网膜病变（Diabetic Retinopathy,DR）是导致失明的主要原因。针对眼底图像中存在极难发现的微动脉瘤等微小病理特征的问题,提出了一种注意力机制模块。该模块通过融合特征图原本的特征信息与注意力单元得到的通道信息,为微小特征增加了网络的权重,再使用除操作去除特征图中的冗余信息,得到注意力机制特征作为双任务的输入;针对均方误差（Mean Square Error,MSE）损失难优化和交叉熵（Cross Entropy,CE）损失未考虑错分DR等级的代价,设计了多任务学习模块,加权融合了回归任务的MSE损失和分类任务的CE损失。基于这两个模块的设计,提出了融合注意力机制的多任务学习网络（Fusion of Attention mechanism and Multi-Tasking learning network,FAMT）。在kaggle数据集上的实验表明,FAMT网络在验证集上的Kappa比仅使用回归任务的网络高出了2%,比仅使用分类任务的网络提高了4%;FAMT网络在测试集上的Kappa比EfficientNet网络高出1%,比M2CNN网络高出了5%。     

多核体系下的并行任务构建

基于多核体系下的系统运行效率越来越受到各行业的关注,一个系统往往是由若干软件子模块构成的.一个完整的系统可以由Tomcat,Httpd以及Lucene这3个软件模块构成.这些软件本身均进行了一定的优化,各自运行效率都良好,可是如果将它们整合成一个系统,其效率的提高仍需要从整体多方面考虑.从不同软件的子任务之间的关系入手,通过分析它们的特点,提出苦干提高整体性能的方案.研究贡献在于以下3个方面:1)线程间同步操作的消除;2)通过多任务重排提高并行度;3)系统调用的单线程化.结果表明系统整体性能得到了提高,同时,每个子任务完成的功能更加清晰明了.     

GRMTAP算法中的任务权重与质量阈值分配问题*

任务权重与质量阈值分配问题是管理和协同工作中多任务分配中的重要问题。本文基于GRMTAP算法对含有任务权重与质量阈值的多任务分配分配问题提出了有效的解决办法。1)针对任务权重提出了使用权重向量调整多任务质量评价矩阵,然后,调用GRMTAP算法完成多任务的有效分配。2)针对质量阈值提出采用任务类别向量的元素值之和之负值置换质量评价矩阵中评价质量值小于阈值的质量值,再调用GRMTAP算法完成多任务的分配,且以分配矩阵评价质量之和作为该分配是否成功的判断依据。这样,有效地解决了含任务权重与质量阈值的多任务分配问题,扩展GRMTAP算法的应用范围。