利用多粒度属性网络表示学习进行引文推荐

引文推荐(CR)聚焦于智能化地产生与查询文章相关的文献列表,对科学研究具有重要价值.引文推荐有关于文章的语义信息和结构信息,近年来,基于网络表示学习(NRL)的引文推荐获得广泛关注.但现有研究使用单粒度网络来建模引文推荐问题,存在计算复杂度高、内存消耗大的弊端.为克服这个挑战,提出一种基于多粒度属性网络表示学习的引文推荐算法(CR-HANRSL),可以大大提升网络表示学习效率并同时兼顾文章的语义和结构特征.首先,根据文章结点属性的语义关联度和作者关系反复将网络粗化成更小的网络,并在每次粗化后都让超结点融合子结点的文本属性为粗化后的网络计算语义连边.随后,利用单粒度网络表示学习方法学习粗化后的网络特征表示并通过学习图卷积神经网络,对原网络的表示进行细化.最后,融合文章间多模态特征表示相似度产生推荐列表.在AAN和DBLP两个数据集上的实验结果表明提出的方法可以在学习高质量网络特征表示的前提下大大提升网络表示学习效率.     

基于对比学习的全局增强动态异质图神经网络

图神经网络由于其对图结构数据的强大表征能力近年来受到广泛关注.现有图神经网络方法主要建模静态同质图数据，然而现实世界复杂系统往往包含多类型动态演化的实体及关系，此类复杂系统更适合建模为动态异质图.目前，动态异质图表示学习方法主要集中于半监督学习范式，其存在监督信息昂贵和泛化性较差等问题.针对以上问题，提出了一种基于对比学习的全局增强动态异质图神经网络.具体地，所提网络首先通过异质层次化注意力机制根据历史信息来生成未来的邻近性保持的节点表示，然后通过对比学习最大化局部节点表示和全局图表示的互信息来丰富节点表示中的全局语义信息.实验结果表明，提出的自监督动态异质图表示学习方法在多个真实世界数据集的链路预测任务上的AUC指标平均提升了3.95%.     

结合注意力机制的循环神经网络复述识别模型

传统基于深度学习的复述识别模型通常以关注文本表示为核心,忽略了对多粒度交互特征的挖掘与匹配.为此,建模文本交互空间,分别利用双向长短时记忆网络对两个候选复述句按条件编码,基于迭代隐状态的输出,通过逐词软对齐的方式从词、短语、句子等多个粒度层次推理并获取句子对的语义表示,最后综合不同视角的语义表达利用softmax实现二元分类.为解决复述标注训练语料不足,在超过580000句子对的数据集上利用语言建模任务对模型参数无监督预训练,再使用预训练好的参数在标准数据集上有监督微调.与先前最佳的神经网络模型相比,所提出模型在标准数据集MSRP上准确率提高2.96%,$F_1$值改善2%.所提出模型综合文本全局和局部匹配信息,多粒度、多视角地描述文本交互匹配模式,能够降低对人工特征工程的需求,具有良好的实用性.     

融合连边符号语义信息的网络表示学习算法

为融合连边符号语义信息提升网络表示学习质量,针对现有算法处理复杂连边符号语义信息能力较弱问题,提出一种融合连边符号语义信息的网络表示学习算法,将包含正负关系的连边符号语义信息引入网络表示学习过程。首先,该算法设计基于三层感知机的关系预测模型刻画节点间不同类型的上下文链接关系;然后,引入随机游走策略实现上下文链接采样以适应大规模网络场景训练需求。在三个数据集中实验表明,该算法能够有效建模节点间不同类型的上下文链接关系,挖掘其中包含的复杂语义信息,相比目前最优的SIDE方法,所提算法的性能分别提高了0.31%、1.3%和1.85%。     

融合语义信息与注意力的图神经网络推荐算法

基于图神经网络的推荐算法通过从图中获取知识生成节点的特征表示,提高了推荐结果的可解释性.然而,随着推荐系统原始数据规模的不断扩大,大量包含语义信息的文本数据没有得到有效利用.同时图神经网络在融合图中邻居信息时没有区分关键节点,使得模型难以学习到高质量的实体特征,进而导致推荐质量下降.本文将图神经网络与语义模型相结合,提出一种融合语义信息与注意力的图神经网络推荐算法.该算法基于SpanBERT语义模型处理实体相关的文本信息,生成包含语义信息的特征嵌入,并将注意力机制引入到基于用户社交关系以及用户-项目交互的影响传播融合过程中,从而实现用户和项目两类实体特征的有效更新.在公开数据集上的对比实验结果表明,本文所提出的方法较现有基准方法在各项指标上均有所提升.     

基于多粒度文本特征表示的微博用户兴趣识别

微博用户兴趣发现对社交网络的个性化推荐和信息传播的正确引导具有重要意义,因此提出了一种基于多粒度文本特征表示的微博用户兴趣识别方法.首先,从主题层、词序层和词汇层3个方面对微博用户构造文本向量,利用LDA提取内容的主题特征,通过LSTM学习内容的语义特征,引入腾讯AI Lab开源词向量获取词义特征;然后,将以上3种特征向量拼接得到的多粒度文本特征表示矩阵输入CNN中,进行文本分类训练;最后,通过多端输出层实现对微博用户的兴趣识别.实验结果表明,多粒度特征表示模型的分类实验结果比单粒度特征表示模型的精准率、召回率和F1值分别提高了8％,12％和13％.基于对文本粗、细语义粒度和词粒度的综合考量,结合神经网络分类算法,多粒度特征表示模型的评价指标均优于单粒度特征表示模型.     

基于图卷积网络的重大事件趋势预测

针对基于公开新闻数据的重大事件趋势预测研究在文本特征提取上语义理解不足问题,提出基于图卷积网络的重大事件趋势预测方法.利用结构化事件信息构建以事件为中心的语义关联图;按时间片粒度分割出局部事件语义关联图,利用预训练词向量对节点文本初始化特征表示;将带有节点特征的局部事件语义关联图输入图卷积网络,聚合节点邻域信息计算图特征表示并输入到分类器,训练预测模型并输出预测结果.以朝鲜核行为趋势预测问题验证所提出方法的有效性,对测试集(2017年3月～2018年3月)预测准确率达到76.92％,全时间段预测准确率为89.58％.预测结果表明,该方法增强了对文本的语义理解,预测精度优于基于专家知识构建特征的方法.     

基于可变粒度机会调度的网络大数据知识扩充算法

为了满足网络大数据背景下,大数据传播的数据知识高精度要求和清除劣质数据干扰,基于粒度可变调整方案提出了机会调度的网络大数据知识扩充算法。在分析网络大数据特征基础上,通过自适应向量编码,捕捉网络大数据的异构特性,采用多阶反向传播将异构网络大数据归一化处理,再通过机会调度实现网络大数据实时传输。同时,基于网络大数据组成的知识工程系统分割细粒度大数据,将多维特征进行降维处理,使得知识粒度转变为已知,接着调整粒度动态特性,使得知识工程的大数据集具有线性特征和明确的几何特性,通过知识扩充提高知识获取精度。实验结果通过与基于细粒度的知识获取算法进行对比,证明了所提算法的网络数据传输的高可靠性、实时性和知识获取的高效率。     

位置社交网络上的图表示学习

随着在线社交网络的普及,基于位置的社交网络(Location-Based Social Networks,LBSN)积累了海量数据,且因其包含丰富的时空、语义信息已被广泛应用在挖掘用户行为偏好的研究上,但传统的手工提取LBSN特征的方法有很大局限性且耗时耗力.近几年来,图表示学习在推荐系统、知识图谱等领域成功应用,彰显...     

基于联合知识表示学习的多模态实体对齐

基于知识表示学习的实体对齐方法是将多个知识图谱嵌入到低维语义空间,通过计算实体向量之间的相似度实现对齐.现有方法往往关注文本信息而忽视图像信息,导致图像中实体特征信息未得到有效利用.对此,提出一种基于联合知识表示学习的多模态实体对齐方法(ITMEA).该方法联合多模态(图像、文本)数据,采用TransE与TransD相结合的知识表示学习模型,使多模态数据能够嵌入到统一低维语义空间.在低维语义空间中迭代地学习已对齐多模态实体之间的关系,从而实现多模态数据的实体对齐.实验结果表明,ITMEA在WN18-IMG数据集中能够较好地实现多模态实体对齐.     

基于知识蒸馏的钢铁高炉煤气系统建模方法

钢铁企业高炉煤气系统具有波动性大、时变性强、不确定性高等特点, 对其未来产消趋势进行准确的建模 预测有助于企业的高效决策与节能减排. 文章提出了一种基于知识蒸馏的高炉煤气系统建模方法, 为了提高训练 过程中的拟合精度, 在教师网络中建立了基于长短期记忆网络的序列到序列模型来提取样本的中间特征. 进而, 提 出了融入教师模型中间特征的知识蒸馏策略, 建立了考虑中间特征蒸馏损失与预测均方误差的损失函数, 对知识蒸 馏过程及预测偏差进行评估. 通过国内大型钢铁企业高炉煤气系统实际运行数据的实验验证, 表明了本文所提建 模方法的有效性, 可为后续的能源系统优化调度提供支撑.     

钢铁企业热电系统多能流网络多工况优化调度

钢铁企业热电系统是典型的耗能大户, 合理有效的能源调度对提高企业能源利用效率、低碳发展、实现碳 中和目标具有重要意义. 考虑热电系统涉及的多种能源介质相互关联和耦合, 产耗量随生产计划以及主工序设备运 行状态的改变动态变化等特征, 提出一种基于多能流网络的多工况优化调度模型. 首先, 针对热电系统能源利用过 程中的多工况特征, 提出基于多维隐马尔可夫–动态时间弯曲混合模型的工况识别方法, 并基于能源介质产生、消 耗、转换的能量流路径分析, 建立热电系统多能流网络模型, 将不同能源介质的需求量等价为对蒸汽、电力和副产 煤气的需求量. 其次, 综合分析能源介质动态平衡约束、设备产耗能约束、多能源消耗约束, 建立热电系统多目标优 化调度模型, 并得出能源介质调度方案. 通过钢铁企业实际生产数据实验表明, 本文方法能够有效保证系统安全运 行、减少系统外购煤的消耗量、增加系统自身发电量、降低运行成本、降低碳排放.     

面向多模态视频时刻检索的查询感知跨模态双重对比学习网络

近期,跨模态视频语料库时刻检索（VCMR）这一新任务被提出,它的目标是从未分段的视频语料库中检索出与查询语句相对应的一小段视频片段.现有的跨模态视频文本检索工作的关键点在于不同模态特征的对齐和融合,然而,简单地执行跨模态对齐和融合不能确保来自相同模态且语义相似的数据在联合特征空间下保持接近,也未考虑查询语句的语义.为了解决上述问题,本文提出了一种面向多模态视频片段检索的查询感知跨模态双重对比学习网络（QACLN）,该网络通过结合模态间和模态内的双重对比学习来获取不同模态数据的统一语义表示.具体地,本文提出了一种查询感知的跨模态语义融合策略,根据感知到的查询语义自适应地融合视频的视觉模态特征和字幕模态特征等多模态特征,获得视频的查询感知多模态联合表示.此外,提出了一种面向视频和查询语句的模态间及模态内双重对比学习机制,以增强不同模态的语义对齐和融合,从而提高不同模态数据表示的可分辨性和语义一致性.最后,采用一维卷积边界回归和跨模态语义相似度计算来完成时刻定位和视频检索.大量实验验证表明,所提出的QACLN优于基准方法.     

Multi-granularity Inter-class Correlation Based Contrastive Learning for Open Set Recognition

In recent years, deep neural networks have continuously achieved breakthroughs in the classification task. However, they will mistakenly give a wrong known class prediction when faced with unknown samples in the testing phase. The open set recognition is a possible way to solve the problem, which requires the model to not only classify the known classes but also distinguish the unknown samples accurately. Most of the existing methods are designed heuristically on the basis of certain assumptions. Despite keeping the performance increasing, they have not analyzed the key factors that affect the task. In this paper, we analyze the commonalities of existing methods by designing a new decision variable experiment and find that the ability of the model to learn representations of known classes is an important factor. Then an open set recognition method is proposed based on the representation learning ability enhancement of the model. Firstly, due to the powerful representation learning capabilities demonstrated by the contrastive learning and the label information contained in the open set recognition task, supervised contrastive learning is introduced to improve the modeling ability of the model for known classes. Secondly, considering that the inter-class correlation is the representation learning at the class level, and the hierarchical structure relationship among the classes is often presented, a loss function of the multi-granularity inter-class correlation is designed. In the way of building the hierarchical structure in the label semantic space and measuring the multi-granularity inter-class correlation, the loss function of multi-granularity inter-class correlation constrains the model to learn the correlation among different known classes to further improve the representation learning ability of the model. Finally, experimental results on multiple standard datasets verify the effectiveness of the proposed method in open set recognition.     

考虑多粒度类相关性的对比式开放集识别方法

深度神经网络在分类任务上不断取得性能突破,但在测试中面对未知类样本时,会错误地给出一个已知类预测结果.开放集识别任务旨在解决该问题,要求模型不仅精确地分类已知类,同时对未知类样本进行准确判别.现有方法虽然取得了不错的效果,但由于未对开放集识别任务的影响因素进行分析,因而大多基于某种假设启发式地设计模型,难以保证对于实际场景的适应性.分析了现有方法的共性,通过设计一个新的决策变量实验,发现模型对已知类的表示学习能力是其中的一个关键影响因素.基于该结论,提出了一种基于模型表示学习能力增强的开放集识别方法.首先,由于对比式学习已展示出的强大表示学习能力以及开放集识别任务所包含的标签信息,引入了监督对比式学习方法,提高模型对已知类的建模能力;其次,考虑到类别间的相关性是在类别层次上的表示,且类别之间往往呈现分层结构关系,设计了一种多粒度类相关性的损失函数,通过在标签语义空间构建分层结构并度量多粒度类相关性的方式,约束模型学习不同已知类间的相关关系,进一步提高其表示学习能力;最后,在多个标准数据集上进行了实验验证,证明了所提出方法在开放集识别任务上的有效性.     

An Optimized Oxygen System Scheduling With Electricity Cost Consideration in Steel Industry

As an essential energy resource in steel industry, oxygen is widely utilized in many production procedures. With different demands of the oxygen amount, a gap between the generation and consumption always occurs. Therefore, its related optimization and scheduling work along with the electricity cost to fill the gap has a great impact on daily production and efficient energy utilization in steel plant. Considering an oxygen system in a steel plant in China, a nonlinear programming model for oxygen system scheduling is proposed in this study, which concerns not only the practical characteristics of the energy pipeline network, but also the electricity cost acquired by a fitting regression modeling between the load of air separation units (ASU) and its corresponding electricity consumption. A set of constraints is formulated for restricting the practical adjusting capacity and filling the imbalance gap of oxygen. To solve the proposed scheduling model with electricity cost consideration, a particle swarm optimization (PSO) algorithm is then adopted. To verify the effectiveness of the proposed approach, a large number of experiments employing the real data from this plant are carried out, both for the fitting regression and the scheduling optimization phases. And the results demonstrate that such a practice-based solution successfully resolves the oxygen scheduling problem and simultaneously minimizes the electricity cost, which will be beneficial for the enterprise.      

Cross-media similarity metric learning with unified deep networks

As a highlighting research topic in the multimedia area, cross-media retrieval aims to capture the complex correlations among multiple media types. Learning better shared representation and distance metric for multimedia data is important to boost the cross-media retrieval. Motivated by the strong ability of deep neural network in feature representation and comparison functions learning, we propose the Unified Network for Cross-media Similarity Metric (UNCSM) to associate cross-media shared representation learning with distance metric in a unified framework. First, we design a two-pathway deep network pretrained with contrastive loss, and employ double triplet similarity loss for fine-tuning to learn the shared representation for each media type by modeling the relative semantic similarity. Second, the metric network is designed for effectively calculating the cross-media similarity of the shared representation, by modeling the pairwise similar and dissimilar constraints. Compared to the existing methods which mostly ignore the dissimilar constraints and only use sample distance metric as Euclidean distance separately, our UNCSM approach unifies the representation learning and distance metric to preserve the relative similarity as well as embrace more complex similarity functions for further improving the cross-media retrieval accuracy. The experimental results show that our UNCSM approach outperforms 8 state-of-the-art methods on 4 widely-used cross-media datasets.

     

基于自适应遗忘因子极限学习机的高炉煤气预测

高炉煤气是钢铁企业重要的二次能源,其产生量和消耗量的实时准确预测对高炉煤气系统的平衡调度具有重要作用;但由于高炉煤气系统工况多变、产消量数据波动较大,给高炉煤气产消量的准确预测带来了很大的挑战;为此,通过对煤气产消量数据特征的深入分析,提出了一种基于自适应遗忘因子极限学习机(AF-ELM)的在线预测算法;在序贯极限学习机的基础上,引入遗忘因子逐步遗忘旧样本,通过预测误差反馈机制,自适应的调节遗忘因子,从而提高预测方法对系统工况的动态变化的适应能力,提高预测精度;将该算法应用于钢铁企业的高炉煤气产消量在线预测,实验结果表明与序贯极限学习机相比,该预测方法在系统工况变化的情况下能保持较高的预测精度,更适合于高炉煤气产消量的在线预测。     

基于BP的燃气管道评估专家系统设计与实现

BP神经网络具有并行处理、自适应学习、容错能力好等优点,根据地下燃气管道安全评估的应用要求,对其算法进行改进,结合专家系统的设计思路,构造了一个基于BP神经网络的地下燃气管道安全评估专家系统,包括知识表示、知识荻取和推理解释等模块.然后利用已有的样本编制软件进行实验,结果表明,该系统评估正确率达91%,推理效率高、扩展性好,从而很好地满足了实际应用的要求.神经网络为专家系统的发展提供了一条新的途径.     

基于旋转不变深度层次聚类网络的点云分析

由于解决了三维点云的排列不变性问题,基于三维点云的深度学习方法在计算机三维视觉领域中取得了重大的突破,人们逐渐倾向于使用三维点云来描述物体并基于神经网络结构来提取点云的特征.然而,现有的方法依然无法解决旋转不变性问题,使得目前的模型鲁棒性较差;同时,神经网络结构的设计过于启发式,没有合理利用三维点云的几何结构与分布特性,导致网络结构的表达能力有待提升.鉴于此,提出了一种具有良好兼容性的严格旋转不变性表达以及深度层次类簇网络,试图从理论与实践两个层面解决上述问题.在点云识别、部件分割、语义分割这3个经典任务上进行了旋转鲁棒性对比实验,均取得了最优的效果.