记忆非线性功率放大器的高效预失真

记忆非线性放大器的预失真问题一直是预失真技术的难点。通常采用Volterra级数、Hammerstein模型和神经网络等模型的记忆预失真都存在形式复杂、自适应困难的缺点。文章通过增加两个延时环节将基于多项式的无记忆放大器的高效预失真结构推广到有记忆放大器的预失真中,并联合一种简单的带抽头延时的非线性多项式模型作为记忆预失真器模型实现了记忆非线性放大器的快速、高效的线性化。仿真结果表明,利用所提出的预失真方案能快速实现记忆放大器的预失真,而且显著提高了线性化性能。     

用于关系抽取的注意力图长短时记忆神经网络

关系抽取是信息获取中一项关键技术。句子结构树能够捕获单词之间的长距离依赖关系,已被广泛用于关系抽取任务中。但是,现有方法存在过度依赖句子结构树本身信息而忽略外部信息的不足。本文提出一种新型的图神经网络模型,即注意力图长短时记忆神经网络(attention graph long short term memory neural network, AGLSTM)。该模型采用一种软修剪策略自动学习对关系抽取有用的句子结构信息;通过引入注意力机制,结合句法图信息学习句子的结构特征;并设计一种新型的图长短时记忆神经网络,使得模型能够更好地融合句法图信息和句子的时序信息。与10种典型的关系抽取方法进行对比,实验验证了该模型的优异性能。     

基于模式关联的一对多联想记忆方法

在现有的多模块一对多联想记忆模型中,由于所处理的记忆模式集合本身的特点以及记忆模式之间的关联被忽视,使得构造出来的模型结构复杂,难以实际应用.针对这一不足,提出一种基于模式关联的实现方法.以该方法构造出的多模块一对多联想记忆模型结构简单,易于硬件实现,使得多模块一对多联想记忆模型具有了实际应用的可能.     

一种具有情感和记忆机制的迷宫机器人认知模型

情感作为人类的高级认知,在环境学习和环境理解方面具有重要意义.将情感引入机器人搜索任务,同时结合记忆机理,提出一种具有情感和记忆机制的认知模型,由内部状态、感受器、环境状态系统、情感系统、动态知识库、行为决策系统以及执行器7部分组成.情感系统包含情感生成、情感状态以及情感记忆3个模块,其中,情感记忆用于提供内部奖励.记忆功能在动态知识库中实现.基于强化学习理论框架,将情感内部奖励与记忆进行融合,形成新的奖励机制,并设计相关认知学习算法.以需要“能量补给”的迷宫机器人搜索任务对所提出认知模型进行验证,结果发现,当面对不同情境时,机器人会产生不同的情感.结合前期记忆,机器人所作决策更“拟人”,表明情感和记忆机制设计的有效性.将所提出认知模型、无情感决策认知模型、基于ε-greedy策略的Q学习算法进行对比,结果表明,情感和记忆的引入,能够提高机器人的学习效率,同时学习过程更稳定.     

按模式记忆理论的记忆结构刻画

给出了一个按模式记忆铁记忆模型,详细讨论了它的基本构成单元－智能记忆单元ＩＭＥ的结构和操作,由ＩＭＥ构成的记忆结构是一个开放性的存储结构,可以实现记忆的层次性、语义性、时效性和灰度性,并提供在此记忆结构进行联想记忆的必要信息。     

深度记忆网络研究进展

近年来,随着深度神经网络的快速发展,它在越来越多的领域中有了广泛的应用.深度神经网络模型在处理有序列依赖关系的预测问题时,需要利用之前学习到的信息进行记忆.在一般的神经网络模型中,数据经过多个神经元节点传输会损失很多关键的信息,因此需要具有记忆能力的神经网络模型,我们把它们统称为记忆网络.本文首先介绍了记忆网络的基础模型,包括循环神经网络(RNN)、长短期记忆神经网络(LSTM)、神经图灵机(NTM)、记忆神经网络(MN)和变送器(Transformer).其中,RNN和LSTM是通过隐单元对前一时刻信息的处理来记忆信息,NTM和NM是通过使用外部存储器来进行记忆,而变送器使用注意力机制来选择性记忆.本文对这些模型进了对比,并分析了各个记忆方法的问题和不足.然后根据基础模型的不同,本文对常见的记忆网络模型进行了系统的阐述、分类和总结,包括其模型结构和算法.接着介绍了记忆网络在不同领域和场景下的应用,最后对记忆网络的未来研究方向进行了展望.     

一种深度强化学习空间关系与记忆融合方法研究

深度强化学习结合了深度学习在视觉上强大的感知能力来解决复杂环境的序列决策问题，但是由于采样效率低，对于复杂高维数据输入，学习其重要特征较为困难.为了从序列样本中更有效地提取信息，本文提出在深度强化学习中融合空间关系推理和记忆推理(Spatial Relationship Reasoning and Memory Reasoning,SRRMR)的模型结构.模型分为空间关系推理和记忆推理两部分，空间关系推理使用注意力机制作为空间关系学习方法隐式地推理任意两个实体间的关系，注意力机制中的查询向量融合了记忆推理的内容;记忆推理将输入图像的特征和关系作为记忆的输入，利用自注意力与记忆组成部分进行推理和交互，并将交互的结果存储在记忆单元中，使得记忆存储单元融合了空间信息与记忆信息.SRRMR模型在不同种类的Atari游戏中进行了训练和验证，结果表明，空间关系推理与记忆推理的融合在7/15个游戏环境中以更少的交互次数收敛到更好的结果，记忆推理网络在12/15个游戏中获得提升，提升智能体学习效率，更高效地利用序列中的样本，提高了强化学习的样本利用率.     

记忆计算:概念、特性及研究进展

随着信息技术的发展,尤其是移动互联网与物联网的发展,有关个人工作和生活的数据呈指数型增长。这些海量的数据中蕴含着丰富而有价值的个人信息,如何从这些数据中挖掘出有价值的信息成为当前信息领域的重要问题。针对该问题,介绍了普适计算领域新兴起的研究主题——记忆计算。记忆计算旨在通过各种带感知和计算功能的设备,比如智能手机、可穿戴设备等,实时感知和捕获用户线上线下活动的数据,分析并挖掘其内在价值,进而组织和管理有意义的记忆数据,实现基于情境的记忆数据呈现,以辅助个体记忆,支持社群交流与协作。讨论了基于移动情境感知的记忆计算的概念、特性、系统模型以及当前研究的关键技术与挑战,综述了记忆计算在生活日志、记忆提醒、往事回忆和群体记忆分享等方面的研究进展,并对其未来发展进行了展望。     

浅析故事情境创设策略在初中信息技术课中的应用

●故事情境创设策略应用于初中信息技术课的意义1.培养学生的创新思维初中信息技术课强调学生与生活的关系,鼓励学生将课堂中的知识应用在生活中,因此,根据学生的情况创设故事情境可以实现理论与实践的结合,将学生生活中的经验汇集起来,上升到理论层面,继而培养学生的创新思维。2.提升学生的记忆能力故事情境可以将信息技术课中的各个理论知识联系起来,在学生头脑中形成记忆链,让学生可以在回想起一个     

用于短文本情感分类的多头注意力记忆网络

随着社交网络的发展,对其包含的海量文本进行情感分析具有重要的社会价值。不同于普通文本分类,短文本情感分类需要挖掘隐含的情感语义特征,具有极大的难度和挑战性。为了能在更高的层次上得到短文本的情感语义特征,提出了一种多头注意力记忆网络（MAMN）用于短文本情感分类。首先,利用n元语法特征信息和有序神经元长短时记忆（ON-LSTM）网络对多头自注意力机制进行改进,以对文本上下文内联关系进行充分提取,使模型可以获得更丰富的文本特征信息。然后,利用多头注意力机制对多跳记忆网络的结构进行优化,使得在拓展模型深度的同时,挖掘更高层次的上下文内联情感语义关系。在电影评论集（MR）、斯坦福情感树（SST）-1和SST-2这三个不同的数据集上进行了大量实验。实验结果表明,与基于循环神经网络（RNN）和卷积神经网络（CNN）结构的基线模型以及一些最新成果相比,所提MAMN取得了较优的分类效果,验证了多跳结构对于性能改善的重要作用。     

基于生物记忆原理的个性化搜索引擎模型

提出一种基于记忆原理的个性化搜索引擎模型,根据记忆原理的基本模型与记忆元的转化关系生成相应的记忆模块,将该模块应用到搜索引擎模型中。建立了记忆模块页面记忆的数学更新模型并进行编程实现。鉴于系统存储容量的限制及一些访问过的页面利用率低的情况,对记忆存储库进行实时的更新。跳跃步数的设定使得该模型更具有灵活性,可根据用户需求设置跳跃步数。实验证明该模型能满足用户个性化的需求,提高搜索效率。     

面向PLM的SolidWorks模型与工程图批量出入库方法研究

针对某型PLM(Product Lifecycle Management,产品生命周期管理)系统无法以正确的层次结构关系批量导入Solid Works创建的模型与工程图的问题,通过对Solid Works以及该PLM系统的二次开发使两者进行深度融合,采取装配体模型结构树遍历、信息分类存储、层次关系循环搭建、工程图通过唯一编号查找源模型等方法,制作了零部件模型信息批量提取、模型批量入库、工程图批量入库、文件检出检入四个功能模块,实现了模型与工程图信息的快速提取与结构搭建,提高了该PLM系统对Solid Works文件的兼容与集成性。所开发的功能扩展插件已在某公司所属的T5-PLM系统中得到了运用。     

基于混合神经网络的文本分类方法

为更好解决卷积神经网络提取特征不充分,难以处理长文本结构信息和捕获句子语义关系等问题,提出一种融合CNN和自注意力Bi LSTM的并行神经网络模型TC-ABlstm。对传统的卷积神经网络进行改进,增强对文本局部特征的提取能力;设计结合注意力机制的双向长短期记忆神经网络模型来捕获文本上下文相关的全局特征;结合两个模型提取文本特征的优势,提高分类的准确性。在搜狗语料库和复旦大学中文语料库上的实验结果表明,所提模型能有效提升文本分类准确度。     

窥视孔连接的循环网络在中文分词上的研究

长短期记忆网络（LSTM）可以捕捉潜在的长距离依赖关系，已被广泛应用于中文分词模型。为进一步提高其分词效果，针对记忆单元因结构问题在处理序列时错误遗忘关键信息的情况，引入了窥视孔连接（peepholes）重新构建分词模型。为优化长距离依赖，使用了梯度截断、引导信息流正则化等手段。通过构建多种网络结构的分词模型在当下流行数据集上的分词实验，以此构建的双向循环网络结果表明：窥视孔连接的记忆单元比原记忆单元更有效的获取了待分类字符的上下文特征，有效地改善了LSTM部分信息缺失的情况，增强了网络的记忆能力，提高了模型分词性能。     

多值指数式多向联想记忆模型

多向联想记忆MDAM(multidirectional associative memory)模型是Kosko双向联想记忆模型BAM(bidirectional associative memory)的一个直接推广,它可应用于数据融合及维数分裂,使模型能处理大维数输入问题.目前所提出的若干种多向模型均局限于二值输入/输出模式对,但如在图象处理等的实际应用中,所处理的模式均是多值的.本文的目的就是提出一个多值指数式多向联想记忆模型MVeMDAM(multivalued exponential multidi     

基于小世界体系的核自联想记忆模型

1引言 联想记忆神经网络是体现网络优势、具有广泛应用前景的一类网络模型.本文借鉴近年来机器学习领域中颇具影响力的核方法[1]和社会网络中广泛存在的小世界体系[2],通过改进Hopfield联想记忆模型的回忆规则[3],构建了一类基于小世界体系的核自联想记忆模型(small world architecture basedkernel auto-associative memory model,SWAKAM).在FERET人脸数据库上的测试表明,它获得了比标准的特征脸算法(PCA)[4]以及最近提出的E(PC)2A[5]算法更高的识别率.SWA-KAM模型所具有的最大特点是,它以较小的代价获得了较高的性能,较大地简化了全互连KAM模型的结构,使传统AM模型的VLSI实现更加容易.     

简化LSTM的语音合成

在增大训练数据的情况下,使用传统的隐马尔科夫模型难以提升参数化语音合成预测质量。长短期记忆神经网络学习序列内的长程特征,在大规模并行数值计算下获得更准确的语音时长和更连贯的频谱模型,但同时也包含了可简化的计算。首先分析双向长短期记忆神经网络功能结构,接着移除遗忘门和输出门,最后对文本音素信息到倒频谱的映射关系建模。在普通话语料库上的对比实验证明,简化双向长短期记忆神经网络计算量减少一半,梅尔倒频率失真度由隐马尔科夫模型的3.466 1降低到1.945 9。     

结合视觉属性注意力和残差连接的图像描述生成模型

使机器自动描述图像一直是计算机视觉研究的长期目标之一.为了提高图像内容描述模型的精度,提出一种结合自适应注意力机制和残差连接的长短时间记忆网络(LSTM)的图像描述模型.首先根据pointer-net网络改进基本LSTM结构,增加记录图像视觉属性信息的单元;然后利用改进的LSTM结构,设计基于图像视觉语义属性的自适应注意力机制,自适应注意力机制根据上一时刻模型隐藏层状态,自动选择下一时刻模型需要处理的图像区域;此外,为了得到更紧密的图像与描述语句之间映射关系,构建基于残差连接的双层LSTM结构;最终得到模型能够联合图像视觉特征和语义特征对图像进行内容描述.在MSCOCO和Flickr30K图像集中进行训练和测试,并使用不同的评估方法对模型进行实验验证,结果表明所提模型的性能有较大的提高.     

自组织决策树的联想记忆在线学习模型*

针对多源数据在线学习环境下的联想记忆建模问题,并综合考虑计算高效性、噪声鲁棒性等目标,提出基于自组织决策树的联想记忆在线学习模型.首先根据模式数据内在结构进行类内信息增强和噪声约简,然后基于信息熵增益的决策树算法对约简后数据进行子域划分,最后通过子域关系学习建模多源数据的联想关系.理论分析模型的学习稳定性.实验表明,文中模型在含噪数据在线分类学习和异联想建模问题上具有优良性能.     

融合BERT和记忆网络的实体识别

实体识别是信息提取的子任务,传统实体识别模型针对人员、组织、位置名称等类型的实体进行识别,而在现实世界中必须考虑更多类别的实体,需要细粒度的实体识别.同时,BiGRU等传统实体识别模型无法充分利用更大范围内的全局特征.文中提出了一种基于命名记忆网络和BERT的实体识别模型,记忆网络模块能够记忆更大范围的特征,BERT语言预训练模型能进行更好的语义表示.对水泥熟料生产语料数据进行实体识别,实验结果表明,所提方法能够识别实体且较其他传统模型更具优势.为了进一步验证所提模型的性能,在CLUENER2020数据集上进行实验,结果表明,在BiGRU-CRF模型的基础上使用BERT和记忆网络模块进行优化是能够提高实体识别效果的.