基于Q学习算法的情感交互可计算模型研究

情感本身不能交互,但可以通过它的载体(如人或Agent)进行交互。利用该特点,提出一种基于Q学习算法的情感交互可计算模型。定义情感元的概念,情感元之间的交互实际上是情感Agent之间的交互,采用Q学习算法得到情感元的交互结果,构建齐次Markov链的情感元之间的交互模型,并通过实验结果验证了情感的多变性与复杂性。     

人工情感Q学习的互联电网自动发电控制算法

对互联电网中自动发电控制AGC中控制策略进行改进,设计了人工智能中的人工心理学和人工智能中的机器学习结合的控制策略.分别对Q学习算法和Q(λ)学习算法进行改进,设计了具有人工情感的智能体.提出了人工情感Q学习算法和人工情感Q(λ)学习算法.且将人工情感分别作用于Q学习算法和Q(λ)学习算法中的输出动作、学习率和奖励函数.最后在IEEE标准两区域和南方电网四区域的互联电网Simulink模型中进行数值仿真.绘制并统计了控制性能指标、区域控制误差和频率偏差的值.从仿真结果看,所提人工情感Q学习算法和人工情感Q(λ)学习算法控制效果优于原有Q学习算法、Q(λ)学习算法、R(λ)算法、Sarsa算法、Sarsa(λ)算法和PID控制算法,该数值仿真结果验证了所提算法的可行性和有效性.     

一种具有情感和记忆机制的迷宫机器人认知模型

情感作为人类的高级认知,在环境学习和环境理解方面具有重要意义.将情感引入机器人搜索任务,同时结合记忆机理,提出一种具有情感和记忆机制的认知模型,由内部状态、感受器、环境状态系统、情感系统、动态知识库、行为决策系统以及执行器7部分组成.情感系统包含情感生成、情感状态以及情感记忆3个模块,其中,情感记忆用于提供内部奖励.记忆功能在动态知识库中实现.基于强化学习理论框架,将情感内部奖励与记忆进行融合,形成新的奖励机制,并设计相关认知学习算法.以需要“能量补给”的迷宫机器人搜索任务对所提出认知模型进行验证,结果发现,当面对不同情境时,机器人会产生不同的情感.结合前期记忆,机器人所作决策更“拟人”,表明情感和记忆机制设计的有效性.将所提出认知模型、无情感决策认知模型、基于ε-greedy策略的Q学习算法进行对比,结果表明,情感和记忆的引入,能够提高机器人的学习效率,同时学习过程更稳定.     

增量学习算法对文本情感识别模型的改进

常规的文本情感识别模型不能适应语言的发展,使新生的词汇不能得到有效的情感划分,并且情感识别率低.使用增量学习算法来改进文本情感识别模型,通过收集用户反馈数据,提取其中有价值的情感信息来更新常识库,从而实现对情感识别模型的改进.通过情感聊天的两组对比实验证明了加入增量学习算法的文本情感识别模型准确率优于没有加入增量学习算...     

基于姿态的情感计算综述

情感计算的理论与算法研究是近年来人机交互领域的热点话题.当前,常见的情感计算集中在基于面部表情、语音、文本、人体姿态等方向,既有单一模态的算法,又有多模态的综合算法.基于面部表情和语音模态的算法占据多数,国内外基于人体姿态的算法相对较少.文中针对基于姿态的情感计算所面临的几个关键科学问题展开了综述,包括情感的心理学模型、人体姿态估计算法、姿态的情感特征提取算法、情感分类与标注算法、姿态情感数据集、基于姿态的情感识别算法等.具体来说,首先介绍了几种常用的情感计算心理学模型,评述了各类模型的适用场景;随后从人体检测和姿态估计2个角度对人体姿态估计的常用算法进行了总结,并讨论了2D和3D姿态估计的应用前景.针对特征提取算法,分析了基于全身和上半身身体动作的姿态特征提取算法.在情感标注方面,介绍了表演数据和非表演数据的情感标注算法,并指出了半自动或自动的标注非表演数据将是未来的重要发展趋势之一.针对姿态情感数据集,列举了近年来常见的14个数据集,并主要从是否是表演数据、数据维度、静态或动态姿势、全身或非全身数据等几个方面进行了总结.在基于姿态的情感识别算法方面,主要介绍了基于人工神经网络的情感识别算法,指出了不同算法的优劣之处和适用的数据集类型.文中的综述研究,总结提炼了国内外该领域经典且前沿的工作,希望为相关的研究者提供研究帮助.     

基于内分泌调节机制的行为自组织算法

借鉴内分泌系统的高层调节机制,提出了一种新的自主体行为自组织算法.此算法用 神经系统接受环境信息,通过一种情感学习模型来产生情感因子(即生物激素),再由情感因子 来调节神经系统的记忆和行为决策,最后神经系统的记忆与行为模式由遗传系统得以继承. 其优点是避免了神经系统复杂的自学习过程,同时保证系统的行为决策具有较高的自组织、 自适应能力.为了验证算法的有效性,倒立摆控制的仿真实验表明该算法具有很强的自适应 求解能力.     

基于双通道卷积神经网络的文本情感分类算法

针对现有深度学习方法在文本情感分类任务中特征提取能力方面的不足,提出基于扩展特征和动态池化的双通道卷积神经网络的文本情感分类算法.首先,结合情感词、词性、程度副词、否定词和标点符号等多种影响文本情感倾向的词语特征,形成一个扩展文本特征.然后,把词向量特征与扩展文本特征分别作为卷积神经网络的两个输入通道,采用动态k-max池化策略,提升模型提取特征的能力.在多个标准英文数据集上的文本情感分类实验表明,文中算法的分类性能不仅高于单通道卷积神经网络算法,而且相比一些代表性算法也具有一定的优势.     

基于蚁群算法的情感模型研究

情感是人类智能中的一个重要表现形式,在人类决策过程中起着重要的作用.从情感的特征出发,抽取影响情感产生的载体因子,引入蚁群算法思想,将携带载体因子的蚂蚁,采用串行的方式,通过反应强度值的不断更新,完成寻找最优情感状态的任务,以此来考察人类的情感变化.通过和隐马尔可夫情感模型相比较,可以看出基于蚁群算法思想的情感模型实现过程简单,并反映了情感状态的变化过程.仿真结果表明了该模型与实际相符合,对研究计算机情感表达有较好的作用.     

多Agent自动协商中机器学习的应用研究

目前将机器学习理论应用到多Agent自动协商系统中已成为电子商务领域的最新研究课题。本文即是利用贝叶斯法则来更新协商中的环境信息（即信念），利用强化学习中的Q学习算法生成协商中的提议，建立了一个具有学习机制的多Agent自动协商模型。并且封传统Q学习算法追行了扩充，设计了基于Agent的当前信念和最近探索盈余的动态Q学习算法。实验验证了算法的收敛性。     

人工情感的进化控制系统实现

人工情感在机器人的研究中至关重要,简要概括了当前人工情感的应用.在借鉴情感学习控制的理论的基础上,融入了进化控制的思想,设计出了一种基于人工情感的控制体系结构,在此结构中包含有基于遗传算法的进化控制系统、神经和人工情感控制系统.机器人通过神经系统接受环境信息并进行行为决策,行为决策的效果通过情感学习模型进行反馈.情感学习模型根据机器人的内、外环境状态,产生情感因子（即生物激素）,再由情感因子来调节神经系统的记忆和行为决策,最后神经系统的记忆与行为模块又由进化系统得以继承.该控制结构加强了机器人在动态环境中的学习和自适应能力.仿真实验验证了该控制结构的有效性,仿真结果也表明机器人具有很强的学习和自适应能力.     

多主体撮合交易系统的设计与实现

研究了电子商务交易模型的实现机制，设计了基于Multi-Agent的电子商务交易市场的组织结构，在基于Multi-Agent的撮合交易系统中，把整个交易过程看成一个动态的交互过程，体现了MultiAgent系统的动态特性，同时引入强化学习算法对竞标策略进行动态修正，使多主体撮合交易系统具有一定的自均衡和自学习能力。试验表明，基于多主体的撮合交易模型和动态竞标机制具有较好的交易性能。     

基于最小均方算法的自适应有限长滤波器设计仿真

本文主要介绍最小均方算法的性能特点。基于最小均方算法的自适应滤波器电路结构简单且实时跟踪性能好。自适应滤波器的重要特性就在于它能够在未知环境申有效工作并能够跟踪输入信号的时变特性。理论分析和仿真结果表明，在低信噪比的前提下，自适应滤波器具有良好的信号处理性能，并对系统发生的突变表现出较强的鲁棒性。     

基于区域相关性的全局运动视频中非刚性对象跟踪

提出一种适合全局运动视频中自动探测与跟踪非刚性对象的OT-GAV模型.该模型首先利用基于区域相关性的RDM算法计算相邻帧区域匹配,并结合Q学习与K-S统计法优化匹配结果,获得较为精确的区域运动向量.然后,利用前景和背景存在的运动形态差异,区域动态纹理一致性及对象运动过程中保持区域完整性的特点,逐步实现前景对象区域的探测与合并.实验证明,本模型及其相关算法可在室内和室外环境下,自动探测前景关注对象,获得其较为精确的边缘信息,并实施有效的跟踪.同时,该模型还能够解决对象跟踪过程中的"空洞"问题.     

Reinforcement based mobile robot navigation in dynamic environment

In this paper, a new approach is developed for solving the problem of mobile robot path planning in an unknown dynamic environment based on Q-learning. Q-learning algorithms have been used widely for solving real world problems, especially in robotics since it has been proved to give reliable and efficient solutions due to its simple and well developed theory. However, most of the researchers who tried to use Q-learning for solving the mobile robot navigation problem dealt with static environments; they avoided using it for dynamic environments because it is a more complex problem that has infinite number of states. This great number of states makes the training for the intelligent agent very difficult. In this paper, the Q-learning algorithm was applied for solving the mobile robot navigation in dynamic environment problem by limiting the number of states based on a new definition for the states space. This has the effect of reducing the size of the Q-table and hence, increasing the speed of the navigation algorithm. The conducted experimental simulation scenarios indicate the strength of the new proposed approach for mobile robot navigation in dynamic environment. The results show that the new approach has a high Hit rate and that the robot succeeded to reach its target in a collision free path in most cases which is the most desirable feature in any navigation algorithm.     

Short-term traffic flow forecasting: parametric and nonparametric approaches via emotional temporal difference learning

Information signal from real case and natural complex dynamical systems such as traffic flow are usually specified by irregular motions. Chaotic nonlinear dynamics approach is now the most powerful tool for scientists to deal with complexities in real cases, and neural networks and neuro-fuzzy models are widely used for their capabilities in nonlinear modeling of chaotic systems more than the traditional methods. As mentioned, the traffic flow conditions caused the forecasting values of traffic flow to lack robustness and accuracy. In this paper, the traffic flow forecasting is analyzed with emotional concepts and multi-agent systems (MASs) points of view as a new method in this field. The findings enabled the researchers to develop a newly object-oriented method of forecasting traffic flow. Its architecture is based on a temporal difference (TD) Q-learning with a neuro-fuzzy structure, which is the nonparametric approach. The performance of TD Q-learning is improved by emotional learning. The proposed method on the present conditions and the action of the system according to the criteria could forecast traffic signals so that the objectives are reached in minimum time. The ability of presented learning algorithm to prospect gains from future actions and obtain rewards from its past experiences allows emotional TD Q-learning algorithm to improve its decisions for the best possible actions. In addition, to study in a more practical situation, the neuro-fuzzy behaviors could be modeled by MAS. The proposed method (intelligent/nonparametric approach) is compared by parametric approach, autoregressive integrated moving average (ARIMA) method, which is implemented by multi-layer perceptron neural networks and called ARIMANN. Here, the ARIMANN is updated by backpropagation and temporal difference backpropagation for the first time. The simulation results revealed that the studied forecaster could discover the optimal forecasting by means of the Q-learning algorithm. Difficult to handle through parametric and classic methods, the real traffic flow signals used for fitting the algorithms is obtained from a two-lane street I-494 in Minnesota City.     

一种基于MAS信用机制的安全网络防御方案

在分布式,开放的,动态的网络环境下,网络集成防御系统的自身的安全性和系统自学习协作能力是网络集成防御系统研究和应用面临的新的问题。本文为此,提出了一种基于信用MAS系统的安全防御体系解决方案。在该方案框架上上,可以很容易的有效的提升防御系统的安全和很好的把MAS的复杂问题求解和机器学习的相关模型融入系统。实现防御系统的自组织、自学习能力。     

无人机自组网中基于Q-learning算法的及时稳定路由策略

无人机自组网凭借其抗干扰能力强、适用于复杂地形、智能化程度高和成本较低的优点,近年来受到广泛关注,该网络中路由协议的设计与优化一直是核心研究问题。针对无人机自组网中因节点快速移动造成节点本地存储的路由未及时更新而失效的问题,提出一种基于Q-learning算法的动态感知优化链路状态路由协议(DSQ-OLSR)。该协议首先充分考虑了无人机自组网节点高速移动的特点,在选取多点中继(MPR)节点时添加了链路稳定性和链路存在时间这两个指标,使得选出的MPR节点集更稳定、合理;其次,结合Q-learning算法对TC消息的发送间隔进行自适应调整,使得在网络拓扑变动较小时增大TC发送间隔以减小控制开销,而在拓扑变动较大时减小TC发送间隔用于达到快速感知并构建网络拓扑的要求,进而实现数据的及时路由。仿真结果表明,与DT-OLSR协议相比,该协议在端到端时延、吞吐量、成功率和网络生存时间性能上分别提高了12.61%、9.28%、7.69%和5.86%,由此验证了其有效性。     

基于增强学习的多agent自动协商研究

该文通过对协商协议的引入,对提议形式、协商流程的分析,结合多属性效用理论和连续决策过程,提出了一个开放的、动态的、支持学习机制的形式化多问题自动协商模型。并在模型的基础上分别对评估提议、更新信念、生成提议等协商过程作了详细描述;对传统Q学习进行了扩充,设计了基于agent的当前信念和最近探索盈余的动态Q学习算法。     

网络入侵检测与对抗的技术及实现

给出一个丛于边界路由器的网络入侵检测、网络异常检测及对抗联动系统的设计方案，详细介绍了应用于该系统的关健技术及算法，包括基于零拷贝思想的捕包技术、状态机匹配技术以及网络异常检测报警阈值的动态调节算法；同时给出了在大流量网络环境下，该系统的改进设计方案。