卫星云图有眼台风中心定位算法研究

本文分析和研究了单幅红外卫星云图台风定位问题,初步研究了有眼台风的模式识别,提出有眼区台风的中心定位算法.根据气象领域知识,眼区处在台风主体云系最大内切圆圆心附近,算法先提取出台风主体云系,应用数学形态学求取台风最大内切圆中心和半径,在此范围内寻找台风眼区.为了排除云洞和云缝的干扰,提出使用距离和灰度信息组成判别式求取台风眼区.实验证明具有较高的定位精度,能适合气象预报业务化的要求.     

基于用户自定义兴趣区的飞行员眼动数据可视分析方法

针对传统基于兴趣区的可视化方法在分析飞行员眼动数据过程中无法关注细节的问题,提出了一种基于用户自定义兴趣区的眼动数据可视分析方法。首先,根据具体的分析任务,引入对任务背景图像的自我划分和定义;然后,在此基础上,结合多种辅助视图和交互手段,设计并实现了面向飞行员培训的眼动数据可视分析系统,帮助分析人员分析不同的飞行员之间的眼动差异,最后通过案例分析,证明了可视分析方法的有效性和分析系统的实用性。实验结果表明,较传统方法来说,所提方法增加了分析人员在分析过程中的主动性,在整体和局部方面,支持分析人员对任务背景进行细节的探索,增加了分析人员分析数据的多角度性,让分析人员能够结合整体发现飞行学员在训练过程中认知困难的部分,进而制定更有针对性、更有效的训练课程。     

利用改进的分区统计颅面模型重构颅面

针对初始颅面点集数据量大、分布不均匀,以及分区统计颅面模型算法处理颅面眼、鼻、口三个区域不易连接的问题,提出了改进的分区统计颅面模型算法。通过将颅面分成T区（眼、鼻、口区域）和O区（其他区域）,解决了眼、鼻、口区域的连接问题,并用两种不同半径的球覆盖颅面的方法处理初始颅面点集,使颅面两个区域内点集分布均匀。同时引入种族、性别、年龄、胖瘦四个属性表示单个样本模型,利用主成分分析方法建立统计颅面模型。实验结果表明该算法能够取得更好的颅面重构效果。     

一种特征融合算法的表情识别

对人脸表情图像进行分割得到眉区、眼区和嘴部区域,再对分割出来的表情区域利用高维局部自相关(HLAC)计算特征并得到加权的特征向量,其中加权系数根据心理学中的FACS表情测量理论选取,最后利用近邻中心距离分类器进行表情识别.实验基于CMU-PITTSBURGH表情图像库,在没有增大计算量的前提下相比PCA方法,特征融合(HLAC+WPCA)的方法显著地提高了表情的识别率.     

应用最大熵马尔可夫模型标注阅读眼动序列

人在阅读过程中的眼球运动具有一定规律,阅读眼动模型有助于人们更好地理解和认知这些规律。针对现有阅读眼动模型建模方法复杂的问题,突破传统阅读眼动模型注视粒度处理和回视处理模式,提出了基于单词的阅读眼动注视粒度处理模式和基于熟练读者的阅读眼动回视处理模式,利用阅读眼动注视序列标注与自然语言序列标注的高度相似性,形成了阅读眼动注视序列标注方法,从而把复杂的阅读眼动建模过程转化成了简单的语言序列标注过程,并使用最大熵马尔可夫模型实现了所提出的方法。实验结果表明,所提出的方法可以较好地描述阅读眼动任务,并且较易用机器学习模型进行实现。     

加权视差能量模型

由于人左右眼间距的存在,使得同一空间物体在左右眼视网膜上的投影存在位置差异,称之为视差. 左右眼视网膜获取的信息最初在初级视皮层（Ⅴ1区）进行融合,该区域有大量对视差敏感的神经元.关于它们的视差选择特性,目前比较公认的计算模型是视差能量模型,然而该模型却无法解释Ⅴ1区神经元对反相关随机点立体图（Anti-correlated random dot stereograms,aRDS）的响应要比对随机点立体图的 响应弱这一神经生理学发现.为此,本文提出了一种加权视差能量模型:首先,利用左右眼感受野内的信号差异对神经元的响应能量进行调制,然后再结合神经元之间的相互作用来计算细胞群响应,从而得到图像视差.本文旨在探索基于神经生理学的视差计算方法,主要贡献有:1）加权视差能量模型能够很好地解释Ⅴ1区神经元对反随机点立体图的响 应比随机点立体图响应弱的生理特性;2）加权视差能量模型的视差计算结果精度比现有基于神经生理学的模型 更高,甚至高于一些传统的计算机视觉方法.     

眼动数据可视化综述

随着眼动跟踪技术在实际应用中的普及,大量眼动数据需要通过合理的可视化方式进行处理与分析,在这种背景下,眼动数据可视化在基础理论、方法和应用研究等方面得到了快速发展.文中总结了眼动数据的预处理与参数化方法,并在此基础上介绍了眼动数据可视化的基本框架和4种主要可视化方法:扫描路径法、热区图法、感兴趣区法和三维空间法;进而介绍了眼动数据可视化在用户界面可用性评估等方面的应用实例.最后对眼动数据可视化未来的研究趋势进行了展望.     

曲线相似度眼型分类

针对人脸面部图像中人眼型分类问题,利用眼睑曲线的不同形状,提出一种基于眼睑轮廓曲线相似度与眼型指数相结合的人眼分类方法。采用基于轮廓的形状描述方法,在获取眼睛初始特征点的基础上增加采样点;然后根据上、下眼睑采样点与内、外眼角点,通过最小二乘法拟合得到上、下眼睑曲线方程;通过眼睑曲线方程计算出上、下眼睑采样点的斜率,利用归一化互相关系数描述上、下眼睑采样点斜率相似度;通过眼睑曲线方程计算眼型指数,与斜率相似度结合使用,达到眼型分类的目的。主要贡献是:定义了上、下眼睑轮廓曲线及其相似度,通过关联眼型指数进行眼型分类。使用该方法对标准眼、圆眼、眯缝眼、细长眼4种眼型进行分类,获得了85.17%的正确率。实验表明,所提方法易于实现,并且具有良好的眼型分类效果。     

用于移动设备人机交互的眼动跟踪方法

传统眼动跟踪设备构造复杂、体积和重量大,通常只能以桌面固定方式使用,无法支持普适计算环境下的移动式交互.为此,提出一种面向移动式交互的眼动跟踪方法,包括眼动图像处理、眼动特征检测、眼动数据计算和眼动交互应用4个层次.首先对眼球红外图像进行滤波、二值化处理,进而基于瞳孔-角膜反射法,结合二次定位和改进的椭圆拟合方法检测瞳孔,设计缩放因子驱动的模板匹配法检测普洱钦斑;在此基础上,计算注视点坐标等眼动数据;最后设计与开发了一个基于单个红外摄像头的头戴式眼动跟踪原型系统.实际用户测试结果表明,该系统舒适度适中,并具有较高精度和鲁棒性,从而验证了文中方法在移动式交互中的可行性和有效性.     

一种基于脑电信号的眼动方向分类方法

为了提高基于眼电的眼动方向的识别准确性,文中利用包含眼电伪迹的脑电信号,提出了一种新的眼动方向分类方法。首先,在10-20国际标准导联配置下,通过脑电仪采集靠近人脑额叶处的AF7,F7,FT7,T7,AF8,F8,FT8,T8这8个通道的脑电信号;然后,通过基线移除、归一化、最小二乘法降噪等进行数据预处理;最后,采用支持向量机的方法进行眼动方向的多次二分类,并使用投票策略实现眼动方向的四分类识别。实验结果表明,所提方法进行眼动方向分类时,在上、下、左、右4个方向上的分类率分别达到了78.47%,72.22%,84.03%,79.86%,平均分类率达到了78.65%。与已有的分类方法相比,所提方法的分类准确率更高,分类算法的实现过程更简单,这进一步验证了利用脑电信号识别眼动方向的可行性和有效性。     

Human gait recognition based on matching of body components

This paper presents a novel approach for gait recognition based on the matching of body components. The human body components are studied separately and are shown to have unequal discrimination power. Several approaches are presented for the combination of the results obtained from different body components into a common distance metric for the evaluation of similarity between gait sequences. A method is also proposed for the determination of the weighting of the various body components based on their contribution to recognition performance. Using the best performing of the proposed methods, improved recognition performance is achieved.     

Evaluation and comparison of federated learning algorithms for Human Activity Recognition on smartphones

Pervasive computing promotes the integration of smart devices in our living spaces to develop services providing assistance to people. Such smart devices are increasingly relying on cloud-based Machine Learning, which raises questions in terms of security (data privacy), reliance (latency), and communication costs. In this context, Federated Learning (FL) has been introduced as a new machine learning paradigm enhancing the use of local devices. At the server level, FL aggregates models learned locally on distributed clients to obtain a more general model. In this way, no private data is sent over the network, and the communication cost is reduced. Unfortunately, however, the most popular federated learning algorithms have been shown not to be adapted to some highly heterogeneous pervasive computing environments. In this paper, we propose a new FL algorithm, termed FedDist, which can modify models (here, deep neural network) during training by identifying dissimilarities between neurons among the clients. This permits to account for clients’ specificity without impairing generalization. FedDist evaluated with three state-of-the-art federated learning algorithms on three large heterogeneous mobile Human Activity Recognition datasets. Results have shown the ability of FedDist to adapt to heterogeneous data and the capability of FL to deal with asynchronous situations.     

基于GMM超向量的行为识别研究

通过对UCF11体育运动数据库提取SIFT和STIP特征,采用留一交叉验证法（LOOCV）,利用训练样本数据估算GMM参数以建立GMM—UBM,进一步通过MAP自适应算法得出GMM超向量。以GMM超向量作为输入特征训练SVM分类器在UCF11数据库上进行实际验证,实验证明该方法在行为识别方面具有较好的识别效果。     

人与计算机交互过程中的人脸检测及其特征区域的定位

论文讨论了在开发人机交互系统过程中,实现人脸检测及其特征区域的定位方法。对输入图像,采用了简化的人脸肤色模型进行分割处理。对于由此得到的候选区域,使用基于Fisher准则的线性判别分析(FisherDiscriminationAnalysis)从中筛选出人脸所在的区域。在该区域内,使用由主元分析(PrincipleComponentAnalysis)导出的重构误差ε,又称DFFS(DistanceFromFaceSpace),结合使用FDA定位携带主要语音视觉特征的嘴部区域。实验中所使用的样本数据来自中国科学院声学所汉语听觉、视觉双模态数据库(CAVSRV1.0)。     

双人交互行为的稀疏表征方法*

提出一种双人交互行为的稀疏表征方法,融合体现全局变化的轨迹特征和突出区域运动的时空特征。首先,采用词袋模型得到轨迹特征的稀疏表示。然后,对提取的时空特征采用三层时空金字塔分解得到多层特征,并对其进行稀疏编码,利用多尺度Maxpooling算法融合得到局部稀疏特征。最后,将2种稀疏特征加权串联得到双人交互行为的稀疏表征。采用基于隐动态条件随机场的识别算法对文中提取的稀疏表征进行验证,通过实验证明其有效性。     

人脸识别的方法研究

人脸识别系统主要包括:人脸检测定位,人脸识别两环节。本文简要回顾了人脸自动识别技术的研究背景,重点对近年来人脸自动识别方法的研究进展进行综述,并对各种方法加以评价。总结了现在存在的研究困难,提出了今后的发展方向。     

Federated Clustering and Semi-Supervised learning: A new partnership for personalized Human Activity Recognition

Federated Learning (FL) is currently studied by several research groups as a promising paradigm for sensor-based Human Activity Recognition (HAR) to mitigate the privacy and scalability issues of classic centralized approaches. However, in the HAR domain, data is non-independently and identically distributed (non-IID), and personalization is one of the major challenges. Federated Clustering has been recently proposed to mitigate this issue by creating specialized global models for groups of similar users. While this approach significantly improves personalization, it assumes that labeled data are available on each client. In this work, we propose SS-FedCLAR, a novel HAR framework that combines Federated Clustering and Semi-Supervised learning. In SS-FedCLAR , each client uses a combination of active learning and label propagation to provide pseudo labels to a large amount of unlabeled data, which is then used to collaboratively train a Federated Clustering model. We evaluated SS-FedCLAR on two well-known public datasets, showing that it outperforms existing semi-supervised FL solutions while reaching recognition rates similar to fully-supervised FL approaches.     

LwTool: A data processing toolkit for building a real-time pressure mapping smart textile software system

Pressure mapping smart textile is a new type of sensing modality that transforms the pressure distribution over surfaces into digital ”image” and ”video”, that has rich application scenarios in Human Activity Recognition (HAR), because all human activities are linked with force change over certain surfaces. To speed up its application exploration, we propose a toolkit named LwTool for the data processing, including: (a) a feature library, including 1830 ready-to-use temporal and spatial features, (b) a hierarchical feature selection framework that automatically picks out the best features for a new application from the feature library. As real-time processing capability is important for instant user feedback, we emphasize not only on good recognition result but also on reducing time cost when selecting features. Our library and algorithms are validated on Smart-Toy and Smart-Bedsheet applications, an 89.7% accuracy for Smart-Toy and an 83.8% accuracy for Smart-Bedsheet can be achieved (10-fold cross-validation) using our feature library. Adopting the feature selection algorithm, the processing speed is increased by more than 3 times while maintaining high accuracy for both two applications. We believe our method could be a general and powerful toolkit in building real-time recognition software systems for pressure mapping smart textile.     

基于眼裂的人脸图像归一化

针对人脸识别中图像前期处理的人脸图像归一化问题,用AdaBoost Cascade方法检测出人脸和眼裂,提出以两眼裂中心点连线为基准进行水平旋转和尺度的归一化矫正方法。与通常的利用两眼瞳距方法相比较,该方法更加快速准确,能处理多达20°的倾斜,对戴眼镜、图像模糊、俯视、仰视、斜视等情况的鲁棒性更好。     

基于Agent的人机情感交互系统研究

该文在软件Agent技术基础上,提出具有识别真实人情感,同时又能够表达虚拟人个性情感的Multi-AgentSystem体系结构。在系统的感知Agent中,采用隐马尔可夫(HMM)数学模型通过表情(视觉)和语言(声音)对六种基本情感状态进行识别。实验结果说明基于视觉和听觉的多模态识别算法能提高计算机对人的情感识别率。文章最后指出面向Agent技术实现人机情感交互系统的开发是一种行之有效的方法。