AudiMeters：高维连续数据可听化研究

高维连续数据的数据-声音映射是可听化应用设计研究的重点和难点.提出了多通道-多维度数据-声音映射模型,支持多通道映射、多维度映射和混合映射,可以充分利用各种声音参数.实现了可听化汽车仪表原型系统Au-diMeters,采用混合映射对转速、时速、水温和油量等数据进行可听化显示,验证了多通道-多维度数据-声音映射模型的可行性.     

可听化技术综述

概述了可听化技术的研究现状及发展方向。在给出可听化技术的分类标准之后,文中重点讨论了在计算机系统中实现可听化系统的一般过程,即通常可分成室内声学仿真、双耳房间脉冲响应的计算及卷积３个步骤来实现。另外,文中还介绍了涉及可听化系统实现的主要软硬件产品,分析了该领域今后的研究方向,并指出了其在多个领域广泛的应用前景。     

听觉显示研究与应用

听觉显示是应用声音表示信息,通过听觉来显示和传递信息.本文首先介绍了听觉显示的研究背景,回顾了听觉显示的研究历史和国内外的研究现状,指出了听觉显示方面主要的研究领域;其次通过对听觉显示用户界面研究及可听化研究的分析,对当前听觉显示研究的发展进行了总结;最后对听觉显示及其应用研究前景提出了一些展望,旨在为今后的研究和应用提供一点思路.     

AudioMan：电子行走辅助系统的设计与实现

针对现有的电子行走辅助(ETA)系统在普及和应用中的缺陷,自行设计了一种易使用的ETA系统模型AudioMan。该模型结合图像处理和听觉显示技术,给盲人用户提供道路方向和障碍物位置等环境信息。系统提出通过控制乐音的参数来实现可听化,用可听化来传递图像信息。可用性测试和评估结果表明,AudioMan所建立的用户听觉模型比现有的ETA系统更有效。     

股票数据的可听化研究与实现

在可听化系统模型的基础上,提出了针对股票数据的可听化数据一声音映射模型,并实现了股票数据的可听化系统。对系统的可用性测试结果表明可听化技术在特殊场合可作为可视化技术的有效替代方式,其中对用户的培训是使用可听化系统的关键因素。     

CAD可听化数据映射算法及其应用研究

听觉是视觉很好的辅助手段，使用多通道用户界面有利于提高人机交互的效率。可听化是用非语音来表示信息的技术，可听化正成为一种新的可用于模式识别、数据分析的工具。该文提出CAD可听化研究的实现途径，从工程应用角度总结归纳了适合可听化的CAD数据类型，分析了相应的数据映射算法设计，在CAD机构设计中，通过设计方案实时运动仿真，进行运动学和动力学分析计算，讨论二维连续数据的可听化。     

音乐化耳标设计及其可用性研究

针对结构化耳标的不足,设计音乐化耳标,以音乐的情感表达增加耳标区分度,以音乐元素、音乐结构特性作为耳标的区分依据.借助心理学实验的方法对音乐化耳标进行反映时-刺激测试,验证音乐化耳标的可用性.测试结果表明,测试者经过训练后,可以熟练使用音乐化耳标.     

设计信息的可听化诊断技术应用研究

设计信息的可视化技术在视觉上传递信息,多元显示、全局视角、交互等都约束了对产品设计更深一步的观察和分析.设计分析信息以可听化反馈,作为图形界面的补充,增加用户接收的信息量,减轻视觉通道的负荷,并能从全局视图上观察分析数据.从工程应用角度提出设计信息可听化研究的意义与途径,根据设计数据、机构仿真分析、数据的对比分析的特点,分析数据声音映射关系,采用模拟合成的方法设计了典型的设计信息可听化实例.以凸轮机构压力角校核为例,分析设计参数校核的可听化仿真.通过分析数据采集、映射设计、可听化模拟分析、评价,研究设计信息可听化诊断技术实现的有效性,从而为用户提供一个自然、高效的设计环境.     

序列化耳标设计实例及其可用性研究

针对结构化耳标的不足,提出序列化耳标的新思路,以解决听觉显示方法呈现结构化离散信息时,可听化菜单容量不足的问题。借助心理学实验的方法对序列化耳标进行反映时——刺激（R—S）测试,来验证其可用性。测试结果表明,序列化耳标扩充了可听化的菜单容量,可用在表示类别相同而细节不同的信息上,其可编码性强于结构化耳标。     

语音情感识别研究综述

语音不仅包含说话人所要表达的语义信息,也蕴含着说话人所要表达的情感信息.语音情感识别是人机情感交互的关键,对语音情感的有效识别能够提升语音可懂度,使各种智能设备最大限度理解用户意图,提高机器人性化水平,从而更好地为人类服务.采用文献研究法从语音情感语料库、语音情感特征提取、语音情感模型的构建以及语音情感识别的应用等方面对其研究现状和进展进行了综述;同时,对其未来发展趋势也进行了展望.旨在尽可能全面地对语音情感识别技术进行详细分析,为相关研究人员提供有价值的学术参考.     

Comparative study on the effect of Parameter Mapping Sonification on perceived instabilities,efficiency, and accuracy in real-time interactive exploration of noisy data streams

This paper presents a comparative study on common Parameter Mapping Sonifications (PMSons) designed to reduce the perception of instabilities during the real-time interactive exploration of noisy data streams. The objective of this study is to evaluate the capacity of these PMSons in reducing the perceived fluctuations while preserving both efficiency and accuracy of participants’ estimations during the exploration task. Based on the real application of beacon localization for rescue operations, an abstraction of the task was developed which simulates the basic concepts involved, i.e. the estimation of local maxima during the exploration of a 1D data topography. Three different PMSons were selected, based on pitch, pitch averaged over time, and tempo, evaluated for three different noise levels applied to the data. Subjects explored the auditory graph using a pen tablet to define their auditory viewpoint (i.e. position) on the topography. Evaluations were based on subjects’ ability to quickly appraise the underlying data topography along with aesthetic considerations regarding the impact of noise on the exploration task. Results showed that both tempo and pitch averaged PMSon reduced the perceived instabilities compared to pitch, while tempo preserved the response time of the sonification feedback.     

移动机器人听觉定位技术研究

将声源定位技术应用于机器人,使其具有听觉感知定位能力,这为机器人感知技术的研究提供了新的思路。本文综述智能移动机器人听觉感知技术的研究现状、主要问题及发展趋势,对声音信息的获取、初始声音信息的处理、声源定位、多传感器信息融合等技术进行详细介绍,并对其优缺点进行比较。     

Semantic congruency of auditory warnings

Abstract

The aim of this study was to explore operator experience and performance for semantically congruent and incongruent auditory icons and abstract alarm sounds. It was expected that performance advantages for congruent sounds would be present initially but would reduce over time for both alarm types. Twenty-four participants (12M/12F) were placed into auditory icon or abstract alarm groupings. For each group both congruent and incongruent alarms were used to represent different driving task scenarios. Once sounded, participants were required to respond to each alarm by selecting a corresponding driving scenario. User performance for all sound types improved over time, however even with experience a decrement in speed of response remained for the incongruent iconic sounds and in accuracy of performance for the abstract warning sounds when compared to the congruent auditory icons. Semantic congruency was found to be of more importance for auditory icons than for abstract sounds.

Practitioner Summary: Alarms are used in many operating systems as emergency, alerting, or continuous monitoring signals for instance. This study found that the type and representativeness of an auditory warning will influence operator performance over time. Semantically congruent iconic sounds produced performance advantages over both incongruent iconic sounds and abstract warnings.     

针对可穿戴设备的虚拟鼠标

人类对外界的感知和联系一直是人类活动研究的重点。许多产品和技术都可以结合,如最近非常流行的虚拟现实,就是将虚拟现实和残疾人的健康保障组合在一起。早期的虚拟显示设备都带有传感器,但用这些传感器进行交互对于残疾人来说十分困难。主要原因是当用户使用输入设备（键盘、鼠标、遥控器）控制虚拟现实设备的时候,操作十分复杂,没有外在的帮助,有运动障碍的人无法正常使用。为了解决以上问题,提出了用虚拟鼠标取代传统鼠标,将键盘、鼠标、遥控器的功能三合一,以可穿戴眼镜作为显示的媒介设备,简化交互过程。设计原则是通过使用一个按键,用户就可以与安装在虚拟眼镜上的系统进行交互,同时不需要很大的手指力量和手指活动幅度。我们控制变量的方式设计对比实验来评估该系统。该系统的后期测验证明了提出的系统的有效性和可靠性,而且系统整体设计十分完备。     

Capacitive touchscreen‐integrated electrostatic tactile display with localized sensation

An electrostatic tactile display with a projected capacitive touchscreen integrated into a single panel was demonstrated. Every electrode on the panel is driven for both tactile presentation and the touch sensor. The functions are both time and spatially multiplexed, and a reference–node‐driven high‐pass filter in the touch controller filters out the noise from the tactile driving signals.     

信息触觉表达技术的研究现状与应用

触觉表达是一种新兴的人机交互模式和信息传递方式.首先介绍了触觉表达技术的研究背景,讨论了触觉表达装置的特点和种类,接着分类介绍了国内外触觉表达装置的研究历史和现状,然后分析了当前信息的触觉表达技术研究中存在的问题,最后讨论了触觉表达装置的应用前景和发展趋势.