视觉传感机理与数据处理进展

传统视觉感知以RGB光学图像和视频图像为主要数据源,借助计算机视觉的发展取得了巨大成功。然而,传统RGB光学成像也存在着光谱、采样速度、测量精度、可工作条件等方面的限制。近年来,视觉感知的新机理和新数据处理技术的迅速发展,为提升感知和认知能力带来了重大机遇;同时,也具有重要的理论价值和重大应用需求。本文围绕激光扫描、水声声呐成像、新体制动态成像、计算成像、位姿感知等研究方向,综述发展现状、前沿动态、热点问题和发展趋势。当前,在视觉传感研究领域,国内研究机构和团队在数据处理和应用方面取得了显著进展。整体上,国内依然要落后于欧美日等先进国家,尤其是在相关硬件的研制方面。最后,给出了发展趋势与展望,以期为相关研究者提供参考。     

计算成像前沿进展

计算成像是融合光学硬件、图像传感器和算法软件于一体的新一代成像技术,突破了传统成像技术信息获取深度(高动态范围、低照度)、广度(光谱、光场、3维)的瓶颈。本文以计算成像的新设计方法、新算法和应用场景为主线,通过综合国内外文献和相关报道来梳理该领域的主要进展。从端到端光学算法联合设计、高动态范围成像、光场成像、光谱成像、无透镜成像、低照度成像、3维成像和计算摄影等研究方向,重点论述计算成像领域的发展现状、前沿动态、热点问题和趋势。端到端光学算法联合设计包括了可微的衍射光学模型、折射光学模型以及基于可微光线追踪的复杂透镜的模型。高动态范围光学成像从原理到光学调制、多次曝光、多传感器融合以及算法等层面阐述不同方法的优点与缺点以及产业应用。光场成像阐述了基于光场的3维重建技术在超分辨、深度估计和3维尺寸测量等方面国内外的研究进展和产业应用,以及光场在粒子测速及3维火焰重构领域的研究进展。光谱成像阐述了当前多通道滤光片,基于深度学习和波长响应曲线求逆问题,以及衍射光栅、多路复用和超表面等优化实现高光谱的获取。无透镜成像包括平面光学元件的设计和优化,以及图像的高质量重建算法。低照度成像包括低照度情况下基于单帧、多帧、闪光灯和新型传感器的图像噪声去除等。3维成像主要包括针对基于主动方法的深度获取的困难的最新的解决方案,这些困难包括强的环境光干扰(如太阳光)、强的非直接光干扰(如凹面的互反射、雾天的散射)等。计算摄影学是计算成像的一个分支学科,从传统摄影学发展而来,更侧重于使用数字计算的方式进行图像拍摄。在光学镜片的物理尺寸、图像质量受限的情况下,如何使用合理的计算资源,绘制出用户最满意的图像是其主要研究和应用方向。     

编码孔径快照光谱成像重构算法综述

光谱图像含有丰富的空间和光谱信息,能够反映目标的组成、结构和材料特性,在航天遥感、医疗诊断和机器视觉等领域具有重要的应用价值.近年来,光谱成像技术作为热点研究领域受到广泛关注.传统光谱成像技术采用沿空间维度或光谱维度扫描的方式,依次获取待测物体表面的光谱信息.由于曝光时间较长,传统光谱成像技术不适用于拍摄动态场景.编码孔径快照光谱成像(Coded Aperture Snapshot Spectral Imaging,CASSI)是光谱成像的前沿技术方案,能够从单次曝光中快速获取动态场景的光谱图像,其包括两个阶段:对高维光谱图像的“编码降维采集”和对低维观测图像的“解码升维重构”.CASSI的早期研究聚焦于“编码降维采集”,通过物理系统设计提升图像编码的有效性,包括编码模板设计和双相机系统设计.目前,CASSI的“编码降维采集”物理系统趋于稳定,其“解码升维重构”决定了光谱成像的质量和效率.本文综述CASSI的重构算法.首先介绍CASSI的物理系统和前向模型,详细描述物理系统的组成元件和硬件参数,推导CASSI前向模型的数学表达;其次梳理CASSI重构的特点和挑战,其挑战主要存在于系统前...     

光学视觉传感器技术研究进展

视觉传感是人类感知外界、认知世界的主要途径，研究表明人类获取的外界信息大约有80%来自于视觉。作为感知外界信息的“电子眼球”，视觉传感器是消费电子、机器视觉、安防监控、科学探测和军事侦察等领域的核心器件。近年来视觉传感器技术发展迅速，不同类型的传感器从不同维度提供丰富的视觉数据，不断增强人类感知与认知能力，视觉传感器研究工作具有重要的理论与应用需求。本报告以典型光学视觉传感器技术为主线，通过综合国内外文献和相关报道，从CCD图像传感器、CMOS图像传感器、智能视觉传感器以及红外图像传感器等研究方向，梳理论述近年来光学视觉传感器技术的发展现状、前沿动态、热点问题和趋势。     

机器学习在术中光学成像技术中的应用研究

术中光学成像技术的兴起为临床手术提供了更加便捷和直观的观察手段。传统的术中光学成像方法包括开放式光学成像和术中腔镜、内镜成像等,这些方法保障了临床手术的顺利进行,同时也促进了微创手术的发展。随后发展起来的术中光学成像技术还有窄带腔镜成像、术中激光共聚焦显微成像和近红外激发荧光成像等。术中光学成像技术可以辅助医生精准定位肿瘤、快速区分良恶性组织和检测微小病灶等,在诸多临床应用领域表现出了较好的应用效果。但术中光学成像技术也存在成像质量受限、缺乏有力的成像分析工具,以及只能成像表浅组织的问题。机器学习的加入,有望突破瓶颈,进一步推动术中光学成像技术的发展。本文针对术中光学成像技术,对机器学习在这一领域的应用研究展开调研,具体包括：机器学习对术中光学成像质量的优化、辅助术中光学成像的智能分析,以及辅助基于术中光学影像的3维建模等内容。本文对机器学习在术中光学成像领域的应用进行总结和分析,特别叙述了深度学习方法在该领域的应用前景,为后续的研究提供更宽泛的思路。     

光声显微成像技术的研究进展

光声成像作为一种兼具高光学对比度和大超声探测深度的新兴成像方法,突破了传统光学成像技术分辨率与成像深度相互制约的壁垒,获得了空前快速的发展,其中,光声显微成像技术继承了光声成像技术的优点,采用声学或光学聚焦的成像模式,可以实现高对比度、高分辨率的生物组织结构、分子与功能成像,在神经学、眼科、血管生物学和皮肤学等研究领域具有潜在应用价值。为此,首先介绍了光声成像技术的原理和分类,然后围绕光声显微成像(Photoacoustic microscopy, PAM)技术这一主题,重点综述了新型PAM技术的发展情况、PAM焦深（Depth of focus, DoF）延拓技术以及PAM的生物医学应用。最后,总结了PAM技术发展存在的挑战,并对未来发展方向进行了展望。     

计算摄像学:核心、方法与应用

针对现有计算机视觉、图形学、信号处理、数字图像处理、应用光学等领域无法通过现有成像模型与装置及计算方法获取足够目标场景信息的难题,计算摄像学研究提出新的成像机制与对应的计算重构方法,在光信号观测领域另辟蹊径,创新性地将视觉信息处理与计算前移至成像过程,从而极大地提高了信息优化计算的自由度,能够在维度、尺度与分辨率上实现质的突破,从而观测到传统成像系统看不清与看不见的场景信息.本文沿着计算摄像学思路、方法与目标三条主线,对国内外研究现状进行分析与综述,期望能够帮助读者更快地了解及进入相关研究.     

2021图像图形学发展年度报告综述专刊序言

近年来,图像图形技术发展势头强劲,理论创新与技术革新层出不穷,应用范围和领域越来越大,正在引领我们进入更加智能的未来。为了更好地促进图像图形学的发展,中国图象图形学学会建立了学科发展报告制度,每年由中国图象图形学学会咨询与评议工作委员会组织相关专业委员会撰写《图像图形学发展年度报告》,系统分析图像图形学各重要研究方向的发展现状、前沿动态、热点问题和发展趋势,为政府决策和项目立项提供参考和咨询,同时也供图像图形领域的科技工作者们快速了解图像图形学领域的研究进展。为了进一步促进我国图像图形技术的发展和应用、更好地服务图像图形领域的科技工作者,将2021年《图像图形学发展年度报告》修改精简后在《中国图象图形学报》上以此专刊发表。 2021年度的《图像图形学发展年度报告》征文得到了学会各专业委员会的热烈响应。各专业委员会积极组织强大的专家团队,精心选题并撰写了图像图形学各重要研究方向的发展年度报告。经过选题评审、报告评审以及学报复审等严格的同行评审,此次《图像图形学发展年度报告》专刊共收录年度报告15篇,包括视觉理解与计算成像相关的年度报告8篇,数据挖掘与信息交互相关的年度报告7篇。 在视觉理解与计算成像方面：《基于深度学习的视觉目标检测技术综述》介绍了深度目标检测在训练和测试过程中的基本流程,系统地总结和分析了基于单目和双目相机的视觉目标检测方法的国内外研究进展,并展望了视觉目标检测技术的发展与演进方向;《面向复杂场景的人物视觉理解技术》围绕人物视觉理解技术、个体行为分析与群体交互理解、情感的识别和合成等核心关键技术,总结了复杂场景下人物视觉理解领域的研究热点、应用场景及国内外相关研究进展,并展望了该领域的前沿技术与发展趋势;《面向智慧交通的图像处理与边缘计算》从智慧交通系统的发展现状入手,分别围绕面向智慧交通的图像处理与边缘计算技术,阐述了其研究热点与前沿进展,总结比较了国内外的相关学术和产业成果,并对智慧交通系统中的图像处理及边缘计算技术未来的发展进行了总结分析与趋势展望;《视觉弱监督学习研究进展》围绕视觉弱监督学习,以物体检测、语义与实例分割和动作识别等为例综述了国内外研究进展,探讨了各种弱监督形式在实际应用中的可行性,并对其发展方向、应用前景和面临的挑战进行了分析;《智能遥感：AI赋能遥感技术》以遥感数据转化过程中对观测对象的整体观测、分析解译与规律挖掘为主线,通过综合国内外文献和相关报道,梳理了该领域在遥感数据精准处理、遥感数据时空处理与分析、遥感目标要素分类识别、遥感数据关联挖掘以及遥感开源数据集和共享平台等方面的研究现状和进展;《脉冲视觉研究进展》从脉冲视觉模型表达视觉信息的生物学基础和物理原理出发,分析了脉冲视觉原理的软件模拟器及其模拟真实世界光子传播的计算过程,描述了基于脉冲视觉原理的高灵敏光电传感器件及芯片的工作机理和结构设计、基于脉冲视觉的影像重建原理以及脉冲视觉信号与普通图像信号融合的计算摄像算法与计算摄像系统,介绍了基于脉冲神经网络的超高速运动目标检测、跟踪与识别,通过对比国际国内相关研究内容和发展现状,展望了脉冲视觉的发展与演进方向;《计算成像前沿进展》以计算成像的新设计方法、新算法和应用场景为主线,从端到端光学算法联合设计、高动态范围成像、光场成像、光谱成像、无透镜成像、低照度成像、三维成像、计算摄影等研究方向,重点阐述了计算成像领域的发展现状、前沿动态、热点问题和趋势;《移动在线实时绘制技术研究综述》以在线实时绘制技术为切入点,探讨了该技术在移动端、Web端、云端、多端协同四类平台下的发展重心和研究现状,并深度阐述了工业级在线云平台的实施方案。 在数据挖掘与信息交互方面：《表格识别技术研究进展》围绕表格的区域检测、表格结构识别和表格内容识别三个表格识别子任务,从传统方法、深度学习方法等方面,综述了该领域的国内外发展历史和最新进展,同时对未来的趋势和技术发展目标进行了展望;《多媒体隐写研究进展》围绕隐写编码、图像隐写、视频隐写、音频隐写、文本隐写五个方面,系统阐述了隐写术的国内外发展现状,总结了现有隐写技术的局限性以及未来的挑战和发展趋势;《大脑多模态成像技术定量研究进展》围绕定量模型建立、定量参数的测量及成像方法、测量中的影响因素、以及相关技术的应用案例,针对性地总结和讨论了面向人脑微观结构和生理功能指标检测目标的定量成像技术发展现状、存在的关键技术问题和未来的可能发展方向;《多模态人机交互综述》系统综述了多模态人机交互的发展现状和新兴方向,深入梳理了大数据可视化交互、基于声场感知的交互、混合现实实物交互、可穿戴交互和人机对话交互的国内外研究进展;《文化遗产活化关键技术研究进展》基于先进的智能计算、数字媒体、虚拟现实/增强现实技术,结合文化遗产的传播过程和艺术特点,分析和综述了文化遗产收集理解、虚实结合智能展示交互、智慧化平台建设等活化关键技术发展现状、前沿动态、热点问题和发展趋势;《情感计算与理解研究发展概述》全面回顾了多模态情感识别、孤独症情感识别、情感图像内容分析以及面部表情识别等不同情感计算与理解方向在过去几十年的研究进展并对未来的发展趋势进行展望;《跨模态脑图谱数据融合研究进展》分别针对脑影像融合和脑数据融合两类具有代表性的跨模态脑图谱融合技术,阐述和对比了国内外研究发展现状、存在的关键技术问题和未来的发展趋势。 本专刊15篇年度报告内容覆盖度广、对国内外研究现状的总结和发展趋势的分析深入全面、编写规范,集中反映了研究团队的交叉性、研究主题的广泛性和研究成果的前沿性。我们期待广大读者和科技人员通过本期《图像图形学发展年度报告》专刊,能够广泛深入地了解当前图像图形研究领域最新的技术和最前沿的应用方向,在今后的研究工作中更全面地把握国际前沿,更明确地有的放矢,为我国图像图形技术的发展做出新的贡献。     

偏振激光雷达对地观测遥感

激光雷达遥感可获取地物的三维结构信息,偏振遥感可实现"强光弱化与弱光强化"的信息增强,两者主被动光学遥感组合为下一代对地观测多维光学遥感新模式的研发提供一条可行的途径。事实上偏振激光雷达这一概念提出较早,但其已开展的应用主要集中在大气监测领域,研究重点侧重于激光后向散射去极化技术等方面,进一步发展到探测大气气溶胶含量及针对相关任务的信息增强技术研发等;但在其他领域,偏振激光雷达的遥感应用极其有限,而理论上偏振激光雷达具有推广到复杂地物遥感的可能性。从其两种组成模式的遥感原理角度出发探讨偏振激光雷达对地观测遥感可能实现的机理基础,并分析了其技术发展的趋势,为后续相关遥感技术的研发及其在农业、环境、海洋、空间探测等不同领域中的应用指出了可能的切入点。     

3D树木建模技术研究进展

3D树木建模一直都是计算机图形学、计算机视觉、虚拟现实等领域最具有挑战性的研究方向之一,国外学者在该领域做了大量研究工作,但3D树木建模综述性文章的缺乏成为其发展的制约因素。侧重从计算机视觉的角度,将当前国内外经典的3D树木建模方法分为基于图像,基于规则和基于草图等三类,并跟踪了最新的3D树木建模技术进展,对他们的成果进行了深入剖析,重点阐述3D树木建模关键技术。最后,分析和比较了几种主要的3D树木建模技术,提出轻量化3D树木建模技术是今后虚拟场景中的交互应用的发展趋势。此外,根据当前研究的难点提出了基于单张图像的轻量化混合建模的研究思路。     

磁共振并行成像技术综述

介绍了常用的磁共振成像加速方法,其中并行成像尤为重要,因为它可以和其他加速方法互补;还介绍了5种常见的并行成像方法:利用局部灵敏度的部分并行成像、灵敏度编码、空间谐波同时获取、泛化自校正部分并行获取、与基于阵列线圈灵敏度的并行编码与复原.最后,讨论了这5种方法的互相联系,以及在工业上的应用,并展望了动态成像和非笛卡尔坐...     

定量磁共振图像的深度学习重建方法进展

磁共振成像是一种应用广泛的无创医学成像方法,因其丰富的软组织对比度可以成像人体几乎所有内部结构,包括器官、骨骼、肌肉和血管,已成为临床医学影像诊断的利器。然而磁共振成像存在两大公认的瓶颈：成像速度慢、扫描操作烦琐。深度学习给磁共振成像带来莫大的契机,给传统磁共振加速成像带来新的可能。鉴于该领域的快速发展性质,本文旨在总结文献中报道的大量深度学习和磁共振图像重建相结合的方法,以更好地了解该领域。本文简单介绍磁共振成像在多通道线圈接收的并行加速和压缩感知加速下的深度学习重建方法,其中单对比度图像可通过多通道接收线圈提供的冗余度用于加速,多对比度图像可额外使用不同对比度图像这一维度用于加速,动态图像与多对比度图像类似可额外使用时间维度用于加速,本文也将介绍深度学习在这些方面的发展。随着磁共振成像近年来由定性多对比度成像向定量多参数成像的发展,其中定量成像的图像中可内含多对比度图像,如何借用深度学习提供的能力将定性多对比度图像映射到参数图也是一个难点,近年来这一方向也获得了较快的发展,文中也将针对这方面内容进行调研并介绍。针对上述内容,分别介绍国际研究现状和国内研究现状,拟更好地总结国内外研究的发展的异同和趋势。最后对深度学习助力定量磁共振成像方面进行了展望。     

在体生物光学成像技术的研究进展

在体生物发光成像和在体荧光成像是近年来新兴的在体生物光学成像技术, 能够无损实时动态监测被标记细胞在活体小动物体内的活动及反应, 在肿瘤检测、基因表达、蛋白质分子检测、药物受体定位、药物筛选和药物疗效评价等方面具有很大的应用潜力. 本文详细介绍了在体生物发光成像和在体荧光成像的特点、系统及应用, 比较了它们的异同, 综述了在体生物光学成像技术的基本原理和应用领域, 讨论了将其应用于临床的进一步发展方向.     

一种高重复频率激发电路下的高速超声内窥成像系统

光学相干层析-血管内超声联合（Optical coherence tomography intravascular ultrasound, OCT-IVUS）成像技术能同时弥补光学相干涉成像的低成像深度与超声成像的低分辨率,能够较为全面地进行血管内的易损斑块识别,但受血管内超声（Intravascular ultrasound, IVUS）技术超声激发重复频率限制,OCT-IVUS成像难以在高帧率成像的同时获得高成像线数,从而影响显示分辨率。为提升IVUS成像速度,同时不降低图像显示的分辨率,尝试应用高重频超声激发技术的方法解决这一难题。本文设计了一种50 kHz的高重频超声激发电路,并在此设计基础上研制了一种50 f/s的高速超声内窥成像系统;进而对系统性能进行测试。激发电路高压脉冲测试以及信噪比（Signal noise ratio, SNR）测试结果表明：激发电路可用于25 MHz超声换能器的激发,具有较高的SNR;应用此激发电路所研制的超声内窥成像系统能够在不降低显示分辨率的前提下提高成像速度,该系统技术能有效检出易损斑块,促进OCT-IVUS的临床应用,对心血管疾病的早期发现、诊断和预防具有一定价值。     

微波强度关联图像辐射性能敏感性分析

微波强度关联成像技术通过发射时空两维随机辐射场,并与接收的目标回波强度数据进行关联以实现超天线孔径限制的微波成像。作为一种新型静止雷达成像技术,其不同模型参数对于重构图像辐射性能影响尚不明确。基于微波强度关联成像模型,通过改变模型参数设置,可以获得观测矩阵和重构图像的辐射特性变化趋势,以此分析不同参数设置下图像的辐射性能。分析结果表明:改进天线阵元数目、带宽等模型参数,能有效提高图像辐射性能,尤其是大场景高分辨率的成像区域;增大天线平台高度和网格长度,图像辐射性能有所降低;对于地物均匀的场景,系统设计要求相对较低。分析结果将有助于改善系统设计参数。     

Extraction of target fluorescence signal from in vivo background signal using image subtraction algorithm

Challenges remain in fluorescence reflectance imaging (FRI) in in vivo experiments, since the target fluorescence signal is often contaminated by the high level of background signal originated from autofluorescence and leakage of excitation light. In this paper, we propose an image subtraction algorithm based on two images acquired using two excitation filters with different spectral regions. One in vivo experiment with a mouse locally injected with fluorescein isothiocyanate (FITC) was conducted to calculate the subtraction coefficient used in our studies and to validate the subtraction result when the exact position of the target fluorescence signal was known. Another in vivo experiment employing a nude mouse implanted with green fluorescent protein (GFP)—expressing colon tumor was conducted to demonstrate the performance of the employed method to extract target fluorescence signal when the exact position of the target fluorescence signal was unknown. The subtraction results show that this image subtraction algorithm can effectively extract the target fluorescence signal and quantitative analysis results demonstrate that the target-to-background ratio (TBR) can be significantly improved by 33.5 times after background signal subtraction.     

光学分子影像关键技术及应用研究

光学分子影像成为近年来医学影像学研究中的新兴热点之一,其以靶向性的分子影像探针为先决条件,以新兴成像模态为发展特色,以多模态分子影像技术为核心内容,以分子影像手术导航为应用出口,在预临床和临床应用方面都取得了突出的进展。在分子影像探针方面,靶向性的光学分子影像探针在疾病的诊断和治疗研究与应用中得到越来越多的关注。契伦科夫成像作为一种新型的光学分子成像模态,可以实现肿瘤的高灵敏早期检测与精准定位。在多模态分子影像方面,以光学为核心有机融合结构与代谢信息的多模态分子成像技术成为医学影像技术发展的前沿,研发实现结构、功能和分子影像数据的同机获取的光学多模态分子影像成像设备,为生物医学领域的研究提供更精细、更全面的生理病理信息。在分子影像手术导航方面,光学分子影像作为一种非入侵式的成像技术,实现手术过程中对肿瘤及病灶组织边界的实时、精准定位,有效的为外科医生提供辅助,从而提高患者的生存率。总之,光学分子影像技术的不断发展,为疾病的精确诊断与个性化治疗提供新的手段。