大型语言模型：原理、实现与发展

近年来,大型语言模型的出现和发展对自然语言处理和人工智能领域产生了变革性影响.随着不断增大模型参数量和训练数据量,语言模型的文本建模困惑度以可预测的形式降低,在各类自然语言处理任务上的表现也持续提升.因此,增加语言模型的参数和数据规模成为提升系统智能水平富有前景的途径.首先回顾了大型语言模型的基本定义,从模型表现和算力需求的角度给出了“大型”语言模型的界定标准.其次,从数据、算法、模型3个维度梳理了大型语言模型的发展历程及规律,展示了不同阶段各个维度的规模化如何推动语言模型的发展.接着,考察了大型语言模型所表现出的涌现能力,介绍了思维链、情景学习和指令遵循等关键涌现能力的相关研究和应用现状.最后,展望了大型语言模型的未来发展和技术挑战.     

基于启发式搜索与预标注的中文CCG句法分析

针对中文组合范畴语法(CCG)分析困难的特点,研究如何将两种彼此相互独立的技术共同应用在中文CCG句法分析上。首先使用预标注算法,使用对数线性模型通过去除那些概率较低的词汇范畴来对句子的潜在分析空间进行剪枝。然后应用启发式搜索算法进一步加速分析过程。最后从时间效率和分析精度两个维度对所使用的方法进行验证。实验表明,基于启发式搜索与预标注的句法分析算法可以显著地提高分析效率与分析精度。     

基于短语检索和答案排序的列表问题回答方法

文章针对列表类自动问题回答的任务要求,提出了一种基于短语检索和答案距离排序模型的列表类问题回答的方法。该短语检索模型在传统的TF/IDF检索模型上进行改进,提出了利用不同长度短语作为查询词的检索方法,能够返回更多包含正确答案的相关文档;答案的距离排序模型则利用答案与上下文词之间的距离作为排序的依据对答案列表进行排序,可以提高正确答案的排名。这两种模型地提出在一定程度上解决了如何在返回尽可能多的答案的同时保证答案质量的问题。实验结果表明利用这两种模型的列表类问题回答方法对系统的性能有显著提高。     

一种适用于大规模网页分类的快速算法

网页分类中存在类别多、训练样本少等问题,一般分类器训练应用效果不佳。为了解决这个问题,提出基于类中心的统计学习方法。在较少人工标注网页的训练集情况下,此方法能取得很好的分类性能并且大幅度加快训练时间,并可以通过加入网页层次目录信息提升推理速度。在第一届LSHTC评测数据集上进行实验,结果表明:基于类中心的统计学习方法拥有较快的训练以及推理速度,并且在正确率上有很强的竞争力。     

改进的AdaBoost分类器在视频中的体育场景检测

提出了一种使用改进的AdaBoost分类器来检测体育场景的方法。将电视新闻中的体育场景分为三类：草地运动，冰雪运动和人造场地运动。针对这几种不同的体育场景，提取颜色直方图、边缘方向直方图和共生矩阵纹理等3种低层视觉特征，然后用改进的可自动选择特征的boosting方法为每一类体育场景分别建立AdaBoost分类器。该文提出的方法应用在国际视频处理评测TRECVID2003中的“体育场景”语义特征抽取任务上，取得了很好的效果。     

基于不确定片段的检索增强命名实体识别框架

在中文命名实体识别领域,过去的工作侧重于通过外部词典来引入边界信息,从而在推理过程中能够处理未登录词。然而,现有方法使用基于统计的分词工具自动生成词典,分词质量较低,错误的分词结果为推理过程引入较多噪声,且更新词典意味着重新训练模型,代价高昂,这为使用通用文本知识提供了动机。该文提出了基于不确定片段的检索增强命名实体识别框架。该框架识别输入文本中模型不确定程度最高的实体级别文本片段,并基于不确定文本片段从外部知识库中进行检索,从而有效地获得相关的知识文本以消除输入样本的歧义。此外,该文提出知识融合模型,结合检索到的知识文本对不确定的样本进行推理。该文在四个公开基准数据集中进行实验,结果表明,该框架显著提高模型性能,F₁值较基准模型平均提高1.21%。     

利用基于图互增理论的自举算法学习语义辞典

This paper presents a method to learn semantic lexicons using a new bootstrapping method based on graph mutual reinforcement (GMR). The approach uses only unlabeled data and a few seed words to learn new words for each semantic category. Different from other bootstrapping methods, we use GMR-based bootstrapping to sort the candidate words and patterns. Experimental results show that the GMR-based bootstrapping approach outperforms the existing algorithms both in in-domain data and out-domain data. Furthermore, it shows that the result depends on not only the size of the corpus but also the quality.     

一种基于LAB色空间拓扑剖分影射的颜色恒常性模型

 本文针对人体肤色和黏膜颜色特点,建立一种室内自然光条件下的医学真彩图像采集分析的颜色恒常性模型.在LAB均匀色度空间中,对一维L*空间进行线性影射,二维a*b*空间进行三角剖分影射和还原,建立了一种拓扑剖分影射TRM模型.通过对SG色标中13个肤色色标进行的校正还原,结果显示,TRM模型还原的颜色色差明显减小,离散度小,性能稳定.     

基于动态批量评估的绿色无梯度优化方法研究

在基于语言模型即服务的提示词黑盒微调、机器学习模型超参数调节等优化任务中,由于解空间到性能指标之间的映射关系复杂多变,难以显式地构建目标函数,故常采用无梯度优化方法来实现寻优.解的准确、稳定评估是有效实施无梯度优化方法的关键,完成一次解的质量评估常要求在整个数据集上完整运行一次模型,且优化过程有时需要大量评估解的质量,随着机器学习模型复杂度以及训练样本量的不断增加,准确、稳定的解的质量评估时间成本与计算代价越来越高昂,这与绿色低碳机器学习与优化理念背道而驰.有鉴于此,本文提出了一种基于动态批量评估的绿色无梯度优化方法框架(Green Derivative-free Optimization with Dynamic Batch Evaluation,GRACE),基于训练子集的相似性,在优化过程中自适应动态调节评估解时使用的样本量,使得GRACE在保证优化性能的同时,降低优化成本与代价,达到绿色低碳高效的目标.本文在语言模型即服务提示词黑盒微调、模型超参数优化等实际任务上进行了实验验证,通过与一系列对比方法以及GRACE消融退化版算法进行比较分析,表明了GRACE的有效性、高效性、绿色低碳性.超参数分析结果表明了其具备超参数稳健性.     

Diameter协议研究

1引言Radius (Remote Access Dial In User Services) 协议已经被成功而广泛地应用在拨号PPP/IP网络中,用以提供鉴别、授权和计费AAA(Authentication Authorization and Accounting)服务。