基于科技文本的在线机器翻译错误分析

科技英语文本包含政府文件、产品说明书、科学专著、科学报道、科技文献、技术文本等各类文本。本论文根据科技英语文本的普遍特点,对谷歌、百度和有道三款翻译软件进行错误分析,归纳总结出机器翻译在翻译科技英语文本时普遍存在的三方面问题,希望对科技英语文本的机器翻译工作有所帮助。     

基于LDA的英汉维文本聚类系统的设计与实现

以英汉维三种大规模文本聚类为目标,针对三种语言的特点实现基于LDA模型的静态文本聚类系统。因为存在博客、微博等网络媒体的文本不太规范及涉及的话题范围广泛等现象,对文本特征的提取及聚类算法的选择带来一定的难度。通过对样本文本的分析,计算出适当的聚类数k,再调用LDA算法将文本聚为k类并给出每类文本的关键词。测试结果表明,该系统能将英汉维三种语言的文本相似度高的聚为一类,可显著提高聚类效果。     

基于门控联合池化自编码器的通用性文本表征

为了学习文本的语义表征,以往的研究者主要依赖于复杂的循环神经网络(recurrent neural networks, RNNs)和监督式学习方法。该文提出了一种门控联合池化自编码器(gated mean-max AAE)用于学习中英文的文本语义表征。该文的自编码器完全通过多头自注意力机制(multi-head self-attention mechanism)来构建编码器和解码器网络。在编码阶段,提出了均值—最大化(mean-max)联合表征策略,即同时运用平均池化(mean pooling)和最大池化(max pooling)操作来捕获输入文本中多样性的语义信息。为促使联合池化表征可以全面地指导重构过程,解码器采用门控操作进行动态关注。通过在大规模中英文未标注语料上训练模型,获得了高质量的句子编码器。在重构文本段落的实验中,该文模型在实验效果和计算效率上均超越了传统的RNNs模型。将公开训练好的文本编码器,使其可以方便地运用于后续的研究。     

面向智能客服的句子相似度计算方法

针对金融领域中智能客服的句子相似度计算方法进行了研究。利用基于词性的分词纠正模型减少中文歧义词、金融相关词汇的分词错误；通过词向量方法和循环神经网络分别提取词语级和句子级的语义特征，并且得到句子向量；用融合层计算出句子向量间的差异特征；对差异特征进行降维和归一化得到句子相似度计算结果。实验结果表明，该方法具有较高的准确率和[F1]值。     

基于图元识别的OCR文本图像矫正算法分析

受数字化变革的影响,无纸化逐渐成为办公自动化的显著标志,但在纸质文件通过扫描或者拍照转换为OCR文本图像的过程中,文本图片经常不可避免地会产生一定的倾斜,基于此,该文简要分析了OCR文本图像的倾斜矫正方法,并详细论述了基于投影图改进的OCR文本图像倾斜矫正快速算法,希望论述内容能够为相关业内人士带来一定启发。     

网络舆情监测的数据采集与文本分类技术分析

在这个信息爆炸的网络时代,基于网络与社会舆论而诞生的网络舆情,成为社会、国家关注的研究重点之一,构建互联网时代的舆情监控体系成了当前信息化时代的迫切需求。文章从网络舆情分析与监管的意义入手,介绍了国内外关于网络舆情监测的研究,围绕舆情采集、数据预处理、文本分类技术大致介绍了网络舆情研究的关键技术与步骤。     

如何使用NLP高效解析语言文字

本文通过对文本分类和QA系统进行预处理,分别构建双向长短期记忆自注意力网络分类模型、Transformer分类模型和基于BERT的微调分类模型,进行模型的训练。实验结果表明,基于BERT的微调分类模型具有结构简单,训练参数较少,训练速度快等特点,并且拥有较高的准确率。