基于层次语义的URL排序方法研究

为了提高主题爬取的采集性能,提出了基于层次语义的URL排序算法.主题爬取过程中引入了层次语义的启发信息,采用层次语义组合排序度量进行URL排序,并对层次语义引导主题爬取的采集率性能进行实验研究.实验表明,采用基于层次语义的URL排序方法,爬取过程中由初始URL链接能快速导向某目标主题集的Web文档.同时,当目标主题集的邻近区域没有相关的页面时,逐步放宽主题范围,在较宽的主题区域中爬取,能较快地导向其它不相邻的主题区域.     

规则与统计相结合的分词一致性检验

建设高质量的大规模语料库是中文信息处理领域的基础性工程,保证语料库分词结果的一致性是衡量语料库分词质量的重要标准之一.在分析了大量的语料库切分不一致现象后,提出了规则与统计相结合的分词一致性检验的新方法.与以往单一的处理方法相比,该方法更具针对性的对语料库中存在的各种不同的分词不一致现象分别进行处理,能够更加有效的解决分词不一致问题,进一步保证语料库的质量.     

面向信息处理的藏文分词规范研究

自动分词是藏文信息处理领域的一项基础课题,也是智能化藏文信息处理的关键所在。 在藏文信息处理“字词处理”层面上,需要解决词的切分问题,而词类划分的标准和词的正确切分是进行藏文文本处理的必要条件。为了便于计算机对自动分词、词性标注的辨认,该文首先要确定满足藏文信息处理中词类的需求,并根据藏文自身的词汇特点与构词规律,提出了较为系统、适用的分词规范。     

中文文本分类中的特征词抽取方法

针对目前各类主流的中文文本特征词抽取方法中只关心词频信息却不关注特征的位置这一现象,给出了位置权重的概念,对以往提出的无词典分词算法进行了适当的修改,并在此基础上提出将信息增益、卡方统计和互信息这3种常用的特征选择方法有机的结合起来,构成新的特征选择方法.这种新方法综合考虑了特征的各类信息,从而更加准确地选取文本中的有效特征词,并且试验结果也验证了这种改进算法的可行性和有效性.     

面向主题的元搜索引擎

介绍了一种基于神经网络的面向主题的元搜索引擎.它使用神经网络对检索结果进行优化排序,它先对返回结果进行中文分词,在充分挖掘其语义信息的基础上,利用CC4神经网络对网页的相关性进行判断,对返回结果重新排序,很好地解决了综合性搜索引擎中普遍存在搜索结果不准确、信息滞后等问题.实验结果表明,该方法时结果进行了最优化排序,实际执行性能较好.     

迅雷无法重复下载

最近我不小心把迅雷下载目录中的一些文件给误删了,打算用原来的下载链接重新下载,却提示URL重复,并拒绝下载。这是怎么回事昵？     

编读往来

Q 如何在不部署特定的软件的前提下,阻止Microsoft Internet Explorer（IE）用户访问某些网站？ A 你可以利用IE自带的Content Advisor（内容审查程序）功能来阻止用户访问某些站点。内容审查程序提供了一种比较有意思的方法,利用它就可以不需要去研究第三方的URL阻止方案了,     

用于文本校对的分词与词性标注一体化算法

分词和词性标注是中文处理中的一项基本步骤,其性能的好坏很大程度上影响了中文处理的效果。传统上人们使用基于词典的机械分词法,但是,在文本校对处理中的文本错误会恶化这种方法的结果,使之后的查错和纠错就建立在一个不正确的基础上。文中试探着寻找一种适用于文本校对处理的分词和词性标注算法。提出了全切分和一体化标注的思想。试验证明,该算法除了具有较高的正确率和召回率之外,还能够很好地抑制文本错误给分词和词性标注带来的影响。     

基于图注意力网络字词融合的中文命名实体识别

命名实体识别指识别文本中具有特定意义的实体,是自然语言处理诸多下游任务的重要基石。在命名实体识别任务中,协同图网络（CGN）模型通过引入多个图注意力网络获得较强的知识整合能力及较高的处理速度,但CGN模型在嵌入层中没有充分利用词边界信息,且采用的传统静态图注意力网络影响了图注意力的表达能力。在对CGN模型的图注意力网络进行改进的基础上,提出一种中文命名实体识别新模型,在嵌入层融入词语的分词信息,以生成包含词边界信息的字向量,从而充分利用词边界信息。通过在编码层使用BiLSTM模型获取文本的上下文信息,采用改进后的图注意力网络提取文本特征,并通过优化传统图注意力网络中相关系数的计算方式,增强模型的特征提取能力。最后,利用条件随机场对文本进行解码,从而实现对实体的标注。实验结果表明,该模型相比CGN模型在MSRA、OntoNotes4.0、Weibo数据集上的F1值分别提升了0.67%、3.16%、0.16%,验证了其在中文命名实体识别任务上的有效性。     

跨站脚本攻击模式研究

文章对将包含XSS攻击代码的HTTP URLs单词集合分为两部分。按一定粒度分词,运用Apriori算法挖掘攻击模式字符串频繁项集,并在此基础上运用类似Apriori算法思想的PrioriMerge子串合并算法得到攻击模式并统计其频率,实验结果表明算法能有效地挖掘出XSS攻击模式。