排序方式: 共有278条查询结果,搜索用时 296 毫秒
1.
Spark Streaming作为主流的开源分布式流分析框架,性能优化是目前的研究热点之一。在Spark Streaming性能优化中,业务场景下的配置参数优化是其性能提升的重要因素。在Spark Streaming系统中,可配置的参数有200多个,对参数调优人员的经验要求较高,未经优化的参数配置会影响流作业执行性能。因此,针对Spark Streaming的参数配置优化问题,提出一种基于深度强化学习的Spark Streaming参数优化方法(DQN-SSPO),将Spark Streaming参数优化配置问题转化为深度强化学习模型训练中的最大回报获得问题,并提出权重状态空间转移方法来增加模型训练获得高反馈奖励的概率。在3种典型的流分析任务上进行实验,结果表明经参数优化后Spark Streaming上的流作业性能在总调度时间上平均缩减27.93%,在总处理时间上平均缩减42%。 相似文献
2.
基于深度学习的语言模型研究进展 总被引:1,自引:0,他引:1
语言模型旨在对语言的内隐知识进行表示,作为自然语言处理的基本问题,一直广受关注.基于深度学习的语言模型是目前自然语言处理领域的研究热点,通过预训练-微调技术展现了内在强大的表示能力,并能够大幅提升下游任务性能.本文围绕语言模型基本原理和不同应用方向,以神经概率语言模型与预训练语言模型作为深度学习与自然语言处理结合的切入点,从语言模型的基本概念和理论出发,介绍了神经概率与预训练模型的应用情况和当前面临的挑战,对现有神经概率、预训练语言模型及方法进行对比和分析.我们又从新型训练任务和改进网络结构两方面对预训练语言模型训练方法进行详细阐述,并对目前预训练模型在规模压缩、知识融合、多模态和跨语言等研究方向进行概述和评价.最后总结语言模型在当前自然语言处理应用中的瓶颈,对未来可能的研究重点做出展望. 相似文献
3.
基于人工免疫算法的增量式用户兴趣挖掘 总被引:1,自引:0,他引:1
了解用户兴趣是为用户提供个性化服务的关键.用户兴趣有短期兴趣和长期兴趣之分,且具有不稳定性.受人工免疫系统的启发,巧妙地将免疫应答过程应用于用户兴趣挖掘.首先将概率与时间相结合,提出“概念时序动态”的概念,以更好地刻画用户在一段时间内对同一兴趣的关注程度;然后基于人工免疫原理,建立抽取兴趣标签的分类器来提取用户兴趣标签;最后针对增量式学习,建立兴趣标签的“概念时序动态”,刻画出用户兴趣自首次出现以来受关注的程度,以此为依据来判断兴趣是否存在迁移及遗忘现象,并为每个兴趣标签附上权重.其主要贡献是创造性地将人工免疫原理应用于用户短期兴趣和长期兴趣的挖掘,并具有增量特性,可以很好地体现用户兴趣迁移特征,是一种自然完整的用户兴趣模型.实验结果表明,该学习模型能够很好地发现用户关注的领域,其平均精度和召回率分别达到79.5%和74.4%,是目前最贴近用户的兴趣挖掘模型. 相似文献
4.
随着我国电子商务的飞速发展,广大中小企业已逐步认识到了应用电子商务的理要性,但由于缺乏必要的理论指导,有的等待观望、坐失良机;有的急于求成,盲目投入,造成资源的极大浪费。在本文从中小企业制定总体战略规划、具体实施电子商务的对策和电子商务的人才战略等方面,详细阐述了中小企业应用电子商务的途径,为中小企业发展电子商务提供了借鉴。 相似文献
5.
船舶检测在军事侦察、海上目标跟踪、海上交通管制等任务中发挥着重要作用。然而,受船舶外形尺度多变和复杂海面背景的影响,在复杂海面上检测多尺度船舶仍然是一个挑战。针对此难题,提出了一种基于多层信息交互融合和注意力机制的 YOLOv4 改进方法。该方法主要通过多层信息交互融合(multi-layer information interactive fusion,MLIF)模块和多注意感受野(multi-attention receptive field,MARF)模块构建一个双向细粒度特征金字塔。其中,MLIF模块用于融合不同尺度的特征,不仅能将深层的高级语义特征串联在一起,而且将较浅层的丰富特征进行重塑;MARF由感受野模块(receptive field block,RFB)与注意力机制模块组成,能有效地强调重要特征并抑制冗余特征。此外,为了进一步评估提出方法的性能,在新加坡海事数据集(Singapore maritime dataset,SMD)上进行了实验。实验结果表明,所提方法能有效地解决复杂海洋环境下多尺度船舶检测的难题,且同时满足了实时需求。 相似文献
6.
地理计算是地理信息科学中重要的高级计算模式,是新一代地理信息系统(Geographic Information System,
GIS)中不可缺少的组成部分。地理计算过程涉及数据处理、空间分析、过程模拟等多个流程,过程繁复且耗时,计算复
杂且运算量大。高性能计算(High Performance Computing, HPC)是解决复杂地理计算问题的有效方法。针对高性能
计算环境中地理计算服务流程并行执行问题,提出一种简洁的地理计算服务流程建模方法和基于多线程的并发流程
处理策略,设计并实现了高性能计算环境下地理计算服务流程执行引擎原型系统,实现了并发条件下地理计算服务流
程的自动执行与负载均衡。通过在真实高性能计算环境中的实验,验证了所提出的方法能够有效解决地理计算服务
流程建模、执行优化问题,具有良好的性能、准确性及应用前景。 相似文献
7.
本文介绍了现有的对影像数据管理和索引的方法及其存在的不足,提出了一种基于非均匀划分思想对分布式影像数据进行管理和索引的方法,避免了由于边缘补零带来的时间和空间开销。实验结果表明,本文方法能够支持对分布式多图幅的联合查询以及结果的无缝拼接,而且其时间和空间代价远小于现有方法。 相似文献
8.
9.
文中采用系列温度冲击试验、动态撕裂(Dynamic Tear, DT)试验和落锤试验研究了10Ni5CrMoV钢错位同步双面双弧焊接接头的抗低温脆断性能.结果表明,10Ni5CrMoV钢双面双弧焊接接头抗脆性转变能力满足服役要求.双面双弧焊接接头的熔合线位置的冲击吸收功满足10Ni5CrMoV钢焊接接头Akv(-50℃)≥47 J的技术指标要求,且余量较大;-1℃时焊接接头动态撕裂能最低值为1 150 J,高于配套焊接材料0℃时DT功大于644 J的要求;落锤试验确定10Ni5CrMoV钢焊缝金属无塑性转变温度(Nil-Ductility Temperature)为-80℃,焊缝的弹性断裂转变温度Fracture Transtiton of Elastic(FTE)为-47℃,全塑性断裂转变温度Farcture Transition Temperature(FTP)为-14℃. 相似文献
10.