Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架

跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%～24.0%)和同步效率(训...     

基于多目标贪心策略的增益最大化团队构建算法

研究了满足一定约束条件的协同作业团队的构建。针对传统构建忽略了团队成员在协作过程中个体技能可增加这一因素,提出了团队构建的统一优化目标函数问题,并在综合考虑协同作业任务所需技能集合覆盖约束和团队成员之间交流代价最小化约束的基础上,引入了团队成员增益最大化约束。针对该多目标优化问题,提出了3种基于贪心策略的启发式团队构建算法,即基于最小集合覆盖贪心策略的团队构建算法——贪心集覆盖算法(GSCA)、基于团队增益最大化贪心策略的团队构建算法——贪婪团队增益算法(GTGA)和基于多路径(MR)贪心策略的团队构建算法——MRGTGA。大量实验证明,GSCA较适用于交流代价极高的远程协作环境,MRGTGA较适用于对算法运行效率要求不高、但对整体增益最大化要求极高的场景,GTGA构建的团队整体增益值接近精确解(其值达到暴力枚举算法的96.70%),同时该算法运行效率极高(其计算时间接近GSCA)。     

基于对比学习增强句子语义的事件检测方法

事件检测旨在识别文本中提到的事件及其类型。基于触发词的事件检测方法需要额外的人工成本标注事件触发词。本文从无触发词的文本语义提取出发,提出了一种基于对比学习增强句子语义的事件检测方法。该方法首先在事件检测数据集上通过自监督学习对预训练的语言模型基于转换器的双向编码表示器(BERT)调优,提高语言模型的领域适应性。然后利用掩码(mask)操作和丢弃(dropout)操作构建自监督对比样例,增加监督对比样例,实现了自监督对比和监督对比2种句子语义增强的方法。此外在训练过程中自动调整对比损失和事件分类的交叉熵损失的权重,以降低人工调参的成本,同时提高模型收敛速度。在自动内容抽取(ACE)2005中英文语料上的实验结果表明,本文方法比先前无触发词事件检测方法取得更好的结果,与利用预训练BERT模型微调的事件检测方法相比也具有优势。