数据驱动的大宗物流地图构建: 架构及进展

普通的城市道路地图未能覆盖(超)重卡货车的道路禁限行信息,缺少标注适用于大宗货运的热门停驻区域,无法满足货运司机的大批量长距离公路运输需求.为解决大宗货运交通事故频发、物流效率低下等问题,进一步提升货运司机的出行体验感,亟需结合运输货物类型、货车车型以及司机的线路选择偏好等因素,研究适用于公路大宗货运的定制化物流地图构建方法.随着移动互联网、车联网的普及,大宗货运产生的时空数据迅猛增长,与物流运营数据等一起构成物流大数据,为构建物流地图提供了数据基础.在梳理地图构建技术的基础上,针对现有电子地图构建方法在大宗货运领域的局限性,利用多源物流数据提出了一个数据驱动的物流地图构建框架,主要研究内容包括:(1)基于用户先验知识的多约束物流地图构建;(2)动态时空数据驱动的物流地图增量更新.物流地图将成为大宗货运发展新一代物流科技的AI基础设施.研究成果为物流地图构建的技术创新提供了丰富的实践内容,也为促进大宗物流降本增效提供了新的解决思路,具有重要的理论意义和应用价值.     

数据管理系统评测基准:从传统数据库到新兴大数据

大数据时代的到来意味着新技术、新系统和新产品的出现.如何客观地比较和评价不同系统之间的优劣自然成为一个热门研究课题,这种情形与三十多年前数据库系统蓬勃发展时期甚为相似.众所周知,在数据库系统取得辉煌成就的发展道路上,基准评测研究一直扮演着重要角色,极大推进了数据库技术和系统的长足发展.数据管理系统评测基准是指一套可用于评测、比较不同数据库系统性能的规范,以客观、全面反映具有类似功能的数据库系统之间的性能差距,从而推动技术进步、引导行业健康发展.数据管理系统评测基准与应用息息相关:应用发展产生新的数据管理需求,继而引发数据管理技术革新,再催生多个数据管理系统/平台,进而产生新的数据管理系统评测基准.数据管理系统评测基准种类多样,不仅包括面向关系型数据的基准评测,还包括面向半结构化数据、对象数据、流数据、空间数据等非关系型数据的评测基准.在当今新的数据系统发展中,面向大数据管理系统的评测基准的研究热潮也如期而至.大数据评测基准研究与应用密切相关.总体而言,尽管已有的数据管理系统评测基准未能充分体现大数据的特征,但是从方法学层面而言,三十多年来数据管理系统评测基准的发展经验是开展大数据系统研发最值得借鉴和参考的,这也是该文的主要动机.该文系统地回顾了数据管理系统评测基准的发展历程,分析了取得的成就,并展望了未来的发展方向.     

集群数据库系统的日志复制和故障恢复

互联网、社交、购物、金融等各类应用直接面临海量用户的高并发访问,传统的单点数据库逐渐成为这些应用系统的瓶颈,而众多互联网应用能够良好运行的主要原因是使用了基于集群环境的数据管理系统作支撑。与传统数据库系统相比,基于集群环境的数据库系统具有更好的扩展性和可用性,而日志复制是保证这些特性的核心组件。传统的主备架构的日志复制在异常情况下对未决事务日志处理不佳,导致数据副本之间存在不一致的风险,另外,分布式系统领域的一致性算法缺乏对事务一致性的处理,而且在选主时存在活锁、多主和频繁选主的问题,无法直接适用于事务日志复制。本文提出了一种集群环境下的事务日志复制策略和恢复机制,能够有效处理未提交日志,提供了强弱两种读一致性,并且提出了一种轻量级的选主算法,可以避免以上的选主问题。本文在开源OceanBase分布式数据库系统中实现了上述机制,并使用基准测试工具对系统进行测试,通过一系列实验验证了系统的扩展性和可用性。     

面向微博系统的实时个性化推荐

社交网络服务需要响应用户实时、连续、个性化的服务需求.然而,目前多数社交网络服务并未充分考虑用户的个性化服务需求.由于社交网络中海量的数据更新使得提供实时个性化服务成为一项相对艰巨的任务.文中基于LDA主题模型推断微博的主题分布和用户的兴趣取向,提出了微博系统上用户感兴趣微博的实时推荐方法,以响应用户实时、连续和个性化的服务请求,在真实数据集上的实验结果验证了文中提出的方法的有效性和高效性.     

支持深度学习的视觉数据库管理系统研究进展

计算机视觉因其强大的学习能力,在各种真实场景中得到了广泛应用.随着数据库的发展,利用数据库中成熟的数据管理技术来处理视觉分析应用,已成为一种日益增长的研究趋势.图像、视频和文本等多模态数据的相互融合处理,也促进了视觉分析应用的多样性和准确性.近年来,因深度学习的兴起,支持深度学习的视觉分析应用开始受到广泛关注.然而,传统的数据库管理技术在深度学习场景下面临着复杂视觉分析语义难以表达、应用执行效率低等问题.因此,支持深度学习的视觉数据库管理系统得到了广泛关注.综述了目前视觉数据库管理系统的研究进展:首先,总结了视觉数据库管理系统在不同层面上面临的挑战,包括编程接口、查询优化、执行调度和数据存储;其次,分别探讨了上述4个层面上的相关技术;最后,对视觉数据库管理系统未来的研究方向进行了展望.     

面向大数据分析的分布式矩阵计算系统研究进展

在大数据治理应用中,数据分析是必不可少的一环,且具有耗时长、计算资源需求大的特点,因此,优化其执行效率至关重要.早期由于数据规模不大,数据分析师可以利用传统的矩阵计算工具执行分析算法,然而随着数据量的爆炸式增长,诸如MATLAB等传统工具已无法满足应用需求的执行效率,进而涌现出了一批面向大数据分析的分布式矩阵计算系统.从技术、系统等角度综述了分布式矩阵计算系统的研究进展.首先,从发展成熟的数据管理领域的视角出发,剖析分布式矩阵计算系统在编程接口、编译优化、执行引擎、数据存储这4个层面面临的挑战;其次,分别就这4个层面展开,探讨、总结相关技术;最后,总体分析了典型的分布式矩阵计算系统,并展望了未来研究的发展方向.     

基于活跃用户特征的论坛广告投放

网络论坛用户众多,广告投放市场大,而目前针对网络论坛的个性化广告却很少,这是因为论坛数据庞杂,信息更新快,实现广告的精准投放有困难.提出了一个基于活跃用户特征词分析的论坛广告个性化投放模型,在模型中提取论坛活跃用户,对活跃用户偏向性进行分析,从而以活跃用户为载体进行个性化广告投放.最后将这一模型在一热门论坛数据上进行了实验,实验结果表明该模型能实现论坛广告的个性化投放.     

基于最窄平行四边形的数据流突变检测算法

数据流上的突变检测在网络流量监测、金融风险分析、传感器网络等领域都有着十分广泛的应用.传统的突变检测算法只能对流上的聚集函数值进行检测,这在实际应用中往往不能满足用户的需求.提出了一种新颖的数据流上的突变检测算法,即最窄平行四边形法.该方法用一系列很窄的平行四边形来表示流上具有相同趋势的点,并保证每个点的误差不超过平行四边形宽度的一半.于是,对等距到达的数据,便可根据所得的平行四边形还原其中的每一个点,从而实现基于任意类型函数的突变检测.此外,对最窄平行四边形算法作了改进,使其时间复杂度降为O(h),其中h为平行四边形内凸包的顶点个数.最后,通过在两个真实数据集上的实验,以及与现有突变检测算法的比较,验证了最窄平行四边形算法在时间和空间上的高效性.