基于Hadoop平台的C4.5算法的分析与研究

如何能从海量数据中以更快速、高效、低成本的方式挖掘出有价值的信息成为如今数据挖掘技术面临的新课题。文中在研究Hadoop平台的特征和决策树的C4.5算法的过程中,决定在决策树算法领域中引入云计算思维,实现其在Ha-doop平台上的并行化,并且采用MapReduce模型来解决海量数据挖掘问题。最后用打高尔夫球的数据集对新的算法进行验证。实验结果表明对海量数据,基于Hadoop平台的决策树算法可以明显提高数据挖掘的效率,具有可观的高效性和可扩展性,在一定程度上解决了C4.5算法在处理海量数据时计算量大、构建决策树时间长的问题。     

基于抗噪声邻域粗糙集的在线流特征选择算法

在开放动态环境当中，特征是动态生成的，特征在不同时间戳内流入特征空间称为流特征.然而，在一些基于传统的邻域粗糙集流特征选择算法中，噪声点会对特征的依赖度计算造成影响.基于此，本文提出了基于抗噪声邻域粗糙集的在线流特征选择算法.首先，充分考虑噪声点的影响，定义一种抗噪声的邻域关系，并设计基于抗噪声邻域的依赖度计算公式.进一步，考虑到特征对不同类别所提供的信息不同，结合类别正域，提出了一种新的在线相关性分析方法和冗余分析方法.在8个数据集上的实验研究表明，所提算法得到的特征子集优于一些在线流特征选择算法.     

基于模糊C均值聚类的环境感知推荐算法

针对现有环境感知推荐算法存在的不足,提出一种基于模糊C均值聚类的环境感知推荐算法.首先采用模糊C均值聚类算法对历史环境信息进行聚类,产生聚类及隶属矩阵;然后匹配活动用户环境信息与历史环境信息聚类,采用聚类隶属度作为映射系数将符合条件的非隶属数据映射为隶属数据,最终选择与活动环境匹配的隶属用户评分数据为用户产生推荐.同现有算法相比,该算法不仅解决了因用户环境改变不能准确推荐项目的问题,而且通过采用模糊聚类算法克服了传统硬聚类问题,并且借助于隶属映射函数解决了聚类产生的数据稀疏性问题.在MovieLens数据集上比较了新算法和其他算法的性能,验证了所提算法的有效性.     

电子租房合同的设计与实现

随着网络的发展,越来越多的租客更加趋向于从各种租房网站上获取房源信息,而越来越多的房东也开始在租房网站上发布自己的房源信息以方便地招揽更多的租客。然而,现有的手机租房软件仅仅只能满足房东和房客在线上相互交流自己的信息,而对于关键的租房合同部分,仍旧采取传统的线下方式。本文基于JAVA语言开发了电子合同,并成功移植到Android平台上,从创建合同、编辑合同、签订合同、撤回合同、下载合同到删除合同可以全部在手机平台上完成,为互联网租房市场带来了方便,具有一定的意义和价值。     

SiamBM:实现更佳匹配的Siamese目标跟踪网络

基于孪生网络的目标跟踪算法通常采用简单的互相关匹配方式，然而这种简单的匹配方式会引入大量无关信息，弱化目标区域的响应。基于无锚框的孪生跟踪网络虽然避免了锚框参数的调整，但由于失去了先验性信息，并不能很好地适应目标物的尺度变化。因此，针对上述所存在的问题，本文提出了一种基于孪生网络的目标跟踪匹配增强算法SiamBM。通过将目标的边界框坐标信息进行编码，为跟踪模型提供有效的指导信息；采用深度可分离互相关级联像素匹配互相关的方式，进一步提高跟踪模型的判别能力；采用多尺度互相关的方式，增强跟踪模型的尺度适应能力。在OTB100数据集上，SiamBM的成功率和精确率分别达到了0.684和0.906，相比基准模型分别提高了5.2%和4.2%。实验结果表明，与目前主流的跟踪器相比，SiamBM取得了相当有竞争力的结果，在各项数据集指标上取得了优越的性能。     

基于深度像素级特征的孪生网络目标跟踪方法

目标尺度变化和低分辨率的复杂场景往往会影响目标跟踪算法的性能进而导致跟踪精度下降。本文针对此问题，提出了一种基于深度像素级特征的孪生网络目标跟踪方法。引入像素级特征融合方法对目标模板和搜索区域的多层特征进行融合、设计基于残差网络和拓扑结构的特征深层提取模块、依据判据筛选历史信息得到合适模板特征进行模板更新。实验结果表明，本文改进算法在VOT2018数据集上比基础算法的EAO值提升了5.31%，准确率提升了0.83%，鲁棒性提升了3.85%；在OTB100数据集上，本文算法精确率为91.4%，成功率为71.7%，与基础算法相比，精确率提升了3.28%，成功率提升了5.13%。     

距离修正的模糊C均值聚类算法

经典的模糊C均值算法基于欧氏距离,存在等划分趋势的缺陷,分错率较高,只适用于球形结构的聚类。针对这一问题,利用数据的点密度信息,在数据点与聚类中心的距离度量中引入了调节因子,提出了一种基于密度的距离修正矩阵,并用其代替经典模糊C均值算法中的距离度量矩阵。通过人造数据集和UCI数据集的两组聚类实验,证实了改进算法对非球形结构的数据同样适用,且相比经典的模糊C均值算法具有更高的聚类准确率。     

基于聚类匹配的移动机器人地图实时创建算法

提出了一种基于模式识别聚类思想的数据点集匹配算法.该匹配算法具有传统迭代匹配算法和非迭代匹配算法的优点,匹配速度快,精度高.结合上述匹配算法,给出了一种基于激光测距仪的移动机器人环境地图实时创建方法.该方法使用从环境数据中提取出的特征点来完成两组激光数据点集的匹配,进而完成环境地图的创建.利用本实验室自主研发的救援机器人平台对该算法进行了验证,实验结果表明,该算法能够完成室内环境下移动机器人实时准确有效的环境地图创建.     

多种相似性测度结合的局部立体匹配算法

针对立体匹配中匹配代价和支持窗口难以选择的问题,提出一种将多种相似性测度相结合的局部立体匹配算法.首先,构造匹配代价,结合图像的Census变换、WLD(Weber局部描述符)特征、图像色彩信息以及图像梯度信息作为匹配代价;然后,使用引导滤波器对匹配代价进行聚合;最后,针对WTA(赢者全取)策略引入的视差选择歧义问题和左右一致性检测(LRC)引入的水平条纹问题,提出了一种基于可信度和加权滤波的视差修正算法.利用Middlebury测试平台提供的标准测试图像对本文算法进行测试,其平均错误匹配率为5.30%,与Fast Bilateral算法等一些公认的性能优异算法相比,本文算法提高了匹配准确率.     

基于自适应变结构信息滤波的目标跟踪算法

目前目标跟踪算法采用的交互多模型,大多是通过固定模型之间的切换来完成目标跟踪,这容易出现模型集与目标真实运动不匹配问题,降低目标跟踪的精度。同时,现在大部分观测平台都能提供多传感器量测,这要求跟踪算法能对不同量测信息进行高效数据融合。针对上述问题,提出一种基于自适应变结构多模型和信息滤波的跟踪算法,它由少量模型构成模型集,通过在线更新模型集参数以自适应目标真实运动,采用无迹卡尔曼信息滤波融合多传感器量测信息,实现对目标的跟踪。仿真结果表明,该算法可以有效融合多传感器量测信息,自适应匹配目标真实运动,实现对目标稳定的高精度跟踪。     

网络信息搜索匹配算法研究与仿真

研究网络信息搜索问题,提高搜索匹配的准确率。当前网络资源中,信息资源种类繁多,数量巨大,拥有相似特征的信息资源很多,传统的针对资源特征匹配的算法,很难在巨大数量的拥有众多相似特征的网络资源信息中,准确找到需要匹配的资源信息,信息匹配的准确性不高。为了解决这一问题,提出了一种基于语义距离的服务相似度信息匹配方法,首先将数据集用本体语言描述出来,然后对所定义的信息量、本体中的连接路径进行形式化定义,确定两个概念之间的语义距离,进而进行匹配。实验表明,新算法是能够实现海量数据之间匹配的最佳信息搜索方案,摆脱传统方法对于特征的依赖。大幅提高了匹配的准确度,取得了不错的效果。     

社交网络中基于IAUE模型的锚链识别

社交网络中的锚链识别对于跨网络信息传播、跨平台推荐、社交链预测等具有重要意义.针对当前锚链识别研究中准确率低的问题,提出了一种有效提高锚链识别准确率的方法：IAUE模型.该模型首先利用网络结构信息进行网络表征学习,然后利用BP神经网络、随机梯度下降和负采样等方法得到异构网络节点间的锚链候选集,最后辅以G-S算法精化锚链匹配结果,提高异构网络对齐的准确率.多个数据集上的实验结果表明,IAUE方法相比其他方法具有较高的性能和很好的泛化能力,可以较为准确地识别网络中的锚链.     

一种高效的跨平台工作流优化方法

为了应对复杂的数据分析任务,研究人员设计开发出结合多个平台的跨平台数据处理系统。系统跨平台工作流中算子的平台选择对于系统性能至关重要,因为算子在不同平台上的实现会产生性能间的显著差异。目前多使用基于成本的优化方法来实现跨平台工作流的平台选择,但现有的成本模型由于无法挖掘跨平台工作流的潜在信息而导致成本估计不准确。提出一种高效的跨平台工作流优化方法,采用GGFN模型作为成本模型,以算子特征和工作流特征作为模型输入,利用图注意力机制捕捉有向无环图型跨平台工作流的结构信息和算子邻居节点信息,同时结合门控循环单元记忆算子的运行时序信息,从而实现准确的成本估计。在此基础上,根据跨平台工作流的特点设计算子实现平台的枚举算法,利用基于GGFN的成本模型和延迟贪婪剪枝方法进行枚举操作,为每个算子选择合适的实现平台。实验结果表明,该方法可以将跨平台工作流的执行性能提升3倍,运行时间缩短60%以上。     

基于动态阈值的时空众包在线分配算法

为提升时空众包动态现实场景中任务分配总效用,提出一种基于在线随机森林的动态阈值算法（DTRF）。首先,根据众包平台中工人和任务的历史匹配数据初始化在线随机森林;然后,通过在线随机森林预测每位工人期望的任务回报率作为阈值,按阈值为每个工人选取候选匹配集;最后,从候选匹配集中选取当前效用总和最高的匹配,同时用分配结果更新在线随机森林。实验结果表明,所提算法在提升总效用的同时有效地提高了工人的平均收益。与贪心算法相比,所提算法的任务分配率提升了4.1%,总效用提升了18.2%,工人平均收益提升了11.2%。与随机阈值算法相比,所提算法在任务分配率、总效用、工人平均收益等方面都有较好的提升,且稳定性更好。     

基于竞价的租赁车辆资源分配和定价机制

针对目前线上汽车租赁平台使用固定价格的方式来租赁车辆给用户,存在着租赁车辆分配不合理、定价不能及时反映真实的市场供需情况、整体社会福利较低等问题,提出一种基于竞价的租赁车辆分配与定价机制。首先,研究了线上汽车租赁问题模型,抽象出数学模型与社会福利最大目标函数;然后,在租赁车辆分配算法中采用基于最小费用最大流算法的最优化车辆资源分配算法;最后,在价格支付算法中采用了可信的VCG价格算法,计算出用户最终的支付价格。对比传统的先来先服务算法,基于竞价的租赁车辆分配与定价机制在订单成功率方面提升了20%~30%,在平台收益方面增加了30%左右。实验结果表明,所提出的机制具有车辆分配最优化、弹性价格的优势。     

打字比赛系统中字符串匹配算法

打字比赛程序,是学校为了加强学生对计算机基本技能的掌握,而开发的一款用于检验打字速度、准确率等多项指标的比赛程序．传统的字符串匹配算法是基于关键词的匹配算法,只能得到位置信息,而比赛程序是两个大文本之间进行匹配,需要获得更加详细的匹配信息,这时传统算法就无法满足要求．通过对实际问题的探索和研究,在传统算法的基础上,设计出一种新的匹配算法．这种算法可以进行两个文本之间的匹配,得到正确的内容、错误的内容等信息．应用这一算法编写软件,验证了算法的可行性和实用性．     

基于结构相似的RANSAC改进算法

为了减少传统RANSAC（Random Sample Consensus,随机抽样一致性）算法的迭代次数和运行时间,提高算法的速度和精度,提出了一种基于结构相似的RANSAC改进算法。采用BRISK（Binary Robust Invariant Scalable Keypoints）算法提取和描述二进制特征点,用Hamming距离进行特征匹配,获得初始匹配点集,利用结构相似约束剔除误匹配点,得到新的匹配点集,用新的点集作为RANSAC的输入,求出变换矩阵。该算法在初始匹配后进行了匹配点提纯,能快速求得变换模型。实验证明该算法迭代次数和运行时间比传统RANSAC算法明显减少,因此改进的算法在速度和精度上优于传统的RANSAC算法。     

基于实时地形校正的InSAR图像匹配算法

针对侧视雷达/可见光图像匹配制导系统中由于雷达图像地形畸变引起的误匹配问题,提出了一种基于干涉合成孔径雷达（InSAR）的实时地形校正图像匹配算法。该算法以侧视雷达成像几何构象为基础,利用InSAR获取的实时地形数据对获取的SAR景象数据进行实时几何校正,生成无畸变的SAR景象数据,然后利用校正后的SAR景象数据与提前安装的可见光基准数据进行基于去均值归一化互相关模板的图像匹配。实验结果表明,通过实时地形校正,该景象匹配算法在复杂地形区域的匹配概率和匹配精度都大大优于传统SAR景象匹配算法,有效地提高了SAR图像匹配制导技术的适用性。     

基于群体智能的三维碎片全局最优匹配方法

针对传统三维碎片整体匹配过程中误差积累的问题,提出了一种基于群体智能的全局最优匹配方法。该方法对破碎物体的三维多碎片全局匹配建立全局整体碎片匹配的数学模型,将碎片的整体最优匹配求解问题转换为求满足一定约束条件的最优匹配矩阵的组合优化问题,通过将自然社会认知优化算法进行离散化来求解该NP问题。典型实例分析验证了所提方法全局优化能力强,与初始位置无关,有较强的鲁棒性,为三维碎片整体匹配提供一个有效的方法。     

基于实体的相似性连接算法

按照元组描述的实体对其进行组织和查询处理,是一种管理劣质数据的有效方法.考虑到同一个实体的同一属性存在多个描述的值,因此,基于实体的数据库上的连接是支持多个值的相似性连接.与字符串的相似性连接相比较,实体的相似性连接在数据清洗、信息集成、模糊关键字查询、诈骗检测和文本聚集等领域有着更好的应用效果.通过建立双层索引结构,提出了实体数据库上相似性连接算法ES-JOIN.同时,该方法适用于解决集合中字符串模糊匹配的相似性连接问题,而传统的集合相似性连接只针对集合中元素精确匹配的情况.为了加速连接,还提出了过滤措施对算法进行优化,进一步给出了优化算法OPT_ES-JOIN.实验验证了ES-JOIN算法和OPT_ES-JOIN算法具有很好的效率和可扩展性.实验结果表明,过滤措施具有很好的过滤效果.