GitHub中基于CNN-LSTM的开发者项目推荐模型

作为一个开源项目托管平台,GitHub以多开发者协同参与进行开源项目的开发,开发者作为GitHub的核心元素,保证了整个系统的活跃性,然而,很多新项目在短时间内无法找到合适的协同开发者而被拖延开发周期.针对这个问题,本文提出了一种基于Word2Vec的CNN-LSTM开发者项目推荐模型,该模型以Word2Vec训练开发者访问项目的序列,并将项目进行向量化表示,结合CNN-LSTM模型计算项目相似度并为开发者推荐合适的项目序列.通过提取GitHub中62,031个开发者在2015全年的项目访问数据进行项目预测和相似项目发现实验,实验结果表明,该模型推荐效果较佳,并且可以帮助开发者发现感兴趣的相似项目.     

基于Scrapy的GitHub数据爬虫

作为最大的社交编程及代码托管网站,GitHub提供了丰富的数据来源。基于Python开源框架Scrapy设计实现了一个Web爬虫,能对GitHub的资源抓取和分析,并进行了结构化处理和存储,可为后续数据分析提供基础。介绍了GitHub爬虫的设计原理、算法的实现方式,对实验结果进行了分析。     

基于深度学习的代码审查意见有效性评估

针对代码审查过程中的代码审查意见对于开发者可能无价值的问题,文中提出了一种基于深度学习长短期记忆网络的代码审查意见有效性评估方法。该方法通过提取代码审查意见中与审查意见有效性相关的特征,并根据这些特征构建评估模型,从而评估审查意见对于开发人员是否有价值。为了验证方法的有效性,文中选取了GitHub上开源Eclipse项目中的审查信息作为实验数据,并将所提方法与其它机器学习方法对比。实验结果表明,该方法可以有效评估审查意见的价值。     

市场新闻

阿尔卡特朗讯 推出apiGrOVe开源软件引擎 本刊讯阿尔卡特朗讯目前推出apiGrove开源软件引擎。即通过应用程序接口开放云计算平台、电信网络或企业基础设施功能时,帮助企业提升API管理效率。通过开源数据库与协作工具GitHub。即可下载apiGrove安装包、源代码及文档。据悉,该软件基于阿尔卡特朗讯开放平台,目前已被全球通信业务提供商广泛使用。     

一种基于Log4J的日志输出组件的设计

在软件开发和系统的运行过程中,日志管理是一个非常重要的部分.本文论述了在开源软件Log4J的基础上设计出适用于特定系统的日志输出组件,为用户提供充分的系统运行信息,同时还将重要的日志信息存入数据库系统,为以后的审计提供依据.该组件被系统中所有的模块所复用,从而减少了系统中大量冗余代码,提高了开发效率和开发的一致性.     

基于移动通信技术的文明呼系统

随着手机的普及,移动通信技术给生活带来许多便利。在给人们带来方便的同时,也导致骚扰电话的泛滥。本系统通过回拨功能,回击骚扰电话,运用网络电话对骚扰号码以固定频率回拨,实现了一种新型的防骚扰模式,并且将骚扰数据源通过API接口的方式供系统进行调用.骚扰电话号码查询功能中的聚合数据骚扰电话号码接口,可以为开发者提供免费开源的接口为未来防骚扰类应用程序提供开源的数据源。     

大规模查询日志分析模型构建机制

日志分析在用户搜索方面具有重要的意义,但是现代日志分析系统中具有多方面的问题,比如离线处理模式的处理时间较长,大量的数据没有办法进行处理.实现日志数据的分级归档,能够优化处理大数据.基于此,本文就提出了以Hadoop为基础的大数据日志分析模型,并且对其中的业务处理流程和功能架构实现全面的分析.实验结果表示,本文设计的大规模查询日志分析模型具有较强的扩展性、良好的数据处理能力,并且还具有有效性及可行性.     

基于Spark Streaming的海量日志实时处理系统的设计

在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理.     

基于Ambari快速部署Hadoop大数据集群环境研究

Hadoop大数据实验环境搭建的复杂性已经成为很多分布式应用初学者或者大数据的业务应用开发者学习和研究大数据技术一道很难跨越的门槛.Ambari是一种支持Hadoop集群部署、监控和管理的开源工具,通过安装向导来进行集群的搭建,简化了集群供应.本文提出基于Ambari快速部署Hadoop大数据集群各组件的实践方法,重点阐述快速部署的若干要点、重要步骤以及管理使用技巧.实践证明,相对于以往传统手工部署,该方法极大提高了Hadoop集群部署的效率及成功率,有效降低大数据学习门槛,提高学习效率和效果,解决Hadoop大数据课程实践教学环境难的问题.     

Hadoop在电信运营商经营分析系统中应用的研究

随着互联网发展带来的数据爆炸,很多企业都使用分布式文件系统来搭建高性能和高扩展性的应用,存储自身海量的数据并加以分析.Hadoop就是目前比较主流的开源分布式文件系统之一,它支持海量数据存储、可扩展性强、容错性强、可以运行在廉价的商用机器上,是大多数企业的首选.本文通过在电信运营商经营分析系统中引入Hadoop分布式技术,改变了经分系统中小型机加关系型数据库的传统架构,解决了经分系统中海量非结构化数据分析的问题,对电信运营商实现高效率地从海量日志里挖掘出有价值的信息具有重要的意义.     

The role of openness in open collaboration: A focus on open‐source software development projects

Open‐source software development projects are well suited for exploring new ideas and acquiring knowledge from developers outside of the project. In this paper, we examine the impact of external developers on innovation in open‐source software development from the perspective of organizational learning theory. We examine the roles of external and internal developers, who “explore” and “exploit,” respectively, on the innovation performance of 17 691 open‐source software development projects whose data is stored in the GitHub platform. The results indicate that a multi‐faceted strategy, in which the exploitation successfully supports the exploration, is most effective for their success. The results also indicate that the role of exploration decreases after the release of the software.     

基于蜜罐日志的关联规则挖掘研究

随着网络攻击数量和种类的不断增加,基于蜜罐（Honeypot）系统的海量攻击日志分析变得更加困难和耗时。仅仅凭借一个事件推断黑客意图和行为是非常困难的。这就要求在蜜罐系统的研究中进行整体性分析,数据挖掘技术就是这样的整体性分析工具。首先阐述了蜜罐系统的原理,然后以开源蜜罐系统Honeyd捕获的真实日志数据为例,使用关联规则挖掘先验（Apriori）算法对日志的特定属性进行分析,找出不同网络连接记录属性之间的关联规则,从中发现并理解攻击者的攻击行为和攻击模式,验证了数据挖掘技术应用于蜜罐日志分析中的可行性。     

一种基于Log4J的日志输出组件的设计

在软件开发和系统的运行过程中,日志管理是一个非常重要的部分。本文论述了在开源软件Log4J的基础上设计出适用于特定系统的日志输出组件,为用户提供充分的系统运行信息,同时还将重要的日志信息存入数据库系统,为以后的审计提供依据。该组件被系统中所有的模块所复用,从而减少了系统中大量冗余代码,提高了开发效率和开发的一致性。     

Novel intrusion prediction mechanism based on honeypot log similarity

The current network‐based intrusion detection systems have a very high rate of false alarms, and this phenomena results in significant efforts to gauge the threat level of the anomalous traffic. In this paper, we propose an intrusion detection mechanism based on honeypot log similarity analysis and data mining techniques to predict and block suspicious flows before attacks occur. With honeypot logs and association rule mining, our approach can reduce the false alarm problem of intrusion detection because only suspicious traffic would be present in the honeypots. The proposed mechanism can reduce human effort, and the entire system can operate automatically. The results of our experiments indicate that the honeypot prediction system is practical for protecting assets from attacks or misuse.     

An Efficient Network Attack Visualization Using Security Quad and Cube

Security quad and cube (SQC) is a network attack analyzer that is capable of aggregating many different events into a single significant incident and visualizing these events in order to identify suspicious or illegitimate behavior. A network administrator recognizes network anomalies by analyzing the traffic data and alert messages generated in the security devices; however, it takes a lot of time to inspect and analyze them because the security devices generate an overwhelming amount of logs and security events. In this paper, we propose SQC, an efficient method for analyzing network security through visualization. The proposed method monitors anomalies occurring in an entire network and displays detailed information of the attacks. In addition, by providing a detailed analysis of network attacks, this method can more precisely detect and distinguish them from normal events.     

数据业务自相似特性研究

合适的业务源模型能够在建立理论分析模型或进行系统性能仿真时,使网络系统性能评价更加准确。自相似特性是数据业务的重要特征。本文分析了自相似业务源的建模现状,深入讨论了如何将自相似模型应用于GPRS业务源建模。通过时间序列自相似特性分析工具SELFIS,对中国移动GPRS网络中从一个网关支持节点GGSN处采集的在单位时间内收到的字节数进行分析,得出GPRS数据业务具有较强自相似性的结论。     

基于GitHub的ICT相关领域发展趋势的分析

一定规模的用户对某类项目的关注度是评价该类项目所属行业发展趋势的重要参数之一,是行业发展趋势研究的数据基础。针对当前研究对象数据源获取的局限性问题,设计并实现了一个数据获取与分析系统。该系统可以根据关键词获取GitHub上指定行业的项目数据,以项目数量、关键项目的星标数量、复刻数量和提问数量为依据对项目数量和关注度的变化进行多维度分析,利用百度ECharts实现数据可视化,为研究行业发展的整体趋势提供参考。     

基于开源WebGIS的最短路径分析实现

随着开放源代码软件运动的兴起和发展,在很多应用领域都出现了高质量的开放源代码软件。最短路径分析是GIS空间分析中最主要的分析功能之一,广泛应用在物流、交通管理等领域。针对WebGIS中道路最短路径分析的应用,讨论了采用基于开放标准的开源软件开发WebGIS系统的技术,介绍相关的开放源代码软件和WebGIS应用的系统结构,并以实例说明了系统的可行性及有效性。