针对微博的免登录分布式网络爬虫的研究

微博作为优质的数据源,其中的数据非常适合做舆情分析等。新浪官方提供的API限制数据采集速度,而利用模拟登录的网络爬虫采集数据又相对复杂且会降低效率。针对这些问题,设计了一个免登录的微博网络爬虫。通过实验表明,该爬虫可以更快的对微博数据进行完整稳定的采集。随着对数据需求量越来越大,单机网络爬虫已经不足以满足要求,将Hadoop分布式计算平台与免登录爬虫相结合,设计了一个基于MapReduce的分布式网络爬虫系统,利用多台计算机组成的集群,实现短时间内免登录抓取海量微博数据。通过实验证明,该爬虫系统可以每天稳定抓取近千万条微博。     

面向城市大数据的分布式并行获取方法研究

通过采取高效的分布式网络数据获取方法,结合大数据分析与人工智能技术,能够为传统行业建设与管理提供更加科学精准的分析与预测手段。以江苏省电力建设的投资成本预测为背景,基于主流python语言和分布式爬虫框架scrapy研究深层网络爬虫,根据深层网络结构设计爬虫策略并实现并行网络数据抓取系统,大规模获取江苏省各地市的GDP、人口数量、企业分类、社区建设、交通建设等宏观经济数据。通过自然语言处理和正则表达式等技术,对获取到的结构化和非结构化数据进行数据清洗和文本处理,最终实现数据的可视化展示。     

基于Scrapy框架的网络爬虫分析与抓取实现

基于Scrapy框架设计网络爬虫程序,爬取某市二手房数据,并将分析结果通过统计图呈现出来。通过分析网站数据结构及Scrapy框架网络爬虫设计思路,详细展示了基于Scrapy框架进行数据爬取、数据分析的实现方法,并对网络爬虫存在的安全问题、法律问题进行了说明。     

基于LabWindows/CⅥ的傅里叶变换光谱测量的数据采集系统

介绍一种基于LabWindows/CVI的光谱测量数据采集系统,利用LabWindows/CVI的编程优势,提高了编程效率与光谱仪数据分析的处理能力.给出了傅里叶变换光谱测量方法的设计原理、硬件系统构成以及LabWindows/CVI软件数据采集系统,包括实现干涉图数据采集、实时显示、数据分析处理和光谱分辨率的精确计算等功能.实验结果证明该系统满足设计需求.     

基于物联网的校园疫情监控系统设计与实现

为减少人员聚集,实现校园疫情防控智能化,设计了一款基于物联网的校园疫情监控系统并予以实现,包括人流量数据采集模块、网络疫情数据采集模块、校园物联网和数据可视化模块,可快速组建物联网平台并实现本地数据和云端数据的同步监控。系统使用STM32F429作为主控芯片,搭配HC-SR501人体红外感应模块、LoRa节点模块,采用双向检测算法实时采集校园内的人流量数据,运用Python网络爬虫实时获取网络疫情数据,并搭建了以LoRa无线通信技术为基础的校园物联网,实现与网络服务器之间的数据传输。针对所得数据,通过软件驱动程序进行清洗并存放至数据库,供人机交互界面调用。对系统功能进行测试后,结果表明前端采集的数据可以实现在现场LCD终端和云端HTML终端的展示,为校园师生提供有效的人流量数据和疫情数据。     

基于多参数协作驱动的智能网络化系统设计应用

为了提高数据传输效率和精度,改善网络控制性能,基于多参数协作驱动,设计了一种智能网络化系统。首先,基于数据采集、线性化处理、参数库、驱动模块、存储与管理等模块设计网络控制系统,同时给出了多参数协作驱动模块中实时更新的参数与网络信号之间的映射关系。其次,由核心控制部分和中继协作部分组成智能网络化系统,核心控制子系统部署于服务器,作为智能网络平台的核心;中继协作子系统部署在中继终端。两个子系统之间基于多参数协作驱动算法实现实时交互性。最后,实验结果表明,所设计的系统在执行效率和数据精度等方面具有明显优势。     

基于百度贴吧的当代大学生价值观评价系统设计与开发

针对当前大学生价值观评价方法中普遍存在的局限性,提出了一种基于百度贴吧的评价系统的设计方法,旨在增强数据来源的真实客观程度,提高评价结果的准确度.使用统一建模语言UML进行了功能设计和数据建模,采用Python+MySQL进行开发,使用Requests+BeautifulSoup对网页进行爬取和解析,使用支持向量机分类器进行情感分析,使用自定义加权平均方法计算价值观评价得分.系统由数据采集子系统、数据分析子系统、数据可视化子系统系统组成,3个子系统相对独立,通过数据库中介进行协同操作,保证功能高内聚低耦合的特性.提出的系统设计和开发方法,对相关系统的设计和实现具有一定的参考意义.     

基于无线传感网络的大型结构健康监测系统

针对大型碳纤维复合材料机翼盒段壁板结构,实现了基于无线传感网络的多点应变结构健康监测系统,采用自组织竞争神经网络成功判剐了集中载荷模拟的损伤位置.本系统由传感采集子系统、无线传感网络子系统和终端监控子系统三部分组成.为了降低系统网络功耗及成本,提高系统的稳定性和可靠性,改善传感网络的实时性和同步性,设计了可直接配接无线传感网络节点的低功耗多通道应变传感器信号调理电路和基于无线传感网络的层次路由协议,开发了多通道应变数据采集、网络簇头转发和中继节点接收等主要软件模块.实验证明,相比于传统有线的监测方法和数据采集系统,基于无线传感网络的结构健康监测系统具有负重轻、成本低、易雏护和搭建移动方便等优点.     

HL-2A数据辅助分析系统的设计与实现

HL-2A数据辅助分析系统涵盖了数据分析子系统的绝大部分功能,它基于Windows+MAT-LAB平台,可集成常规处理子系统于内,软件主要功能是对聚变实验数据进行数据分析,为物理人员得出正确的科学结论提供科学依据。介绍了数据分析辅助分析系统的特点,阐述了其功能需求和总体设计方案,介绍了ECE(电子回旋辐射)诊断信号数据分析软件的实现过程。     

一种数据采集与分析平台的研究与设计

随着互联网大数据技术的不断发展,网络数据采集技术成为热门的研究领域之一。基于Python语言下的数据采集功能库如Urllib、Requests、Selenium等模块效率低、易阻塞,并且目前的数据采集和分析平台都是独立的功能模块,没有形成闭环,用户体验差。为了解决上述问题,提出一种数据采集和分析平台,首先使用Scrapy框架完成数据采集,其次将采集到的数据通过Kettle工具进行数据清洗,再次,将处理好的结果存入MySQL 数据库,最后利用Flask框架,结合Echarts 技术搭建Web 系统,对数据分析结果进行可视化。以北京公交网站数据作为爬虫测试平台,通过对公交线路类型、公交路线等信息进行采集分析及结果展示,分析结果对城市公交的规划具有一定的指导意义,同时,平台具有稳定可靠、操作简单、实时性强等特点。     

基于B/S的电化企业生产调度系统设计

通过分析电化企业目前的生产调度方法,提出基于网络和Web技术的生产调度系统的设计方案。系统包括底层数据采集子系统、计算机网络子系统和生产调度子系统。利用工业控制计算机和OPC技术组成基于RS485串行通信的采集子系统,利用Web服务器、历史/实时数据库服务器和浏览器组成基于以太网的生产调度子系统,并介绍了该子系统的功能模块。     

基于大数据分析和复杂事件处理的金融信息服务平台

针对大数据时代下金融信息服务滞后性、片面性、同质化的问题,设计并实现了基于大数据分析和复杂事件处理的金融信息服务平台. 该平台采用多通道采集、浅层语义处理等技术实现多源数据的采集、抽取与清洗,采用面向金融领域特征的网络观点分析等技术进行数据分析,为证券投资者、投资顾问及机构等三类用户提供及时、精准、个性化的金融信息服务,取得了良好的应用成效.     

基于统一受理的农业呼叫中心解决方案

为了改进农业科技服务体系，提出了一种基于PBX的呼叫中心集成化解决方案，将语音识别技术运用到交互式语音应答系统中，并解决了来自电话、E—mail等不同媒体的统一受理问题。详细介绍了软件设计部分及路由算法，采用软构件技术：使未统具有可扩展性。     

国民体质监测系统

随着经济社会的发展,人们不仅追求更高的物质生活,也更加关注体质健康和监测自身体质信息.本文介绍了国民体质监测系统,用于集中监测用户个人信息、健康数据和基础运动数据,为健康管理和慢性病干预提供了完整的一站式服务解决方案.本系统包含基于.NET MVC的数据统计分析子系统、基于Windows服务的数据同步服务与汇总服务以及基于Zabbix的系统监控程序等功能模块,能同时提供Web和移动终端两种访问形式.其中数据统计分析子系统用于统计用户数据,并利用数据挖掘技术给出统计分析结果和科学健身指导方案.数据同步服务用于准备数据,保证系统的数据完整性和一致性.数据汇总服务把省数据中心的地面站数据库数据汇总到中心数据库,中心数据库与数据统计分析子系统进行数据交互.系统监控程序监控服务器联网情况、IIS状态、数据库状态以及系统运行过程中可能发生的错误,并通过短信或邮件给出告警信息.本文设计开发完成的国民体质监测系统,提供了高效的国民体质监测和科学健身指导方案,有利于用户改善自己的身体机能.     

EAST现场高速数据采集子系统

针对现有EAST采集系统信号存在衰减、采样率较低、数据格式不通用等问题,提出现场采集的概念,设计并实现EAST现场高速数据采集子系统。系统使用高速同步采集卡PXI2022,结合RAID0磁盘存储技术,其数据存储采用核聚变领域通用的软件工具MDSplus。实验结果证明,该系统能够较好地解决原有系统存在的问题。     

基于Web应用的安全日志审计系统研究与设计

近年来随着Web应用技术的不断进步和发展,针对Web应用业务的需求越来越多,随之而来的Web应用安全攻击也呈上升趋势.目前针对网络攻击的防护技术手段也是层出不穷,但一般都是事前检测和事中防护,事后检测维护的则相应比较少.在网络中心有大量的服务器设备,Web日志文件作为服务器的一部分,详细记录设备系统每天发生的各种各样的事件,如客户端对服务器的访问请求记录、黑客对网站的入侵行为记录等,因此要想有效的管理维护设备和在攻击事件发生后及时的降低风险,分析审计日志对于事后检测和维护设备的安全是非常必要的.基于此,文章主要对基于Web应用安全日志审计系统进行研究和设计,日志审计系统主要分为三个子系统：日志采集子系统、分析引擎子系统和日志告警子系统.日志采集子系统采用多协议分析对日志进行收集,并进行相应的日志规范化和去重等处理.分析引擎子系统采用规则库和数理统计的方法,对日志特征进行提取和设置相应的统计量参数,进行比较分析.日志告警子系统则是主要配置相应策略并下发任务,对于审计结果进行界面展示或生成报告并以邮件的方式发送给用户等.     

基于XML Web服务和实例推理的机械加工切削用量数据库

论文讨论数控机床切削用量数据库的有关问题。文中提出了一种建立在数控系统上的、基于XMLWeb服务[1-3]和实例推理的机械加工切削用量数据库子系统。该系统由切削用量数据采集和切削用量数据库访问两个功能组成。该系统分为两个模块:一个是数据采集模块,其作用是统计分析机床加工的实际切削用量数据;另一个是基于XMLWeb服务的切削用量数据库的访问模块,它为车间或企业上层服务器(如工艺数据库、工时定额数据库等)提供机床切削用量数据库访问服务,将结果返回给这些用户。论文给出了该系统的体系结构及实现方法,并展望了数控机床基于浏览器/服务器(B/S)模式的数据采集子系统。     

软件组件技术与知识发现系统

文中介绍了组件技术及发现的概念,阐述了在软件构架支持下,利用组件堆积木似的搭建知识发现系统的特点,实现了软件的大粒度复用,大大缩短开发周期,降低维护成本,且可即插即用。     

基于DCOM的高效容错分布式数据库系统的设计和实现

文章介绍了分布式数据库系统概念、Browser／Server计算模式和DCOM技术,设计并实现了一种基于DCOM的高效容错分布式数据库系统。     

Integrating Method of Global Selected Remote Sensing Dataset based on Landsat 8

Earth observation technology provides massive multi-temporal, wide-coverage and three-dimensional remote sensing data resources for Earth System science, making it possible to observe, understand, simulate and predict the complex behavior of earth systems. However, large redundant information from the existing remote sensing data retrieval systems fails to directly meet the diverse research needs and also increases the high-quality data cleaning cost. In this study, a newly retrieval results optimization method was established based on Landsat 8 satellite metadata database in 2017. The method is to select three indicators as a data quality evaluation system, including spatial integrity, temporal proximity and cloud cover, to filter out the high-quality datasets. The simplest and customized experimental results show that this method can improve the efficiency and accuracy of data retrieval and no changes for the existing data service system.