一种爬虫监控系统的设计与实现

随着互联网爆炸式的发展,网络爬虫的重要性越来越重要.一个搜索引擎搜索结果的数量以及质量在一定程度上取决于网络爬虫爬取结果的质量,而如何能更好的组织这些爬虫也成了一件能影响爬虫效率的事情.随着在服务器上部署爬虫的增加,对一个能够有效管理爬虫监控系统的需求也就越来越紧迫.本文对爬虫监控系统的设计和实现将会给爬虫的管理带来很大的方便.     

基于资源感知的分布式爬虫任务调度方法

文中致力于开发一种基于资源感知的分布式爬虫任务调度方法,以优化分布式环境中各节点的系统资源利用,提升爬虫任务的执行效率。该方法通过引入资源感知调度算法和节点优先级管理,实现对节点中CPU、内存、网络等资源的监测,以便均衡调度爬虫任务,即确保爬虫任务在资源利用率较低的节点上执行,从而有效减轻各个节点之间资源过度占用和不均衡问题。另外,该方法引入的Flask提高了可扩展性,实现了可视化爬虫监控平台。实验结果表明,文中提出的方法在提高爬虫任务执行效率和适应性方面取得了显著效果,为分布式爬虫系统的进一步优化提供了有益指导。     

基于网络爬虫的股票信息预警系统的研究与实现

分析通过网络爬虫进行WEB数据挖掘,研究实现对股票实时信息监测和预警的系统,为用户提供股价短信报警、公告提醒的功能。     

一种实用的地图自动识别方法

本文针对军用地图的特点和彩色特性,提出基于背景的彩色因子匹配法作为颜色分层模型的主要判别依据,并给出利用该方法的实验结果。     

基于上下文信息的监控场景行人检测方法

为了提高监控场景中行人检测的准确度,提出了一种基于上下文信息的行人检测方法.该方法将监控场景的上下文信息融入到卷积神经网络中,选择性地学习对行人检测有帮助的上下文信息.首先,利用一个截断的卷积神经网络提取输入图像的多张特征图.然后,将多张特征图通过两个包含上下文信息的卷积层,形成一张掩码图.最后,通过在掩码图上估计行人的边界框,获得行人检测的结果.实验表明,该方法能实现监控场景中准确且快速的行人检测.     

一种基于经纬度的投诉场景监控系统

针对早期热点监控中的不足,提出一种基于经纬度的投诉场景监控系统。通过投诉工单中的用户投诉的经纬度数据,可以通过人工以及定时自动执行的方式,监控一定时间内某区域的投诉量,对投诉量超过设定值的区域进行告警,通知到地市相关责任人,并可自动生成投诉热点,派单进行处理,同时由系统监控热点的后期投诉量,实时监测热点处理情况。该系统与GIS平台相结合,根据不同权限,在地图上呈现投诉量、热点解决情况等相关信息。     

一种全业务质量分析与监控系统

早期的PON端口资源管理,主要依靠人工操作,存在一系列问题,比如数据不全、资料不够详实、装机速度慢、排障效率低下等,准备阶段周期偏长,无效工作过多。基于此,文章特提出一种全业务质量分析与监控系统,变人工核查为自动核查,实现准确,提升资源利用率,记录光猫的在离网与复用状态,为光猫资产监管提供技术保障,有效控制代维公司通过"续转装"操作来虚报新装用户骗取装机费用的现象。     

一种基于浮动车优化地图匹配方法

地图匹配方法,对于浮动车技术有着重要的意义。由于浮动车数据自身的特点,传统的地图匹配算法难以直接应用在城市道路浮动车数据匹配上。针对目前浮动车地图匹配算法应用于城市复杂路网时只考虑单一车辆位置数据,联动性研究较少,导致产生匹配精度不高的问题,考虑车辆运行特征与道路路网的连通信息,同时结合动态GPS数据,把模糊逻辑推理思想引入到网格地图匹配方法中,提出一种优化的地图匹配方法,并对其有效性进行了验证。研究表明,优化浮动车地图匹配方法在保持网格地图匹配实时性优点的同时,提高了算法的匹配精度。     

一种改进的基于遗传和蚁群算法的主题爬虫

介绍了一种改进的基于遗传和蚁群算法的主题爬虫的设计。把遗传算法和蚁群算法相结合,可以提高主题爬虫的性能。同时,对选择算子,交叉算子和变异算子进行了优化。整个设计的改进框架是借助于新的URL分析模型进行的。同时,实验结果也表明了新的算法的有效性。     

基于状态监测的预警管理系统研究与应用

将基于监督学习的方法引入到对设备的早期故障预测之中,针对现有预警技术的不足,完善了基于监督学习的预警技术,并提出了快变报警、缓变报警、趋势报警和轴心轨迹报警的报警方式。通过自学习阈值以及针对性的报警策略可以准确地预测报警的发生,并且可以进行有效的故障诊断。在此基础上开发了预警管理系统,该系统能够较好地捕捉到设备的早期故障,并可以对设备的早期故障进行准确的数据分析,对预防和诊断设备故障具有重要的意义。     

基于网络爬虫与页面代码行为的XSS漏洞动态检测方法

XSS漏洞是攻击Web应用程序、获取用户隐私数据的常见漏洞.传统的XSS漏洞检测工具并没有对AJAX Web应用程序进行针对性的检测,在检测精度方面与实际情况存在巨大差距.针对这种情况,对AJAX技术下XSS漏洞的特点进行了分析,提出了一种基于网络爬虫与页面代码行为的动态检测方法.实验结果表明,提出的方法在节省人力、时间成本与漏洞检测方面有较好的表现.     

基于Gist特征与CNN的场景分类方法

针对大多数场景分类方法只能学习浅层特征,忽略图像之间的相关结构信息,提出一种基于Gist特征与卷积神经网络结合的场景图像分类方法.其中Gist特征用于提取场景图像的全局特征,并将其作为深度学习模型的输入,通过逐层训练卷积神经网络,提取更高层次的特征,并用训练好的卷积神经网络进行分类.实验在O&T室外场景图像数据集和MNIST手写体数据集上考察了batchsize、卷积核对分类结果的影响,并与DBN,NN,SVM和CART作为分类器的分类结果进行比较,充分说明了本文方法的有效性.     

一种基于小波变换的监视飞行新方法

如何充分利用有限的信道带宽和实时有效地压缩数据,将更多飞机飞行参数实时传输给地面试验人员,是提高飞行安全和改进飞机设备的重要手段.基于小波变换提出了一种监视飞行状态的新方法,借助小波分析在时域和频域同时具有良好的局部化性质对飞行数据进行有损和无损压缩,并通过飞机现有的VHF信道传输飞行数据.仿真结果验证了本方法的可行性.     

基于时频分析和模式识别的惯性器件故障监测与诊断技术研究

利用时频分布检测信号的基本原理,提出了一种基于PMH分布和模式识别的惯性器件故障监测与诊断方法。实验表明本文所提出的方法能够辨识出惯性器件的故障类型,并且能够实现状态监测和故障分离。该方法在工程实际中具有很好的实用性。     

基于码重信息熵低码率线性分组码的盲识别

为解决较高误码条件下的低码率二进制线性分组码的盲识别问题,论文提出了基于码重分布信息熵的码长识别方法,而且,它还通过优化传统的矩阵化简方法求解生成矩阵,从而实现对低码率二进制线性分组码的盲识别。理论分析及仿真验证均表明:该方法能实现低码率线性分组码较正确的识别。论文最后进一步对不同码长线性分组码在不同误码率条件下进行了多次仿真,仿真结果验证了该识别方法具有较好的容错性能。     

A simple and effective static gesture recognition method based on attention mechanism

To solve the problem of low sign language recognition rate under the condition of small samples, a simple and effective static gesture recognition method based on an attention mechanism is proposed. The method proposed in this paper can enhance the features of both the details and the subject of the gesture image. The input of the proposed method depends on the intermediate feature map generated by the original network. Also, the proposed convolutional model is a lightweight general module, which can be seamlessly integrated into any CNN(Convolutional Neural Network) architecture and achieve significant performance gains with minimal overhead. Experiments on two different datasets show that the proposed method is effective and can improve the accuracy of sign language recognition of the benchmark model, making its performance better than the existing methods.     

基于集中监控数据资源的4G基站退服故障预警模型

4G无线基站设备是直接影响信息通信网络用户服务质量的重要环节,而4G无线基站退服故障将直接阻断用户正常通信.针对上述问题,基于集中监控告警消息数据资源通过关联规则挖掘和时间追溯推演分析,实现了4G基站退服故障的短期预警.基于集中监控设备性能数据资源通过网元分类(数据清洗、特征筛选、网元聚类)、指标降维(按簇分组、主成分分析)、主成分表达式与退服故障关联分析、性能指标选取及阈值分析实现了4G基站退服故障长期预警,经测试可准确预测次月27.8％的4G基站设备退服故障.     

一种核主元分析的人脸识别方法及其DSP实现

针对核主元分析在人脸识别中的时间开销过大的不足,提出了一种核主元分析的DSP实现方法.介绍了核主元分析算法原理,给出了DSP平台的硬件框架和程序优化方案.在DSP硬件平台上的测试结果表明:系统运行稳定,与通用计算机平台相比,明显提高了识别速度,同时保证了人脸识别率,具有一定的实用价值.     

基于提升小波的矩不变量车牌字符识别方法

车牌识别系统的关键在于字符的识别,而字符识别的核心是字符特征的提取。小波变换可以获取字符的细节结构特征,而不变矩能很好地对其进行描述,故将两者结合起来提取字符的特征;同时利用张量积小波分解的高频子图具有方向性的特点,提取字符的笔画特征,最终得到反映字符结构和统计特征的联和特征向量,并且字符图像的分解采用第二代提升小波算法进一步降低了计算复杂性。实验结果表明,此方法提取得到的联合特征向量能够取得98%的字符综合识别率,可以满足实际应用的要求。