大并发、高吞吐量实时数据平台的研究

为了解决某省正在运行的"全省实时警情抽取平台"的数据吞吐量较低的问题,文章对影响平台的并发数和数据吞吐量的相关因素进行深入分析,并对数据平台中的汇聚队列进行性能调优。文章还对比ActiveMQ和Kafka队列系统的实现原理,针对大并发和高吞吐量设计仿真测试方案,同时还引入Drools规则引擎,以适应数据平台中的相关计算规则的变化;最后设计一套通过验证的完全可以应对大并发、高数据吞吐需求场景下的实时数据平台。     

基于AI技术的国产化融合媒体平台探讨

媒体融合发展已进入深水区和攻坚期。诸暨市融媒体中心对媒体融合平台进行研究,响应国产化要求,搭建起一套可靠、安全、高效的国产化媒体融合平台,完成了诸暨广电生产业务的自主可控改造,实现平台及业务层的相互赋能。同时引入AI智能化技术用于媒体、播出及制作业务,大大提高了诸暨广电节目制播效率,实现了诸暨地区媒体的高效融合。     

基于国产化计算平台的雷达数据融合软件设计与实现

本文阐述了国产化计算平台的概念及应用意义,对国产化计算平台的软、硬件的构成、技术指标以及主要特点进行详细描述;在此基础上,结合工程实际,完成了基于国产化计算平台的雷达数据融合软件设计与实现,仿真结果表明,研制的雷达数据融合软件功能和性能均满足要求,有效提升了装备软件国产化水平,具有较高的工程应用价值和军事价值。     

基于混合架构的国产化大数据平台研究与应用

文章主要研究一种基于混合架构的国产化大数据平台,可以更好地适配国产化ARM主机和麒麟操作系统,解决现有开源Hadoop平台的技术缺陷。通过对现有开源Hadoop平台进行改造并自主研发分布式调度系统和分布式存储系统,使本文大数据平台一方面摆脱底层架构受限问题,可以很好地适配ARM主机和传统X86主机,且全部功能均适配麒麟操作系统,性能稳定可靠;另一方面解决开源Hadoop平台调度系统不完善、交互效率低和单点故障问题。另外通过自主研发统一元数据及安全管理体系,将元数据进行统一规划,使本平台能够节省存储费用,提高安全管控能力。     

网络高并发下移动学习活动中数据缺失的修复方法

网络高并发情况下,移动学习经常出现数据不准确、数据丢失的现象,为了解决此问题需要对缺失的数据进行修复。其中媒体无关FEC法是比较高效的数据修复方法。文章主要是针对此算法在网络高并发情况下移动学习活动中的数据修复方法进行分析。     

基于Hadoop平台的电信大数据入库及查询性能优化研究

随着移动互联网的快速发展,电信运营商内部各种IT系统中的数据出现了"大数据"的特征,既有的技术架构和路线已无法高效处理如此海量的数据。针对流量经营大数据管理和大数据服务中海量DPI数据的数据入库和数据查询场景,提出了一种基于Hadoop的分布式数据服务架构,并设计出在该架构下的数据入库和查询性能的优化算法,通过模拟数据的实验对性能优化算法进行了验证。     

基于ARM架构国产化私有云的大数据平台适配性研究

构建安全可控的信息技术体系是网信领域的一项重大任务,国家大力推动信息技术应用创新产业发展。目前,核心芯片、基础硬件、操作系统等国产化替代产品已由研发逐步转入产业化发展阶段,并搭建大数据平台开展数据分析、挖掘数据资产价值。为实现大数据平台与国产化私有云平台的深度融合,文章开展基于ARM架构国产化私有云平台的大数据平台适配性研究。实验验证了大数据平台国产化迁移的可行性,在同等配置下基于ARM架构国产化私有云的大数据平台性能接近x86服务器,能够满足实际应用中对海量数据的处理需求,为大数据平台的国产化建设提供借鉴。     

网络高并发信息的缺失数据修复方法仿真

网络高并发信息在传输过程会因为网络故障,线路接触不良以及外界病毒入侵等各种因素导致数据缺失,计算机运行过程为不可逆过程,若想对设备和系统进行分析必须要使用完整数据,需要利用有效的方法对缺失数据进行修复。对网络高并发信息的缺失数据修复方法仿真进行研究,基于CS原理对缺失数据进行修复,通过某种矩阵对网络中最原始的数据信号σ相似文献   

城市规划数据入库问题及解决方法研究

城市规划数据入库已经成为规划信息化建设的重要内容,但是长期以来的规划图则绘制习惯对城市规划数据入库带来了很多问题,文章对城市规划数据入库中存在的问题进行了分析,并提出了相应的解决方法。     

一种面向海量高并发小文件数据的处理方法

首先分析了当前海量高并发小文件数据处理的缺陷,文章阐述了通过在节点中设置临时虚拟空间的方式、改变文件系统锁机制、将多个节点中的多个并发操作合并为一次磁盘回写操作处理方法。提高了海量高并发小文件数据的并行处理效率,降低了海量高并发小文件数据磁盘的读写压力,减轻了底层存储的磁盘读写压力,有效延长了底层存储的使用寿命。该方法进行的海量高并发小文件处理相关研究工作,对于后期提升海量并发小文件的处理能力和效率提供了参考依据。     

基于国产化平台多处理器视频对齐技术研究

针对当前国产化平台下系统抖动引起的多通道输出视频卡顿、跳帧等异常现象,提出基于CCW对齐机制的多处理器视频对齐方法,实现了同一脉组的多波束数据顺序输出,完成多通道视频数据的时间对齐和空间对齐,解决了在雷达信号处理器抖动和链路不稳时出现的输出异常现象。测试结果表明该方法在多处理器视频对齐中效果较好,满足国产化平台的实际工程需求,有良好的推广和应用价值。     

基于大数据的城市社会治理平台解决方案探讨

5G+社会治理大数据平台是围绕国家社会治理现代化建设总体目标要求,落实中央政法委关于《全国市域社会治理现代化试点工作实施方案》,深度融合各地现有信息化建设成果,充分考虑“不断探索、不断创新”的社会治理现代化推进特点,通过重构迭代,形成“一套标准体系、三个能力中心、四域智能平台、N项专题拓展”的社会治理大数据平台,广泛共享汇聚政府、社会、群众等数据信息,深度利用大数据、人工智能等现代科技强化数据价值,打造的一套集智能汇聚、智慧研判、智辅决策、公众参与为一体的实战平台,全面提升区域智能防控和社会治理能力,做到提前发现、提前处置,真正发挥大数据对区域平安建设和社会治理的强大支撑作用。     

基于大数据云计算平台的用户感知体系探讨

描述了传统用户感知体系在市场和技术双重驱动下新的定义延伸探讨,初步给出基于大数据云计算平台技术的模型设计,并以实践验证。     

基于软件无线电平台的电磁信号数据表征方法

随着信息时代的快速发展,电磁频谱环境日益复杂,为了在有限条件下实现信息的高效传输,对电磁信号数据信息的感知与表征显得格外重要。重点研究了基于软件无线电平台的数据表征方法与实现。首先,给出了时序-频点-幅度表征法、时序-频序-幅度表征法、单一幅度数据表征方法和基于幅度差分的四种数据表征方法,分析了不同表征方法的性能和效率。然后从硬件和软件两个方面,对软件无线电平台进行了简要介绍。最后,基于通用软件无线电设备搭建了一套收发通信系统,按照理论方法对频谱数据进行表征,以验证数据表征方法的可行性,结果表明所提的幅度差分的数据表征方法传输数据量较低,还能恢复出原始的电磁信号数据,实现了信息的高效传输。     

基于大数据技术平台下的安全身份研究

我们首先介绍Hadoop如何从Kerberos的KDC,LDAP和ActiveDirectory域去整合信息,从而提供一个分布式身份的集成视图.我们还将研究Hadoop是如何代表内部用户信息,以及外部和全局身份如何映射到对应的验证机制.本文重点介绍kerberos机制下的用户身份映射和Hadoop平台下用户身份的映射过程.     

广电网络数据分析平台数据质量治理策略与方法探讨

本文基于广电网络运营商在数据分析平台建设中对数据质量治理的实际需求,对数据质量治理的策略与方法进行了论述,为广电网络运营商的数据分析平台的数据质量治理提出了相关建议.     

一种高并发网络环境下快速流表查找方法

为了改进高速网络环境下连接表的查找速度,本文首先分析了OC-192骨干链路上的流量特征.研究表明,骨干链路不仅具有高并发和高到达速率的特点,而且在适当的缓存窗口下,具有较好的网络局部性特征.基于这些特征和局部性原理,本文在朴素的哈希表结构基础之上增加常量开销的辅助空间,实现了一种快速流表查找方法.理论分析和真实网络数据集上的实验表明,该方法相比现有方法可以降低流表查找长度20.2%,减少流表访问时间17.1%.