基于云平台的分布式高性能网络爬虫的研究与设计

随着大数据时代的到来,数据成为最宝贵的资源,而网络爬虫技术作为外部数据采集的重要手段,已然成为数据分析的标配.介绍了一种高性能、灵活和便捷的基于云平台的爬虫架构设计和实现.从爬虫的整体架构、分布式设计以及各模块的设计等角度进行了详细的阐述.爬虫各模块用Docker封装,Kubernetes做集群的资源调度和管理,在性能优化上采用了MD5去重树算法、DNS优化和异步I/O等多种策略组合的形式.实验表明,对比未优化的方案,爬虫在性能上具有较明显的优势.     

Leadership Hijacking in Docker Swarm and Its Consequences

With the advent of microservice-based software architectures, an increasing number of modern cloud environments and enterprises use operating system level virtualization, which is often referred to as container infrastructures. Docker Swarm is one of the most popular container orchestration infrastructures, providing high availability and fault tolerance. Occasionally, discovered container escape vulnerabilities allow adversaries to execute code on the host operating system and operate within the cloud infrastructure. We show that Docker Swarm is currently not secured against misbehaving manager nodes. This allows a high impact, high probability privilege escalation attack, which we refer to as leadership hijacking, the possibility of which is neglected by the current cloud security literature. Cloud lateral movement and defense evasion payloads allow an adversary to leverage the Docker Swarm functionality to control each and every host in the underlying cluster. We demonstrate an end-to-end attack, in which an adversary with access to an application running on the cluster achieves full control of the cluster. To reduce the probability of a successful high impact attack, container orchestration infrastructures must reduce the trust level of participating nodes and, in particular, incorporate adversary immune leader election algorithms.     

浅析Docker容器技术的发展前景

Docker中有两个重要概念,一个是镜像 ( Image),另一个是容器(Container)。容器即利用 Docker 构建出来的虚拟环境,可理解为一个自给自足的Linux 环境,在功能上,与一个完整的 Linux 环境基本一致。Docker容器技术CPU、内存利用率更高,网络I/O性能更高,磁盘读写性能更好,是云计算技术发展的方向。     

基于Docker的虚拟化技术研究

对于容器级的虚拟化技术Docker,通过分析其关键技术并与虚拟机技术横向比较,得出了其相较于传统技术的优劣势,并对其适用的应用场景做了探讨。分析结果表明,Docker作为一种轻量级的虚拟化技术,在应用的大规模快速部署方面具有极大的优势。     

基于Docker容器技术的Linux在线实验环境设计

基于Docker容器的虚拟技术在云计算、大数据环境中被大规模的使用,针对Linux操作系统实验环境使用受限的问题,设计了基于Docker容器技术的在线实验环境,描述了实验环境构建的大致过程,对服务器端Docker容器的创建方法进行了分类分析和服务器压力测试,结果表明,所设计的Linux在线实验环境能够满足线上及线下教学...     

基于开源软件的电信业务平台重构设计和分析

业务平台重构是中国电信网络智能化重构举措的重要组成部分,分析了业务平台存在的问题,给出业务平台重构的要求、架构和开源实现,以管理平台为案例给出重构的路径方法,从开源思维、技术研究、人才建设角度提出重构保障要求.     

基于Docker的DPI虚拟化部署

DPI 是运营商网络中用于流量识别和处理的专用设备,目前被大量部署于现网中。但传统的 DPI 部署方式带来了多个DPI系统并存、功能重复、维护管理复杂等问题,不利于DPI应用的大量标准化快速部署。随着NFV技术的发展,对DPI进行虚拟化部署成为解决此问题的一种趋势。Docker是一种容器级的虚拟化技术,可在其基础上进行DPI部署。阐述了Docker与DPI部署有关的底层报文处理技术DPDK,并给出了基于Docker的DPI虚拟化部署方案建议。     

基于容器技术的PaaS云平台方案

随着互联网业务发展及IaaS云资源池技术的成熟,IT支撑系统也在尝试PaaS云的建设及应用.分析了IT系统如何考虑技术演进,搭建PaaS云平台架构,实现系统资源的统一管理、监控、共享和调度,实现应用的统一部署和多数据中心的高可应用性.     

基于Docker的Hadoop集群网络性能分析

针对Hadoop从网络的角度来研究提高Hadoop性能的方法不足的问题,提出了一个通过相关工具,根据不同的网络配置,在虚拟化环境Mininet下监测并分析Hadoop集群的网络特性的系统框架。本系统建立一个在Docker容器内运行的Mininet的Hadoop集群,按照不同的需求,通过配置Mininet方便地修改网络拓扑结构,可以监测容器和虚拟交换机的网络流量,并通过网络流量监视器观察网络行为,分析不同的网络设置对Hadoop性能的影响。实验从集群中没有背景流量、集群中的背景流量无Qo S控制、集群中的背景流量有Qo S控制,三个方面对Hadoop集群网络性能进行了详细分析。     

轻量级容器化技术驱动的虚拟网络部署研究

近年来,由于5G、物联网等技术的快速发展,网络规模越来越庞大,对于网络应用的要求随之提高,网络应用的各项性能则需要在较为复杂的网络中进行测试,将现实生活中结构复杂的网络用于应用性能测试的可行性不高。因此,对于SDN(Software-Defined Networking,SDN)网络开发而言,迫切的需要能够进行测试的仿真平台。市面上常见的网络测试工具尽管可以实现网络仿真,但存在保真度低、可视化支持差等问题。在本设计中,采用轻量级虚拟化技术,搭建虚拟化的网络模拟仿真平台——网络魔镜。将真实网络协议“照进”虚拟环境,摆脱现有模拟网络仿真工具的局限性,对基于Docker容器搭建起来的轻量级的虚拟网络,可以方便地对其进行计算机网络的相关研究。