互联网业务质量智能拨测分析系统的研究及应用

4G网络的快速发展,带来了移动互联网数据业务的爆发式增长,XDR信令数据每天8T,业务子类十万以上,所以对数据业务质量的监控变得愈发重要。本文通过对端到端全业务信令信息的采集梳理和重要的域名进行判断,设计开发了智能互联网业务质量拨测分析系统。首先采集了全网的XDR信令并形成分析系统,采用Java语言编写到每个URL的拨测程序。两者相互协作,分析得到的质差URL通过拨测系统验证,拨测系统得到的质差URL返回分析系统分析。拨测软件能方便快捷地配置到各类型的拨测终端上,其单进程每秒1000次的高并发能力也能很好的满足测试需求。数据的分析效率提高70%以上,并能及时发现质差的URL,第一时间处理用户投诉,提高用户感知。     

Bit.ly/practice: Uncovering content publishing and sharing through URL shortening services

It becomes the norm for people to share online content such as images, videos, and news over various channels including online social networks, news media, or online communities. One of the popular ways to publish and share online content is using a URL shortening service, which provides a short equivalent URL that is redirected to an original URL of content. This paper comprehensively analyze the practice of using short URLs from their creations to publishing to sharing, using a large scale dataset that contains 4.2 B requests for 80?M URLs created through Bit.ly, one of the most popular URL shortening services. We find that content URLs are mosunknown.     

A Survey about Algorithms Utilized by Focused Web Crawler

Focused crawlers (also known as subject-oriented crawlers), as the core part of vertical search engine, collect topic-specific web pages as many as they can to form a subject-oriented corpus for the latter data analyzing or user querying. This paper demonstrates that the popular algorithms utilized at the process of focused web crawling, basically refer to webpage analyzing algorithms and crawling strategies (prioritize the uniform resource locator (URLs) in the queue). Advantages and disadvantages of three crawling strategies are shown in the first experiment, which indicates that the best-first search with an appropriate heuristics is a smart choice for topic-oriented crawling while the depth-first search is helpless in focused crawling. Besides, another experiment on comparison of improved ones (with a webpage analyzing algorithm added) is carried out to verify that crawling strategies alone are not quite efficient for focused crawling and in most cases their mutual efforts are taken into consideration. In light of the experiment results and recent researches, some points on the research tendency of focused crawler algorithms are suggested.     

在Excel中获取Web数据的两种方法

研究了Excel中获取Web数据的问题。通过Excel菜单功能给出了一种直接获取数据的功能。在此基础上利用VBA技术给出了另一种技术，这种技术通过在Excel中打开VBA开发环境，利用循环结构，每次取得用户选择的数据信息得到一系列具有相似结构的web数据，自动按照用户指定的方式存入指定区域，这些功能统一通过用户事先编写的VBA程序来自动完成,对于需要获取大量Web数据的用户而言利用该技术可以节省大量时间。     

一个典型的XSS框架注入攻击的分析和预防

现在网络技术的发展趋势朝着移动化、WEB化程度发展,其中最典型的代表是微信小程序。目前,这种集移动和WEB应用程序为一体的新式应用蓬勃发展。WEB应用程序将逻辑处理程序部署在服务器上,客户端对服务器发出请求指令,服务器处理这些指令并返回处理后的结果,其中涉及到客户端和服务端的数据传输,同时客户端发送处理指令传递给服务器,服务器接收指令并进行处理。笔者在某社交空间中发现了某网站的开放平台的外链被恶意注入,强制点击该链接的用户执行恶意转发。下面通过分析该案例的发生和机理,提出相应的预防方案,为之后的微信小程序开发中的服务器安全提供一个安全教例。     

基于DPI的用户兴趣实时分类

近年来,随着大数据发展热潮兴起,电信运营商能获得的DPI数据规模越来越大。如何对如此海量的DPI数据进行实时的挖掘和分类是运营商研究的热点。设计了一种基于混合n-gram特征的URL分类算法和基于Doc2Vec模型的文本分类算法相结合的DPI数据分类方法,大大提高了DPI数据的分类速度和分类准确率,为电信运营商进行精准营销提供了良好的基础。     

基于网络设备的网页过滤的设计

为实现统一高效的网页内容过滤,提出了一种在网络设备上对网页进行过滤的方法。采用URL（Uniform Resource Location）过滤与内容过滤相结合的方式;通过设置黑白名单和老化机制,来改进URL过滤;考虑网页的结构化特性,通过改进特征的权值的计算公式,并采用K近邻（KNN）分类算法,改进内容过滤。实例的分析表明：该方法能够在满足用户延迟要求的情况下,对网页进行比较精确的过滤。     

利用DataSocket技术实现网络化虚拟仪器

介绍了网络虚拟仪器的概念和DataSocket技术的主要特点,并举例说明利用DataSocket技术实现网络虚拟仪器的过程.     

一种基于域名解析机制的算力网络实现方案

新型数字化技术和业务的兴起,以及信息数据的爆炸式增长,对云—边—端多级算力资源提出了巨大的应用需求,算力基础设施泛在化成为一大发展趋势。算力网络将算力等资源与网络协同统一,结合用户需求提供最优的资源配置策略,同时提高多级算力资源的协同工作效率,成为网络技术发展的新方向。分析了当前算力网络的技术路线,提出了一种基于域名解析机制的算力网络实现方案。该方案引入域名解析机制,使用URL语言对多种算力资源进行统一标识,由集中式的算力资源管理平台对算力资源进行统一的分配调度。用户在收到分配的算力资源标识时,通过域名解析系统解析出相应资源的网络位置信息,并通过算力网关与资源池建立网络连接。此方案满足灵活扩展算力资源标识的需求,具有很好的实用性和通用性。