首页 资讯 招标 项目 展会 更多

位置:首页 > 新闻频道 > 技术动态


成果介绍:一种面向内容共性特征的自适应管线传输机制

2015-12-01 09:26:11 安装信息网

相关链接: 中国安全网 中国质量网 中国论文网 中国资讯网

    作者:张毅

1引言

    随着互联网技术与应用的飞速发展,互联网正经历从“以互联为中心”到“以内容为中心”的演变历程。互联网的设计理念可以上溯至20世纪六七十年代,设计的核心理念是实现主机的互联互通,进而共享计算资源,本质上是一种“主机一主机”的通信模式。TCP/IP体系结构以IP地址为核心、以传输为目的、按照端到端原理设计,很好地满足了这一需求,促进了互联网的飞速发展。经过50多年的发展,互联网的使用已发生了巨大变化,现在互联网的应用需求更多关注的是内容共享。据Cisco VNI MobileForecast预测,2014年互联网上所有内容相关的流量将占据97.5%以上的份额,其中视频类流量(互联网电视、VOD和P2P)将超过91010。人们越来越关心获取内容的速度以及内容的可靠性和安全性,内容中心化正成为互联网发展的主旋律。

    互联网应对内容中心化趋势的技术方案主要包括两类。一类是基于现有TCP/IP网络体系结构的增量式内容传输优化方案,采用“打补丁(incremental)”方法增强现有互联网的内容分发能力,包括CDN (content deliverynetwork,内容分发网络)和P2P等技术,其本质是通过在网络功能结构的上层建立覆盖网络来实现内容分发支持,而下层对内容的基础传送能力仍然是无任何保证的无连接分组交换能力(即IP),内容存储的位置与内容本身、内容的组织(发现)方式和内容传递方式都没有直接联系,每次内容传递都需要多层、多次处理,传递效率低下且成本居高不下。另外一类是革命式的内容中心网络架构,采用“从零开始(clean slate)”的互联网体系结构设计思路,其中以内容为中心的设计思路得到广泛的重视。美国国家自然基金委员会资助的NDN(named data networking,命名数据网络)项目提出,以数据的名称(name)作为数据的唯一标识符在网络中进行路由和传递,不再需要主机地址的间接转换,缓解了传统方案传递效率低下的问题。

    总体上,增量式方案属于拼接式设计和改进,虽然在短期内缓解了互联网内容分发问题,但重重补丁进一步加剧了网络本身的复杂性。从长远看,革命式的内容中心网络着眼于发展支持内容的全新结构,将是未来以内容为中心互联网的根本解决方案。然而,近年来NDN等内容中心网络的相关研究仅专注于数据的命名和基于名字的路由和转发问题,而对于内容中心网络如何保证QoS这一内容分发传送的基本问题却未给出相关研究成果。提供用户满意的QoS保障是未来网络设计永恒的基本主题之一,研究并揭示应用内容的共性特征,提出针对内容共性特征的新型传送机理,创立具备高效内容传送固有能力的新型网络体系结构,实现内容中心网络的QoS保障具有重要意义。本文的研究目标是将网络对内容的支持从应用层“下沉”到基础传送层,加强传送能力对内容语义的针对性,同时还保持对内容类型的普适性。

2研究现状

    当前在各个以内容为中心的网络研究中,只要不改变互联网中IP主体和核心功能结构的,都属于“改良”型技术路线,如内容分发网络、P2P;而替代IP主体地位的则属于“革命”型技术路线,如目前提出的命名数据网络。

2.1内容分发网络

    CDN的基本思路就是通过在网络内部部署特定的内容服务器群结构,在现有互联网基础之上构建针对数据内容的一个虚拟网络。CDN系统能够实时地根据网络流量和各内容节点的连接、负载状况、到用户的距离和响应时间等综合信息,将用户的请求重新定向到离用户最近的服务节点上。CDN技术利用高速缓存和负载均衡网络,快速响应用户的请求,如果cache服务器中没有用户要访问的内容,它会根据配置自动到原服务器抓取相应的页面并提供给用户。因此,在CDN正常运行后,内容的分布、用户访问的定位全部是自动的。

    和传统的分发模式相比,CDN系统采用分布式服务,能够有效避免网络瓶颈的产生,提高应用服务器的服务能力,并最终改善用户的服务质量。CDN系统是一个经过策略性部署的整体系统,是一个缓存系统、负载均衡系统、内容分发管理系统的综合体。比较典型的CDN是美国的Akamai CDN,作为CDN的先驱,它拥有全球规模最大的CDN网络架构。最近的测量结果显示,Akamai CDN在全球分布了近300 000台边缘节点服务器,覆盖了69个国家近1 000个运营商的网络,全球50%以上的CDN通信量就源自于此。

2.2融合CDN系统与P2P技术的网络

    P2P技术的出现和成熟对很多网络应用程序产生了巨大影响。P2P技术能够利用客户端的资源,包括CPU、内存、存储和带宽资源进行内容服务。通过多种P2P技术或节点协助架构,能够大大减少内容分发对CDN系统和中心内容服务器的依赖。但是P2P技术的大量应用却导致了ISP(intemet service provider,互联网服务提供商)网络中通信量的增加,增加了网络负载。P2P缓存被用来减少这个负面影响,虽然能够有效减少部分区域ISP网络的通信量,但其显著缺点就是依赖于应用程序,P2P应用协议之间不能实现很好地兼容和更新,P2P缓存也不能有效地对网络中的存储进行控制。以下是几种典型的融合技术方案。美国普渡大学提出了一种CDN系统与P2P技术混合的数据分发架构,这一方案类似于BT(BitTorrent,比特流)系统,CDN服务器类似于BT系统中的tracker服务器,能够提供种子信息。与BT系统不同的是,它还是超级节点,能够提供内容下载服务。当其服务的peer节点达到一定数目,使得peer节点域中存在足够的内容时,CDN服务器节点就可以释放相应的内容,在其他的peer节点之间共享。参考文献[9]将C/S结构的流媒体架构和P2P架构结合起来,提出了一种混合视频下载/流媒体策略(hybrid video download/streaming scheme,HDS),此方案与美国普渡大学的方案类似,主要不同点为CDN服务器节点始终可以提供内容下载。当peer节点缓存的内容达到阈值上限时,就断开从CDN服务器节点的下载:当缓存内容减少到阈值下限时,peer节点再启动与CDN服务器的下载连接。P2SP直播q是将P2P技术与CDN流媒体技术有效结合的直播产品。它利用了流技术的特点,在核心层通过P2P方式提高骨干传输效率,并降低源站点负载,在边缘层通过就近的CDN节点将直播流分发给终端用户,从而彻底减轻了源站负载并保证了用户的接收速度和收看质量。P2P内容分发网络(P2P content delivery network,PCDN)是为顺应电信运营商需求而产生的,利用有效的CDN平台管理无序的P2P技术,它是结合了P2P技术的新一代CDN系统。其主要特点是将P2P技术的流量严格限制在同一边缘节点区域内,在边缘节点引入P2P技术来进行文件及流媒体的共享。

2.3命名数据网络

命名数据网络通过对互联网体系架构及相关网络运行、管理机制进行全新设计,将未来互联网打造成集计算、通信以及存储为一体的信息服务平台,具有更好的可扩展性、安全性和移动性等特点。NDN与TCP/IP结构的沙漏模型相同,仍采用7层结构,其底层协议用于适配底层物理链路,上层协议用于相关的应用。它与TCP/IP网络架构最大的不同点在于中间层用命名数据的方式取代IP,如图1所示。

    NDN中设计了两种协议分组:兴趣分组( interestpacket)和数据分组(data packet),分别用于寻找路径和传递数据内容。如图2所示,为实现有效的内容分发,NDN定义了由3部分构成的节点转发引擎模型,类似于现在网络中的转发信息库(forwarding information base,FIB)、用于存储内容副本的内容缓存(content store,CS)和用于记录兴趣分组进入端口信息的未决兴趣表(pending interest table,PIT)。当兴趣分组到达内容提供者时,携带数据内容、名字及其发布者签名的数据分组则沿着兴趣分组建立的反向路径传回给请求者。兴趣分组和数据分组的传递过程都通过基于名字的路由方式进行。NDN采用由内容请求者驱动的通信机制,查询的优先级顺序依次为内容缓存、未决兴趣表、转发信息库,具体操作如下:当NDN路由器收到请求者发送的兴趣分组后,首先利用兴趣分组携带的名字信息在内容缓存中进行最长前缀匹配查找,若内容缓存中包含兴趣分组所请求的内容,则直接将相应的数据内容通过端口进行响应,以提供数据内容并丢弃兴趣分组;否则,将在未决兴趣表中继续查询。

若未决兴趣表中包含与内容名相关的条目,则在条目中添加端口信息并丢弃兴趣分组,随后继续匹配转发信息库,然后根据端口信息进行兴趣分组的转发。若未决兴趣表中没有包含与内容名相关的条目信息,将兴趣分组按照转发信息库匹配进行转发后,需要把该兴趣分组到达的端口信息及内容名字添加到未决兴趣表中,供数据分组反向传递使用。

    数据分组的处理相对简单,当NDN路由器收到数据分组后,首先对数据分组的content name字段进行最长前缀匹配,若内容缓存中有相应数据内容,则将数据分

组丢弃,否则,在未决兴趣表中进行匹配。若未决兴趣表中有记录对应名字的条目信息,则按照端口信息进行转发,并删除该项未决兴趣表条目信息,随后将数据内容添加至内容缓存中;若未决兴趣表中没有匹配信息,则将数据分组丢弃。

2.4参数化自适应内容管线

    受NDN以“内容为中心”思想的启发,针对内容特征解析、内容管线结构、管线对内容特征的自动匹配3个方面展开研究,这3个研究内容将直接支撑在网络基础传送结构中嵌入被传送数据内容语义,创立具备高效内容传送的新型网络体系结构的目标。

    第一,揭示不依赖网络的应用内容共性特征。对各种内容进行正确、有效的传送是以内容为中心网络的核心目标。如果网络的基础传送能力要保持对内容类型的普适性,同时还具有对内容语义的针对性,一个关键问题是将网络支持的各种应用内容的特征有效分解为个性特征和共性特征,从而为构造具有语义功能的网络基础传送结构奠定了理论基础。

    第二,提出针对内容共性特征的新型基础传送机理。提高网络基础传送结构效率的关键是加强被传送数据语义的针对性,lP恰恰不具备这种针对性。本文为网络基础传送层引入数据内容语义的适度针对性,将各类应用内容的共性特征作为新型基础传送结构的语义需求,针对内容共性特征创新性,设计了基础传送机理——参数化自适应内容管线(parameterized adaptive content pipeline,PACP),通过这种不依赖网络的应用内容共性特征的适应机制和网络结构,使得网络基础核心层实现对各类应用内容的高效传送。

    第三,设计PACP对内容特征的自动匹配和自我适应机制。参数化自适应内容管线具备全新的基础传送能力,旨在从网络基础传送结构的角度改进各类应用内容的传送效果,具有4个重要性质:是网络的基础传送能力而非应用层功能;具有应用内容共性特征的强针对性:其结构是参数化的;具有对应用内容共性特征实例时变性的自动适应能力。

3内容特征解析

网络应用内容的特征是指组成相应内容的数据结构及时变规律。内容特征解析是后续传递管线构建和调整的基础,若建立的特征模型不足以刻画相应内容,将直接导致后续传递管线对内容的不适配。本文从多种角度刻画不同应用内容的固有特征,建立统一的多维内容特征模型,为不同内容自适应地建立不同规格的传递管线奠定基础。这些特征包括:时域特征、空域特征以及时一空域关联特征。时域特征。指内容的数据报文时序结构特性,包括传输时长、报文时间间隔分布、有效传输比等。对于不同类别的应用,其内容在时域特征上有较大区别,从而影响内容管线的规格调整。例如,流媒体业务的报文时间间隔分布具有较高的平稳性,而其有效传输比则较低。空域特征。指内容的数据报文空间结构特性,包括数据报文长度分布、平均报文数量、报文数量分布等。很多应用(相同类型或不同类型)的内容在时域上特征相似,但在空域上却表现出很大的不同。时一空域关联特征。指综合时域和空域的数据报文结构特性。当前网络环境复杂多变,网络内容在不同环境条件下表现出数据报文结构特性的特征可能不同,因此需要从不同域综合描述内容的特征属性,如图3所示。

4内容管线传输结构

    不同类型的内容数据具有不同特征,对于数据转发也有不同的传输需求。为了真正实现数据自适应转发,本文提出内容中心网络中的管线结构概念,用内容管线取代“尽力而为”服务的IP。内容中心网络中的管线结构(简称内容管线结构)是内容中心网络为了适应内容数据特征而设计的数据转发功能结构,该结构提供端到端的数据交换服务,并能够根据所传内容特征进行自适应调整,以保障达到其传输需求的网络结构。对于内容管线结构的研究主要包含数据交换模式、规格参数集和管道规格自适应调整机制3个方面。

4.1数据交换模式

在内容中心网络中,每一次数据传输都有一个兴趣分组和内容分组与之对应,兴趣分组和内容分组所走的路径相同,而方向相反。即当内容分组开始发送时,其转发路径是确定的,相当于网络为内容分组建立好了一个端到端的连接。这个特性是南于路由节点总会记录兴趣分组的状态而产生的,该特性也能为保障具有不同特征内容的传输需求提供便利。内容分组在传输过程中,节点可以根据内容名字以及内容特征,为该内容分组设置合适的管道规格参数,并沿着兴趣分组发送路径的反向进行数据传输。对于有多播需求的内容分组,当在某一个节点处需要进行多播发送时,则为每一个组成员设置合适的管道规格参数进行多播,如图4所示。用户A、B、C都向服务器S请求内容,请求成功后内容分组沿着兴趣分组所走路径反向发送,而且在节点R1和R3处进行多播。

4.2规格参数集

    为了适应内容特征的多样性,内容管线结构需要一系列规格参数进行描述。内容特征与管线的规格参数具有对应关系,前者表示内容传输需求,而后者表示底层网络的数据传输能力。

    通常用于表征网络数据传输能力的参数包括QoS参数,例如带宽、时延、抖动、分组丢失率、吞吐率、可靠性等。另外,还有一些其他参数用于表征一些特殊的传输能力,例如,安全等级参数用于表征安全传输能力。

    管线规格参数集的选取需要以内容特征与规格参数之间是否相互映射为检验目标,在选取规格参数的过程中,需要分析参数之间的关联关系,使得所选参数集在与内容特征合理映射的前提下,实现参数选取的简单化。

4.3管线规格自适应调整机制

为了能够在传输数据分组时满足内容的特征需求,网络需要根据内容的特征设置一组与之匹配的规格参数集,使得网络的传输能力能够满足数据传输的需求。同时,这个过程也是一个转发过程,使整个匹配规格参数集和数据转发的过程成为管线规格自适应调整的机制,如图5所示。

    管线规格自适应调整机制的设计需要结合内容中心网络原有的数据转发机制,将内容特征解析、管线对内容特征的自动匹配、管线规格参数设置等功能融合进去,最终得到一个能够正常运行的、无误的机制流程。

5  管线对内容特征的自动匹配

    本文旨在探索跟随时变应用内容特征的网络自适应性,从而为构建内容中心网络的内在机理与核心结构奠定基础。因此,在对内容特征和内容管线结构进行分析和研究之后,需要重点研究管线对内容特征的自动匹配。该研究内容包括内容特征和管线规格自匹配、时变需求和管线参数自调整、关联特征和管线参数的自适应。

5.1内容特征和管线规格自匹配

内容特征和管线规格参数分属不同的概率领域,不存在单纯的一一映射关系,而且作为映射中的像集合一管线的个数不能过于繁多,所以映射过程需要考虑管线间的聚合。内容特征和管线规格自匹配的研究充分借鉴了MapReduce计算模式,将匹配方法研究分解为单一特征一参数向量映射、参数向量叠加、参数向量聚合,如图6所示。

    单一特征一参数向量的映射是指各内容特征向量G的分量Ci到管线规格参数向量P的映射方法以及映射合理性的论证。首先分析各种类型的内容特征以及典型应用,然后参照现有的ATM、DiffServ、ITU-T等技术体系或标准来制定每类典型应用所对应的性能指标参数,从而完成单一内容特征到管线参数向量的映射。目前,下一代网络用户内容特征大致存在几种不同的分类方式:按照内容的基本属性和提供方式、功能特征、通信属性、会话控制、应

用属性等进行分类;典型内容的性能指标参数,包括绝对响应速度、分组丢失率、分组误差、时延、抖动、上行带宽和下行带宽等。将内容特征及典型性能指标参数关联起来,完成单一内容特征到管线参数向量的映射,能够在一定程度上简化映射问题。最后再进行抽象和最优化建模。

    参数向量叠加主要研究的是管线规格参数向量P之间的迭代操作(用符号O表示)以及不同参数的定义、描述方法和运算形式。针对不同参数的含义和运算规则进行特定方式的叠加,例如叠加过程可能表现为取值区间的交、并,数值的取最小、取最大、加减法等。

    参数向量聚合主要是对叠加之后产生的新参数向量集合进行聚类,并将得到的聚类中心Si(i1,2,…,k)转化为最终的管线规格参数。研究思路是通过机器学习中的聚类算法将需求相似的管线参数向量聚合到同一个簇中,然后再以簇为粒度进行管线规格的分配。聚类技术经过多年发展,形成了多种不同类型的聚类算法,每一类算法都有不同的特点和适用范围。目前常见的聚类算法可以分为划分聚类、基于密度的聚类、层次聚类、神经网络聚类、蚁群聚类、谱聚类等多种类型,但由于未来可能出现各种新内容特征,使得聚合过程不可能提前指定簇的个数。为了应对内容的数量和种类大量增加的情况,要求算法能够处理大规模数据,因此,选择层次聚类算法用于参数向量聚类更为可行。

BIRCH是一种比较典型的层次聚类算法,采取一种改进BIRCH的研究方案设计管线参数向量的聚类算法。BIRCH算法的整体流程可以分为4个阶段:输入所有数据,构建CF树;如果CF树占用的内存大于M,则提升阈值T,重建树:利用其他全局算法对CF树进行再聚类;优化聚类结果,并标记数据点所属的簇。对传统BIRCH的分裂算法进行改进,将密度分裂的思想引入BIRCH算法,使得密度相对集中的数据点更准确地聚为一类,实现改进后的分裂算法AS-BIRCH能更接近天然聚类的聚类结果。如图7所示,对管线参数向量聚合算法的实验结果分析可以看出.AS-BIRCH的聚类结果更为理想。

5.2时变需求和管线参数自调整

    内容特征和管线规格的匹配关系是跟随时变应用内容特征变化的,这种变化自调整过程需要兼顾内容网络路由转发的稳定性。为此,将时变需求和管线参数自调整的研究分解为自调整的周期设置以及自调整的触发函数和阈值设置。如图8所示,当内容中心网络中的局部内容特征发生变化时,原始匹配关系并不是最优的,调整后的匹配关系具有更好的聚合效果。

图8反映了时变需求和管线参数自调整研究的必要性。具体而言,本文中管线自调整的周期设置主要关注以何种方式触发管线的自调整检查,使网络的适应性和稳定性得到最大程度的满足;自调整的触发函数和阈值设置是管线参数调整的充分条件及其具体形式。

    触发函数设计了基于管线参数变化和基于聚类结果变化两种方式。基于管线参数变化的触发函数考虑的是物理链路中所有管线需求参数的聚合度变化幅度是否达到阈值;而基于聚类结果变化的触发函数考虑的是物理链路中新的需求参数聚类结果是否与原来的聚类结果存在较大差异。

    假设P.。为时刻t第i个管线需求参数向量,a为阈值,则在时刻t+At是否需要进行管线参数的调整,依赖于基于管线参数变化的触发函数,如式(1)所示。

假设6和6+分别为进行自调整前后的管线需求参数向量的聚类结果,为1表示管线需求参数向量P和只隶属同一簇,为0表示只和只不属于同一簇。亦是如此,为阈值,则当前时刻是否需要进行管线参数的调整依赖于基于聚类结果变化的触发函数,如式(2)所示。

5.3关联特征和管线参数的自适应

内容特征与管线参数的关联、匹配和自调整在内容中心网络中必须体现为一个完整的自组织控制系统,因此需要对关联特征和管线参数的自适应系统模型和控制协议进行研究。如图9所示,关联特征和管线参数的自适应状态转移是自适应系统模型和控制协议设计所需要具备的核心功能。以此为指导,本文对自适应模型的研究主要关注自适应系统对内容特征变化的实时认知和反馈控制,对自适应控制协议设计的研究主要关注分布式协议的管理效率和可扩展性问题。

结合对虚拟网动态调整和认知重构技术的研究,设计了内容中心网络中关联特征和管线参数的自适应系统流程,如图10所示,将本文所关注的3点研究内容有机串联起来,实现了管线参数跟随时变应用特征的自适应性。

控制协议通过扩展传统的SNMP来实现管线对内容特征的自适应。对于集中式管理方式,负责扩展管线构建和调整的中心节点controller,可以通过SNMP请求与响应方式,主动查询节点和链路中的内容特征和管线参数。控制协议按照触发条件可以分为周期性上报、内容特征变化时上报以及controller主动查询3种情况,如图11所示。

6性能分析与对比

基于第2节研究现状的描述,对CDN、P2P、NDN和PCAP进行对比分析,对比结果见表1。CDN和P2P这种增量式的互联网结构演进思路属于烟囱式、拼盘式设计和改进,虽然可以在短期内缓解宽带网络内容分发的问题,但是重重补丁进一步加剧了网络本身的复杂性,也使网络的全局优化更加艰难。以内容为中心的NDN路由问题因网络性质发生显著改变而变得十分复杂,获取内容路由机理以及性能等还远未得到深入研究。

7结束语

    本文提出了内容特征解析方法和内容管线结构,并研究了跟随时变应用内容特征的内容管线自动匹配技术。在内容中心网络的内在机理与核心结构方面的贡献主要包括如下3点。建立了内容特征的描述模型,刻画了内容的语义特性。该模型从时域、空域及其关联域等多角度描述不同应用的内容特征,跟踪内容特征的时变规律,解决了网络对不同应用内容的自适应匹配问题,为构建内容特征驱动的自适应传递管道奠定了基础。

在内容中心网络实现了一种新的数据传递模式一管线结构。在这种模式下,内容中心网络能够根据内容特征做自适应调整,并可以提供比“尽力而为”服务更加丰富的、能够满足不同特征内容传输需求的端到端数据传输服务。

提出的管线对内容特征的自动匹配方法有利于提高内容中心网络的自适应性,具有较好的实用性。初步提出了实现管线对内容特征的自动匹配方案:利用MapReduce模式分别完成单一内容特征到管线参数向量的映射以及管线参数向量的规约:通过设置管线参数向量聚类度阈值和聚类结果差异阈值,兼顾了管线参数跟随时变应用内容特征的适应性与稳定性。因此,该自动匹配方法具有较好的实用性。

8摘要:

    以内容为中心是未来网络的发展方向。当前网络以实现主机互连为核心,其下层传送单元无法表征上层内容的语义。拟归纳各类应用的内容特征,构造针对内容特征的网络传送结构——参数化自适应内容管线,构建内容特征到管线的映射,将内容特征归一化为管线参数,建立内容特征驱动的自适应传递通道。主要研究内容特征解析、内容管线结构、管线对内容特征的自动匹配等,其结果实现变化特征动态提取、管道参数实时计算、管道规格跟随调整。

关键字:

上一篇:成果介绍: 凹凸棒黏土助留助滤效果研究

下一篇:关于固溶处理对高纯Al-Cu-Mg合金组织及性能影响的探讨

行业资讯月点击排行

展会信息月点击排行

招商信息月点击排行

首页 资讯 招标 项目 展会
关于我们 | 广告服务 | 友情连接 | 联系我们
触屏版 电脑版
安装信息网 www.36qyk.cn.