董铮 ，唐海军
（1．中国电信股份有限公司南京分公司政企客户支撑中心南京210008；2．西南石油大学经济管理学院成都610500）
摘要：为提升政企高端市场宽带保障的服务质量和客户满意度，南京电信政企客户支撑中心综合考虑客户接人设备层次、网络管理水平和客户需求等因素，以公司推进的维护服务产品化工作为契机，创新性地提出基于路南交换技术的静态专线宽带冗余备份方法，并及时在省市级重点保障大客户中推广，极大地提升了政企大客户的静态专线宽带接入冗余保障能力。
1 引言
随着互联网的快速发展，以网络通信方式为主要对外数据传输手段的政企客户，如企业、政府和金融单位等，对宽带服务的稳定性、可靠性等因素都有极高要求。南京城市发展日新月异，愈加频繁的市政施工开挖导致光缆中断故障频发，政企客户网络中断造成政企客户的投诉时有发生。客户对静态专线宽带稳定性和可靠性的需求，要求必须综合考虑客户接入设备层次、网络管理水平和客户网络应用场景等因素，以公司大力推进的维护服务产品化工作为契机，探索基于路由交换技术的静态宽带冗余备份方案。
2创新方法形成背景
2.1 传统政企客户静态专线宽带保障方法
传统运维部门对于大客户服务所提供的保障手段比较有限。在日常维护中，遇到大客户障碍通常的处理流程是：10000号客服人员接到用户电话申告，客服人员在综合调度系统形成障碍单，网管人员收到障碍单判断障碍原因派单到相关部门处理，相关部门处理障碍，障碍恢复，回访客户。流程如图1所示。
如果按照传统政企客户静态专线宽带保障方法，故障发现时间、故障原因查找、故障抢修时间、运维人员技术水平等诸多因素都制约着大客户服务水平的提升，极大地影响了政企客户专线障碍的修复历时，降低了政企客户的服务满意度。
2.2维护服务产品化工作的要求
“维护服务产品化”是中国电信充分发挥网络及服务优势、整合后端能力、通过顾问式销售彰显维护服务价值、提高客户感知的一项重要工作，目前重点推广网络安全、客户网络监控、IT维护服务以及会议服务4类维护服务产品。深化营建维护一体化，推动维护服务手段互联网化，并大力发展维护服务产品，凸显差异化市场优势；不断拓展产品化项目，扩大维护产品服务范围，面向公众客户推进装维服务产品化，促进客户满意度与运维价值双提升；发挥运维差异化优势，整合内外部资源，积极发展和运营政企维护服务产品；在智能管道运营方面，推动网络由“业务被动适应网络”向“网络主动适应互联网应用”转变，前后端协同开发运营智能管道产品，挖掘网络数据价值支撑大数据业务运营。
2.3政企客户静态专线宽带障碍对南京电信政企客户维系的影响
政企客户作为运营商重要的收入来源，长期稳定忠实的客户关系是所有运营商都尽最大努力加以发展和维系的对象。而在这些政企客户关系中，作为最大收入来源的行业大客户又是竞争的焦点。由此可见，行业大客户对运营商提供的电信服务是否满意在很大程度上决定了运营商未来的业务收入能否得到保障。确保行业大客户静态专线宽带的稳定性和可靠性，对于提升大客户服务满意度、体现电信高端服务差异化、维系大客户关系有着举足轻重的作用。
3静态宽带接入冗余备份方案
3.1 基于LACP的方案
采用基于LACP（link aggregation control protocol，链路汇聚控制协议）链路聚合的光路保护方案，通过对两条光路的逻辑捆绑，实现电信汇聚交换机和用户出口设备间的二层链路保护，即双光路捆绑LACP聚合。捆绑的两条链路双向流量负载均衡。两条光路接入端口组成1个汇聚组，出／人流量在两条光路和汇聚组两个端口中实现分担，当一条链路的两端端口有问题或光路有问题时，则出／人流量将自动切换至另一条链路。具体实现拓扑如图2所示。
本方案要求现有的主用宽带必须为裸光纤直联的光纤宽带，因此如果是PON宽带必须改造为直连汇聚交换机的光纤宽带且撤除光纤收发器。在现有主用宽带基础上，正常新开一条备用光纤宽带，主备光路采用两条裸光纤直联且分别走完全不同的光路由，接中国电信汇聚交换机的不同板卡端口，实现光路保护及上联板卡保护。由于中国电信汇聚交换机为双主控板卡、双电源和双上行业务控制层路由器，保证从客户端出来后全程无单点故障。
在中国电信汇聚交换机对主备两条宽带进行端口LACP捆绑配置，注意按照主用宽带IP地址配置备用端口封装的VLAN数据。客户端可以利旧或新增一台支持LACP的客户端交换机，设备至少具备两个单模光口用于宽带接入，客户端设备进行LACP端口捆绑配置。
3.2基于静态路由协议和BFD保护机制的方案
(1)BFD协议
为了提升网络性能，相邻系统之间必须能快速检测到通信故障，从而更快地建立起备用通道恢复通信。可以通过BFD (bidirectional forwarding detection，双向流检测)协议来快速检测到相邻系统之间的通信故障。BFD协议为链路提供双向的检测功能：在双向链路两端同时发生检测报文，检测两个方向上的链路状态，实现毫秒级别的链路缺陷检测；提供异步和查询两种检测模式：异步模式是指各系统间相互以协商的周期发送BFD控制报文，如果某个系统在检测时间内没有收到对端发来的报文，置会话为down状态；查询模式是指假定每个系统都有一个独立的方法，确认自己连接到其他系统。提供对BFD控制报文参数的动态改变功能：会话建立后，动态地改变BFD的相关参数（例如最小发送间隔、最小接收间隔、使能或禁止查询模式、回声报文、报文认证等），两端系统通过发送相应的协商报文后采用新的参数，不影响会话的当前状态；提供对单跳和多跳的双向流检测；提供BFD检测结果，通告给注册到BFD的模块使用，以便支持对其他模块的相关处理操作。
(2)方案总体情况
采用基于静态路由协议和BFD保护机制的方案，通过双宽带裸光纤接入、宽带服务地址与互联地址分开并发布、中国电信城域网SR、客户端交换机设备BFD机制，实现向客户侧的流量主备或负荷分担、向电信网的流量主备或负荷分担。网络拓扑如图3所示。
两条宽带通过汇聚设备接入SR/BRAS设备，可以采用直连汇聚交换机的方式或者EPON FTTB/FTTH的接入方式。两条宽带光缆分别走完全不同的光路，接不同局向的SR/BRAS设备，即需保证两条宽带的双光路、双局向接人（接入不同局向的汇聚设备和SR），在物理链路上保证可靠性。
与普通静态宽带只有一个地址段不同，本方案要求两条宽带在各自的互联地址外，再使用一段服务IP地址，通过在局端SR/BRAS配置指向客户侧的静态路由并配置IBGP向中国电信网发布服务IP地址网段，实现从中国电信网至客户网络的数据分组路由负荷分担或主备。客户端现有设备的组网架构不变。客户自备一台出口路由器，提供2个以太口用于两条宽带接入。新增的出口路由器的两个出口配置互联IP地址，互联接口IP地址与服务IP地址分开。
两台SR/BRAS设备分别配置静态路由，指向相应的客户网络互联接口。两台SR/BRAS设备通过IBGP向电信城域网发布服务IP地址网段，通过metric(MED)值或localpreference值优先级设置实现电信网至客户网络流量的负荷分担或主备，并分别配置向客户网络的BFD。电信网配置实现至客户网络两条宽带的流量负荷分担或主备。当SR/BRAS设备的BFD机制检测一条宽带至客户网络不通时，电信网至客户侧的静态路由将自动失效，用户路由（服务IP地址段）将无法通过IBGP向电信网发布，电信城域网核心出口路由器CRS设备则将该条宽带的流量自动切换至另一条宽带，实现用户宽带双路由保护。客户出口路由器配置向电信网的静态路由，通过优先级设置实现向电信侧的负荷分担或主备。
3.3基于EBGP动态路由协议和VRRP保护的方案
(1)VRRP
通常内部网络中的所有主机都设置一条相同的缺省路由。所有内部主机到网络外部的报文将通过缺省路由发往网关（即图4所示的路由器），从而实现主机与外部网络的通信。缺省路由的配置比较方便。但是这样的配置需要缺省网关设备具有很高的稳定性，因为在这种配置下，一旦网关设备发生故障，内部网络中所有主机与外部通信将全部中断。VRRP（virtual router redundancy protocol，虚拟路由冗余协议）是由RFC2338定义的一种容错协议，通过物理设备和逻辑设备的分离，很好地解决了上述网络问题。VRRP将局域网的一组路由器组织成一个备份组，功能上相当于一台虚拟路由器。
局域网内的主机只知道这个虚拟路由器的IP地址，并不知道备份组内某台设备的IP地址，它们将自己的缺省路由下一跳地址设置为该虚拟路由器的IP地址。局域网内的主机通过这个虚拟路由器与其他网络进行通信。VRRP机制将该虚拟路由器动态关联到某承担传输业务的物理路由器上，当该物理路由器出现故障时能再次选择新路由器来接替业务传输工作，整个过程对用户来说是完全透明的。在具有多播或广播能力的局域网（如以太网）中，通过VRRP能提高缺省链路的利用率，而无需修改动态路由协议，路由发现协议的配置信息。VRRP路由器可以工作在主备模式，主备备份方式需要一个备份组，该备份组包括一个主用路由器和若干个备份路由器。VRRP还可以工作在负载分担方式，负载分担方式是指多台路由器同时承担业务。
(2)总体路由策略
总体路由策略使用EBGP+直连路由策略。城域网SR/BRAS路由器和客户端路由器设备通过互联地址建立EBGP邻居关系。城域网SR/BRAS路由器设备使用EBGP发布默认路由给客户端路由器设备，只允许客户业务网段路由通过BGP进入。客户端专线接入路由器使用EBGP发布客户端业务网段路由，通过metric(MED)值或local preference值优先级设置实现电信网至客户网络流量的负荷分担或主备，接收城域网SR/BRAS路由器设备发布的默认路由信息。客户端专线接人路由器的BGP自治域系统AS号使用私网AS号，与城域网SR/BRAS路由器设备建立EBGP邻居关系。总体网络路由策略设计如图4所示。
为防止用户内网二层交换机故障，使用两台二层交换机互为主备，两台交换机启用STP，两台交换机之间以两对网线互联（防止网线单点故障）。
(3)客户端设备VRRP规划
为按预定计划实现数据流向，并实现客户端设备及线路冗余需求，客户内网出口路由器采取VRRP功能实现。客户端两台路由器对内启用VRRP，并将其中一台专线接入路由器A，优先级设置较高，另一台专线接入路由器B，优先级设置较低。专线接人路由器A为VRRP主设备，接人路由器B为VRRP备设备。同时开启VRRP的抢占功能、对上联线路的监测功能，实现两台设备根据上联广域网线路通断情况进行自动主备切换。VRRP功能具体实现时，可以使用两台接入路由器的交换端口互联（下联至交换机）作为L2心跳线，并设置端口类型为access方式，使用三层接口VLAN1用于VRRP协商。协商VRRP虚拟地址作为终端用户网关地址。客户内网VRRP规划如图5所示。
(4)数据流向分析
网络各设备运行稳定正常时，业务数据流向为：互联网HSR/BRAS设备A←→静态专线←→专线接入路由器AH交换机H客户PC终端。数据流向分析如图6所示。
当网络设备或线路出现故障时，网络可以通过冗余设备或冗余线路恢复，并继续通信，减小网络故障带来的损失。主要表现为：如果客户内网交换机宕机或互联线中断，由于客户内网交换机运行STP且客户内网交换机通过两条网线做线路聚合，客户内网到专线接入路由器A之间的互联不会受到影响：如果专线接人路由器A宕机，专线接人路由器A与城域网SR/BRAS设备A之间的EBGP中断，路由协议失效；VRRP检测到专线接人路由器A宕机，专线接入路由器B通过VRRP自动协商成主设备，所有终端设备数据通过专线接人路由器B进行转发通信；如果主用专线故障，专线接入路由器A与数据中心汇聚路由器EBGP中断，路由协议失效，VRRP检测到专线接人路由器A的接入专线故障，专线接入路由器B通过VRRP自动协商成主设备，数据通过接入路由器B进行转发通信。
3.4 3种保障方案的横向比较
基于LACP链路聚合的光路保护方案由于只是在客户端到汇聚设备使用双路由，实施部署简单快速，维护难度较低，成本也较低，但采用此方案存在汇聚交换机及客户接入交换机的单点故障，可靠性相对较低。
基于静态路由协议和BFD保护机制的方案在客户端到电信SR/BRAS业务控制层设备全程使用双路由，成本相对LACP方案较高，实施部署和维护的难度也相对较高。采用此方案在电信侧全程没有单点故障，只在客户端存在客户出口路由器单点故障，可靠性相对于LACP方案较高。
基于EBGP和VRRP保护的方案在客户端到电信SR/BRAS业务控制层设备全程使用双路由，且客户端采用双出口路由器、双核心交换机的配置，成本在3种方案中最高，实施部署和维护的难度也最高。若采用此方案，在电信侧和客户端全程都没有单点故障，可靠性在3种方案中最高。3种保障方案的横向对比见表1。
4方法应用和成果体现
4.1 保障方法应用流程
应用流程：前端提取潜在的省市级大客户的静态专线宽带冗余备份的目标清单，由政企客户支撑中心牵头后端网络操作维护中心、接入维护中心，提取此部分用户的网络设备、线路情况，分析提取用户局向、接入光路由和网络设备等因素，制定可行的静态专线宽带冗余备份改造方案，并由政企客户支撑中心工程师和客户经理一起向客户提出改造的建议方案，客户同意改造后签署合同，在前台BSS受理相应的宽带备份销售品，之后由电信负责实施方案，客户工程师配合。流程示意如图7所示。
4.2保障成果及后评估
截至2015年5月底，已经完成了54家省级大客户和118家市级重点保障客户的静态专线宽带冗余备份工作，提前发现主用宽带故障44起（均已经及时通过派发网络层工单修复），由于宽带保护的作用，主用宽带故障均未导致客户网络中断。从最近一次客户经理上门拜访反馈的情况看，客户满意度良好。查询综合调度系统中未做静态专线宽带冗余备份的政企客户，2015年5月份故障率为
2.4%．远远高于做静态专线宽带冗余备份的政企客户的故障率（几乎为0），进一步证实了此创新方法的科学性和实践性。
5结束语
随着宽带互联网的快速发展，以网络通信方式为主要对外数据传输手段的用户（如企业、政府和金融单位等），对于宽带服务的稳定性、可靠性等因素都有极高要求，且城市发展日新月异，市政施工工程量越来越多，导致光缆中断故障频发，引起政企客户网络中断而造成大客户投诉时有发生。政企客户支撑中心以公司对维护服务产品化工作的推进为契机，创新性地提出基于路由交换技术的静态宽带冗余备份方法，并及时在省市级重点保障大客户中推广使用。经过半年以上的实践，政企客户静态宽带可靠性和稳定性大大提高，客户满意度不断提升，申告数量下降明显，充分论证了该方法的科学性和实践性。该方法尤其适用于对宽带稳定性要求高的政府、金融和证券单位。新方法降低了客户互联网业务的故障率，体现了电信运维服务的差异化优势，提升了客户满意度，加强了对客户的维系程度，提升了政企客户收入，同时也符合公司维护服务产品化的要求，体现了电信后端的维护价值。
