总第13期
2018年5月刊
Solution    方案
Solution    方案
应用驱动通信云方案架构及业务承载设计
文/黄小东
分享

随着运营商转型业务的加速,传统数据中心(DC)机房向NFV/SDN化转型,不同业务(核心网/城域网/企业专线等)都在运营商不同局点进行了相应的试点,并取得了不少积极有效的成果。接下来,运营商为了打破不同业务的软“烟囱”,希望使用一套云+网的基础设施来承载所有移动和固网的业务,这对数据中心的网络、虚拟化云平台、运维管理等都提出了新的要求。本文从单数据中心重构的角度,重点阐述了如何进行应用驱动通信云的架构设计。

应用驱动通信云的整体架构

应用驱动通信云的根本目标是在统一的NFVI基础架构上承载不同业务网元,从CORD的角度来看,就是需要承载三类CORD业务。图1展示了应用驱动通信云在整体系统架构中的位置及与CORD的关系。

图1 应用驱动通信云在整体系统架构中的位置及与CORD的关系

按照这个目标,单数据中心应用驱动通信云的设计按照一套基础网络架构、一套虚拟化云平台、一套管理运维系统方式来建设,同时在数据中心边缘分CORD设置相应的接入网关,完成三大CORD的业务流量导入,如图2所示。接下来将从不同纬度阐述应用驱动通信云的设计及相应案例。

图2应用驱动通信云数据中心架构图

统一通信的网络设计

应用驱动通信云的网络架构设计旨在将城域网数据中心化,有效地利用各散落的POP点机房,将运营商的城域网与业务从网络基础架构的层面上实现统一。具体做法是在地市构建云计算中心部署云计算平台、SDN,作为核心节点。在网络部署上,整个城域网借鉴数据中心的架构,核心节点部署Spine-Leaf架构。整个城域网推荐采用分布式VxLAN网关+EVPN的方式部署,属于SDN弱控,可靠性高。整个核心数据中心的Fabric相当于一个逻辑的具备二、三层交换的高密度端口交换机。区县机房部署各类业务的接入设备,采用VxLAN隧道或者VLAN Hand off等方式灵活地接入数据中心。根据需要也可在边缘部署计算资源,以支持边缘计算需求。

地市核心机房:部署Spine交换机和Leaf交换机,Spine交换机可以选择部署在不同的机房,多套,实现ECMP负载分担和可靠性保障,作为城域网RR; Leaf交换机下挂NFV网元,按照分区部署原则,分为管理区、业务区、存储区等;管理区部署CVM、SDN控制器、云平台等;业务区部署部分用户处理R-Cord、E-Cord、M-Cord以及IT业务、物联网业务网元等。

存储区部署存储;核心机房还需要部署出口设备,实现业务的南北向访问;访问公网的需求以及实现DCI的需求,单独部署Bord-Leaf设备实现;对于部分需要走MPLS l3VPN的业务,比如ITMS、VOIP、专线等,建议分设PE实现,也可以和Bord-Leaf合设,视产品能力变动;为了可靠性和负载分担,出口设备均需要分布式多个部署。

边缘节点机房:传统的汇聚接入机房一般部署MSE硬件转发设备以及汇聚交换机、OLT等硬件设备。在应用驱动通信云的架构下,视需要在边缘节点部署VxLAN设备,边缘将业务汇聚分流至核心数据中心内部网元处理。

VIM的设计

为满足一套虚拟化云平台VIM承载所有业务网元的需求,除了需要满足电信级性能及可靠性要求外,还需要从以下方面考虑:

1.资源要求。CT的资源分配原则和IT完全不一样,IT资源分配是最大限度地保证资源共享,因此往往需要资源的超分配,而CT资源分配重点考虑的是性能和稳定性。下面从以下方面进行说明。

● CPU:为保证CPU的高效利用和隔离,需要VIM支持CPU核绑定和NUMA亲和性/反亲和性等特性,同时需要将主机CPU、OVS的CPU都单独隔离使用。

● 内存:需要支持大页内存分配,建议以1GB为单位,以确保虚拟网元分配内存的连续性,同时NUMA亲和性可以保证CPU高效地访问内存。

● 存储 :一般对存储没有特殊要求。

● 网络:网络方面根据业务对网络性能的要求,主要有两类网络:一类是共享使用虚拟交换机OVS,主要为对网络性能要求不高的业务网元使用,如控制面的网元。另外一类是使用物理层虚拟化的SRIOV网卡技术,这种方式相当于虚拟网元透传使用物理网卡。

2.网络要求。主要包括数量和解耦要求。

● 网络数量扩展:对于单业务承载的云平台来说,不存在网络数量不够的问题,而承载了众多不同厂家不同业务网元后,势必将导致需要使用的隔离网络数量超过VLAN 4094的限制,因此扩展网络数量也就势在必行。具体实现技术建议采用VxLAN的网络承载,同时引入SDN控制器。

● 网络解耦:为简化VIM的设计与管理运维,需要将业务网络与承载网络隔离。为达到这个要求需要支持VLAN透传,虚拟交换机和SR-IOV需为Flat、VLAN和VxLAN类型的虚拟网络提供基于QinQ的VLAN透传支持。

3.QoS要求。虽然VIM通过很多绑定类技术将CT网元使用的资源隔离独享使用,但还是存在一些资源必须共享使用的情况,网络和存储是两类具有明显共享特征的资源。因此VIM也需要引入QoS能力。

● 网络QoS:需支持为OVS和SR-IOV提供基于DSCP、最小带宽保证及最大带宽限制策略的QoS功能。

● 存储QoS:VIM需支持基于卷类型配置存储QoS功能,通过创建QoS策略,关联给卷类型后,从该卷类型创建的存储卷即可应用该QoS策略。

SDN设计

在数据中心虚拟化网络中,VxLAN是主流推荐的Overlay方式。根据VTep节点所在位置的不同,可分为网络Overlay和主机Overlay。SDN控制器通过给VIM提供相应的网络插件,实现VIM与SDN的联动,为业务网络提供混合Overlay网络支持。主机Overlay方式使用OVS作为VXLAN的VTep点,对于网卡SRIOV方式,一般采用上连的TOR交换机作为VxLAN的VTep点。同时在部署SDN时,需要考虑以下几点:

● 安全要求。SDN控制器管理采用Https或IPSec时,要求虚拟层支持Neutron到SDN控制器间的数字证书。

● VIM网络Neutron具备嵌入SDN控制器厂商提供的SDN Controller驱动的能力。

● Hypervisor应采用单一的虚拟交换机。虚拟交换机需支持OpenFlow协议及OVSDB配置协议,通过接收SDN控制器下发的流表,实现不同业务系统隔离、二/三层业务转发、虚拟机限速、虚拟机流量统计及端口镜像等功能。

● 虚拟交换机需支持SDN控制器主动模式,即由SDN控制器发起OVSDB连接请求,虚拟交换机应答。

● 虚拟交换机需支持分布式网关功能。

● Neutron需支持VxLAN类型的虚拟网络,Hypervisor需支持在启用了DPDK的虚拟交换机上建立VxLAN隧道的能力。

● 当Neutron对接了SDN控制器时,VIM需具备禁用所有VIM节点、Hypervisor节点上的Neutron-OVS-Agent(或同等作用的厂家私有服务)、Neutron-l3-Agent(或同等作用的厂家私有服务)的能力,但保留SR-IOV相关的Agent。

MANO及运维管理

多业务统一编排及运维管理是一个非常大的课题,在此不再展开。但由于在应用驱动通信云环境中管理运维至关重要,因此,要求管理运维相关节点部署在可靠安全的区域。同时为了保证可靠安全的管理接入,建议在有条件的情况下,建立物理隔离的管理网。如果没有条件,需要在现有网络中单独规划逻辑的隔离管理网(采用VLAN或VxLAN技术均可),同时在VIM中将相应的网络号剔除,以免业务网络使用冲突。具体网络规划建议如图3。

图3应用驱动通信云的管理网

承载案例

应用驱动通信云的架构可以统一承载运营商的各类CT和IT业务,包含家庭R-Cord业务、企业E-Cord业务和移动网M-Cord业务。下面通过R-CORD和E-CORD的案例来说明应用驱动通信云的承载。

1. R-Cord业务的承载

家庭业务主要包含宽带上网、ITMS、VoIP、IPTV几类,这其中ITMS、VOIP等业务属于大会话、小流量业务,适合将对应的承载NFV网元vBRAS部署在地市核心机房,便于统一管理、提高利用率,根据业务潮汐进行扩缩容、故障备份等。而宽带和IPTV这种业务属于大带宽业务,可以视情况将NFV网元部署在靠近用户的边缘机房,挂载在R-Cord接入设备Pool-GW之下,成为PPPoE资源池。IPTV作为运营商力推的自营增值业务,需要更高的用户体验性能,推荐采用基于交换机的转控分离的方式,边缘部署数据报文转发交换机,具体可用POP点HJSW交换机作为转发节点,核心数据中心内部部署控制层面的NFV网元,如图4所示。

按照这种模式,目前江苏电信、江西电信已经部署超过100万用户规模的业务承载,山东联通枣庄实现业界最大规模的全业务承载,实现现网BRAS硬件设备的替代下线,事实证明已经具备商用能力。

图4 R-Cord业务承载

2. E-CorD业务承载

在核心数据中心内部部署NFV的vCPE网元资源池,用于处理企业业务,园区CPE设备和核心数据中心的园区汇聚交换机建立VxLAN隧道,园区汇聚接入交换机通过Hand Off的方式,和核心数据中心的Border设备(本例为Spine)建立VLAN连接,将园区业务接入数据中心,再通过数据中心内部的VxLAN网络访问vCPE设备,通过vCPE设备处理后,决定是访问公网还是转发至本地其他企业接入设备,如图5所示。按照此模式,在江苏、上海、广东等地很好地实现了双创园区的云网融合一体化应用。

图5 E-Cord业务的承载

结束语

本文重点从改造单数据中心入手,提出了一种可行的方案架构,可作为运营商实际数据中心云化改造的参考。同时,对于更大一级的区域数据中心如何改造,整体拉通区域数据中心、本地核心数据中心、边缘数据中心,做到全区域资源共享,业界也有多种不同的解决方案。如OpenStack的Nova Cell v2可以解决单OpenStack计算节点数量限制问题,以扩展单数据中心计算节点的数量;多OpenStack管理采用多区域(Region)、Cascading或Tricircle方案,可覆盖多数据中心、分级数据中心的场景,同时对应的网络及SDN设计也将变化,具体部署方案需要继续和运营商调研,并不断完善应用驱动通信云架构,以满足运营商业务转型的要求。

分享到
关闭