.

基于可编程网络的算力调度机制研究

体例起原:《复兴通信技能》年第三期

做家:李铭轩/LIMingxuan、曹畅/CAOChang、杨建军/YANGJianjun

纲要:

联结最新的可编程网络技能,提议了算力资本调换技能,并引见了技能架谈判算力调换机制。在算力资本调换技能架构的原形上,进一步提议了集体平台性能架谈判编程架构。基于可编程网络的算力资本调换技能治理了今朝算力调渡历程中没法完结的网络参数题目,进而也许更好地完结网络和算力的合并。

关键词:

可编程网络;云原生;P4;无效劳

01

可编程网络引见

现有的网络技能特为是SDN技能的进展,使得保守网络转发装备也许从固化在芯片上的转发机制向基于通用芯片承载的转发机制动弹,同时也可认为SDN的完结带来或者性[3]。现有的以SDN为代表的可编程网络完结技能,主假如基于可编程的网络协定和转发管制协定:运用平面的网络运用通过管制平面的管制器向底层的数据平面SDN数据转发装备下发路由协定和转发计谋,进而完结网络转发机制[4]。SDN网络架构如图1所示。

图1SDN网络架构图

基于上述SDN网络架构,网络运用通过管制器对SDN路由器的转发机制停止管制。数据报文从源端效劳器,经SDN路由器,发送至目标端效劳器。在此历程中,网络运用程序也许通过管制器来抉择不同的转发路途,停止数据转发链路的路由。在全部网络架构中,为了完结两层解耦,也许通过南向接口对底层数据平面的转发性能停止封装,完结管制器和路由器之间的对接;再通过北向接口对SDN管制手腕停止封装,对表层运用供给统一的手腕怒放。网络运用则通过挪用北向接口来完结对管制器的挪用和管制[5]。

1.1可编程网络技能架构

SDN的可编程网络技能架构,也许完结SDN路由器的流量转发计谋管制和软件界说设定。在数据转发平台,现有技能从原有的基于OpenFlow协定关联的数据转发,渐渐演进到与协定无关的面向高档编程的数据转发平面。可编程网络技能通过代码级的自界说网络数据平面来完结可编程手腕,同时还也许完结数据转发管制和计谋[6],详细完结过程如图2所示。

图2可编程网络数据平面笼统转发模子图

遵循替换机的设置,保守的可编程网络数据转发对说明表和管制流停止编程,而且将说明表下发至数据转发平台的说明器中,再通过管制流编程将行为般配设置下发至数据转发平台的行为般配表中[7]。

数据流在输入时,首先通过说明器停止报文说明,并通过Ingress负载平衡器停止转发设置以完结行为般配设置,而后投入转发的行列和保存中等候;数据流从行列中出栈时,先通过对应的Engress反向负载平衡器的说明,再停止报文输出,进而完结了完全的数据平面数据转发机制[8]。

1.2管制面/用户面分别完结机制

保守的SDN技能通过管制面和数据面的分别,完结了网络数据流转发和管制计谋订定之间的分别,也为基于可编程网络的算力调换供给了或者。

从上述的技能架构也许看出,现有的SDN技能完结了两层解耦:一方面,将管制器集结于表层管制面,完结了对SDN路由器或数据转发装备的统一治理;另一方面,使数据平面的SDN路由器和转发装备摆脱了保守形式(固化在装备内),并使得转发性能和转发规矩通过南北向接口怒放至表层管制器和网络运用。这类管制面/用户面分别机制,为网络可编程的进一步完结供给或者。

02

算力调换机制

跟着云打算技能的继续进展,原形设备范畴已有越来越多的企业采取云计当做为统一资本的治理方法。跟着云资本池范围的继续扩张,算力节点的调换紧要采取散布式的方法;而保守的基于云打算或云原生的算力资本调换因而假造化技能和历程同享技能来完结的[9]。基于OpenStack或Kubernetes的算力资本调换将算力节点的闲暇度做为算力调换计谋的紧要评判根据。本文中,咱们以Kubernetes的资本调换组件Scheduler为例,要点阐明云原生的算力调换机制。

Scheduler是Kubernetes的焦点组件,负责为用户表明的Pod资本抉择符合的算力节点,同时保证集群资本的最大化行使,其职责资本调换过程如图3所示。

图3调换器原形资本调换机制图

现有的Kubernetes资本调换机制遵循用户的央求,从资本治理器中猎取资本消息,而且遵循详细的调换计谋将职责调换至详细的算力节点上。

在网络可达的情景下,现有Kubernetes算力节点运转状况监控紧要通过算力节点代劳监测的方法来完结,通过搜聚和上传算力节点上的CPU、保存、内存等消息,而且将这些消息上传至资本治理器中,资本调换器再遵循用户须要停止计谋调换,进而将职责调换至指定的算力节点上[10]。

这类算力资本调换机制固然也许治理散布式处境中、算力资本非平衡情景下的算力动态调换题目,但必需基于网络可达的情景。该机制并没有斟酌到网络品质、算力节点的衔接,以及传输历程中的网络情景。跟着散布式打算,特为是大数据等多集群乃至是跨数据核心协同责罚的进展,网络的数据传输品质不时会成为影响表层用户领会的关键成分,同时也会成为跨数据中默算力调换和集群高效协同的限制成分。保守的算力调换机制仅完结了打算资本在非平衡状况下的动态调换,却未虑网络的效劳品质(QoS)或领会品质(QoE)。在算网合并运用马上进展的趋向下,保守的算力调换方法已没法满意现时须要。

SDN技能,特为是可编程网络技能的进展,督促网络手腕进一步怒放、可编程化,并使保守算力调换机制也许更好地合并网络成分。本文中,咱们通过算力和网络协同的方法来完结算力最优化调换,极地面表现了网络在数据传输和转发方面的上风。

03

基于可编程网络的算力调换计划

基于网络的可编程、可管制等手腕,并结划算力节点闲暇度和打算手腕等成分,基于可编程网络的算力调换机制也许在网络路由和路途抉择方面完结算力调换。本文中,咱们探索了通过编排调换方法来完结算力效劳的编排和治理,以及可编程网络手腕的怒放。

3.1集体网络架构

基于可编程网络的管控分别手腕,本文在Kubernetes原有调换方法原形上,进一步探索了基于可编程网络的算力调换机制。此中,网络拓扑采取数据管制面和数据转发面分别形式,容器打算集群承载详细的算力分派和容器承载,管制集群和可编程网络的数据管制面临接以完结网络管制。基于可编程网络的技能架构如图4所示。

DC:数据核心

图4基于可编程网络的技能架构图

基于可编程网络的算力调换架构,面向散布式集群通过容器管制集群,向数据管制面下达网络管制指令;通过管制器,向数据转发面的转发装备发送数据转发计谋和数据路由表等网络转发协定;通过数据转发面接入的打算集群,完结算力节点的调换和容器承载。基于可编程网络架构的数据转发,也许变动原有容器资本仅能在Overlay的数据核心内调换的情景,完结基于Underlay的跨数据核心的算力资本调换[11]。

在每一个算力节点上,该架构采取保守的master/agent形式来代劳、宣布算力节点的打算、保存和运用输入输出(IO)等情景,并试验将这些情景反应至管制集群中效劳器的调换器,进而完结集群内算力节点的统一治理。网络QoS、QoE以及转发装备等状况,通过数据转发平台上传至管制平面,而后被统一治理。在全部算力资本编排调换的历程中,容器管制集群为用户和开垦者供给了统一进口,并通过统一设置足本、开垦变为方法,来完结面向效劳的算力和网络的统一编排和调换,进而完结面向效劳的基于可编程网络的算力调换。

3.2算力调换机制

在算力调换方面,Kuberenetes云原平生台供给效劳编排调换手腕,集成网络编排手腕和打算效劳编排手腕,并通过Knative完结统一的运用手腕封装和动静行列。集体算力调换层为表层家数供给运用程序编程接口(API)网关,为表层运用供给统一的API接口。这也许怒放可编程网络的算力手腕,障蔽底层网络和算力的不同性。面向开垦者和用户供给统一家数,进一步下降了可编程网络算力调换的开垦门坎。算力调换平台详细的架构如图5所示。

API:运用程序编程接口

ONOS:怒放网络操纵系统

图5算力调换平台架构图

集体算力调换机制由Kubernetes完结统一的算力网络资本调换。此中,遵循资本效劳目标的不同,Kubernetes调换手腕也许分为两个方面:一方面因而原形设备平台即效劳(i-PaaS)手腕为主,完结对底层原形设备算力资本的调换,通过对接管制平面完结对网络数据面的调换和治理,通过对接不同的Kuberentes云原生集群完结对底层云原生集群的调换治理;另一方面因而A-PaaS手腕为主,完结对网络编排和打算效劳编排的效劳手腕治理。面向表层的手腕调换紧要包罗网络编排和效劳编排两个方面。

(1)网络编排

网络编排主假如指,对底层的网络效劳编排手腕停止硬件资本的笼统和手腕的建模,并通过效劳编排来完结网络管制。本文中,咱们提议基于SDN的宽带接入(SEBA)容器化架构,以完结SDN网络拜候。SEBA的焦点组件紧要包罗怒放网络操纵系统(ONOS)、Kafka、VOLTHA、XOS。

ONOS:完结SDN网络操纵系统,对网络效劳编排完结统一的资本调换和治理。●Kafka:完结REST的动静行列治理,并通过表层的效劳手腕对底层硬件的拜候央求动静停止统一治理。

VOLTHA:完结底层网络接入装备和转发装备的硬件资本笼统,进而运用和拜候表层的网络性能。

XOS:完结网络性能假造化和效劳化,基于SDN管制器的可编程手腕完结网络管制和性能软件界说手腕。

(2)效劳编排

效劳编排也许完结对PaaS和软件即效劳(SaaS)手腕的容器化调换。由于云原生具备效劳化和微效劳化的手腕,因而在完结算力调换的历程中,基于不同的运用途景,咱们提议了3个方面的效劳手腕。

打算手腕集:集成今朝云原生统一的打算型手腕库,包罗Spark、Hadoop、Hive、Flink等。

数据库:采取保守的数据库效劳手腕,为表层的运用和交易场景供给一键摆设式的云原生数据库,包罗Mysql、MangoDB等。

人为智能:包罗面向人为智能场景的推理和熬炼,以及对硬件加快有特定须要的算力调换手腕。

这些效劳手腕统一由Kubernetes来完结编排。通过Kubernetes的调换伸展接口安乐台内部调换器对接,进而完结对PaaS和SaaS效劳的容器化调换。

通过Knative来完竣统一效劳手腕的封装和打包,通过Knative的API网关供给统一的网络和算力调换接口,并通过统一的家数对外怒放,开垦者也许遵循网络和算力调换手腕停止网络编程。如此也许进一步合并底层网络和算力,完结基于可编程网络的算力调换。同时,用户也也许越发


转载请注明:http://www.abachildren.com/xgyy/1147.html