為了應(yīng)對(duì)傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)對(duì)服務(wù)器虛擬化技術(shù)的限制，VXLAN技術(shù)應(yīng)運(yùn)而生。

01、概述

1.1 傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)面臨的問(wèn)題

虛擬機(jī)規(guī)模受設(shè)備表項(xiàng)規(guī)格限制

在傳統(tǒng)二層網(wǎng)絡(luò)中，交換機(jī)通過(guò)查詢MAC地址表來(lái)轉(zhuǎn)發(fā)數(shù)據(jù)幀，虛擬機(jī)的數(shù)量受限于MAC地址表的容量。 服務(wù)器虛擬化后，VM的數(shù)量比原有的物理機(jī)發(fā)生了數(shù)量級(jí)的增長(zhǎng)，而接入側(cè)二層設(shè)備的MAC地址表規(guī)格較小，無(wú)法滿足快速增長(zhǎng)的VM數(shù)量。

網(wǎng)絡(luò)隔離能力限制

VLAN Tag只有12bit。對(duì)于大型虛擬化云計(jì)算服務(wù)的場(chǎng)景而言，VLAN的隔離能力無(wú)法滿足。 傳統(tǒng)二層網(wǎng)絡(luò)中的VLAN無(wú)法滿足網(wǎng)絡(luò)動(dòng)態(tài)調(diào)整的需求。

虛擬機(jī)遷移范圍受限

虛擬機(jī)遷移必須發(fā)生在一個(gè)二層網(wǎng)絡(luò)中。 傳統(tǒng)的二層網(wǎng)絡(luò)將虛擬機(jī)遷移限制在了一個(gè)較小的局部范圍內(nèi)。 1.2 VXLAN簡(jiǎn)介

VXLAN（Virtual eXtensible Local Area Network，虛擬擴(kuò)展局域網(wǎng)）在本質(zhì)上屬于一種VPN技術(shù)，能夠在任意路由可達(dá)的網(wǎng)絡(luò)上疊加二層虛擬網(wǎng)絡(luò)，通過(guò)VXLAN網(wǎng)關(guān)實(shí)現(xiàn)VXLAN網(wǎng)絡(luò)內(nèi)部的互通，同時(shí)，也可以實(shí)現(xiàn)與傳統(tǒng)的非VXLAN網(wǎng)絡(luò)的互通。

VXLAN通過(guò)采用MAC in UDP封裝來(lái)延伸二層網(wǎng)絡(luò)，將以太報(bào)文封裝在IP報(bào)文之上，通過(guò)路由在網(wǎng)絡(luò)中傳輸，中間的傳輸網(wǎng)絡(luò)無(wú)需關(guān)注虛擬機(jī)的MAC地址，且路由網(wǎng)絡(luò)無(wú)網(wǎng)絡(luò)結(jié)構(gòu)限制，具備大規(guī)模擴(kuò)展能力。通過(guò)路由網(wǎng)絡(luò)，虛擬機(jī)遷移不受網(wǎng)絡(luò)架構(gòu)限制。

1.3 VXLAN在數(shù)據(jù)中心的應(yīng)用

服務(wù)器虛擬化技術(shù)的廣泛部署，極大地增加了數(shù)據(jù)中心的計(jì)算密度；同時(shí)，為了實(shí)現(xiàn)業(yè)務(wù)的靈活變更，虛擬機(jī)VM（Virtual Machine）需要能夠在網(wǎng)絡(luò)中不受限遷移，這給傳統(tǒng)的“二層+三層”數(shù)據(jù)中心網(wǎng)絡(luò)帶來(lái)了新的挑戰(zhàn)。為了應(yīng)對(duì)傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)對(duì)服務(wù)器虛擬化技術(shù)的限制，VXLAN技術(shù)應(yīng)運(yùn)而生，其能夠很好地解決如下問(wèn)題：

針對(duì)虛擬機(jī)規(guī)模受設(shè)備表項(xiàng)規(guī)格限制

服務(wù)器虛擬化后，VM的數(shù)量比原有的物理機(jī)發(fā)生了數(shù)量級(jí)的增長(zhǎng)，而接入側(cè)二層設(shè)備的MAC地址表規(guī)格較小，無(wú)法滿足快速增長(zhǎng)的VM數(shù)量。 VXLAN將管理員規(guī)劃的同一區(qū)域內(nèi)的VM發(fā)出的原始報(bào)文封裝成新的UDP報(bào)文，并使用物理網(wǎng)絡(luò)的IP和MAC地址作為外層頭，這樣報(bào)文對(duì)網(wǎng)絡(luò)中的其他設(shè)備只表現(xiàn)為封裝后的參數(shù)。因此，極大降低了大二層網(wǎng)絡(luò)對(duì)MAC地址規(guī)格的需求。

針對(duì)網(wǎng)絡(luò)隔離能力限制

VLAN作為當(dāng)前主流的網(wǎng)絡(luò)隔離技術(shù)，在標(biāo)準(zhǔn)定義中只有12bit，因此可用的VLAN數(shù)量?jī)H4096個(gè)。對(duì)于公有云或其它大型虛擬化云計(jì)算服務(wù)這種動(dòng)輒上萬(wàn)甚至更多租戶的場(chǎng)景而言，VLAN的隔離能力無(wú)法滿足。 VXLAN引入了類似VLAN ID的用戶標(biāo)識(shí)，稱為VXLAN網(wǎng)絡(luò)標(biāo)識(shí)VNI（VXLAN Network Identifier），由24比特組成，支持多達(dá)16M的VXLAN段，有效地解決了云計(jì)算中海量租戶隔離的問(wèn)題。

虛擬機(jī)遷移范圍受限

虛擬機(jī)遷移是指將虛擬機(jī)從一個(gè)物理機(jī)遷移到另一個(gè)物理機(jī)。為了保證虛擬機(jī)遷移過(guò)程中業(yè)務(wù)不中斷，則需要保證虛擬機(jī)的IP地址保持不變，這就要求虛擬機(jī)遷移必須發(fā)生在一個(gè)二層網(wǎng)絡(luò)中。而傳統(tǒng)的二層網(wǎng)絡(luò)，將虛擬機(jī)遷移限制在了一個(gè)較小的局部范圍內(nèi)。 VXLAN將VM發(fā)出的原始報(bào)文進(jìn)行封裝后通過(guò)VXLAN隧道進(jìn)行傳輸，隧道兩端的VM不需感知傳輸網(wǎng)絡(luò)的物理架構(gòu)。這樣，對(duì)于具有同一網(wǎng)段IP地址的VM而言，即使其物理位置不在同一個(gè)二層網(wǎng)絡(luò)中，但從邏輯上看，相當(dāng)于處于同一個(gè)二層域。即VXLAN技術(shù)在三層網(wǎng)絡(luò)之上，構(gòu)建出了一個(gè)虛擬的大二層網(wǎng)絡(luò)，只要虛擬機(jī)路由可達(dá)，就可以將其規(guī)劃到同一個(gè)大二層網(wǎng)絡(luò)中。這就解決了虛擬機(jī)遷移范圍受限問(wèn)題。 1.4 在園區(qū)網(wǎng)絡(luò)中使用VXLAN實(shí)現(xiàn)“一網(wǎng)多用”

通過(guò)引入虛擬化技術(shù)，在園區(qū)網(wǎng)絡(luò)中基于一張物理網(wǎng)絡(luò)創(chuàng)建多張?zhí)摂M網(wǎng)絡(luò)（VN，Virtual Network）。不同的虛擬網(wǎng)絡(luò)應(yīng)用于不同的業(yè)務(wù)，例如辦公、研發(fā)或物聯(lián)網(wǎng)等。

通過(guò)iMaster NCE（華為園區(qū)網(wǎng)絡(luò)SDN控制器）實(shí)現(xiàn)全網(wǎng)設(shè)備集中管理，管理員通過(guò)圖形化界面實(shí)現(xiàn)網(wǎng)絡(luò)配置。

iMaster NCE將管理員的網(wǎng)絡(luò)業(yè)務(wù)配置意圖“翻譯”成設(shè)備命令，通過(guò)NETCONF協(xié)議將配置下發(fā)到各臺(tái)設(shè)備，實(shí)現(xiàn)網(wǎng)絡(luò)的自動(dòng)駕駛。

02、VXLAN的基本概念

2.1 VXLAN的報(bào)文格式

2.2 NVE（Network Virtualization Edge，網(wǎng)絡(luò)虛擬邊緣）

NVE是實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化功能的網(wǎng)絡(luò)實(shí)體，可以是硬件交換機(jī)也可以是軟件交換機(jī)。NVE在三層網(wǎng)絡(luò)上構(gòu)建二層虛擬網(wǎng)絡(luò)，是運(yùn)行VXLAN的設(shè)備。圖中SW1和SW2都是NVE。 2.3 VTEP（VXLAN Tunnel Endpoints， VXLAN隧道端點(diǎn)）

VTEP是VXLAN隧道端點(diǎn)，位于NVE中，用于VXLAN報(bào)文的封裝和解封裝。

VXLAN報(bào)文（的外層IP頭部）中源IP地址為源端VTEP的IP地址，目的IP地址為目的端VTEP的IP地址。

一對(duì)VTEP地址就對(duì)應(yīng)著一條VXLAN隧道。

在源端封裝報(bào)文后通過(guò)隧道向目的端VTEP發(fā)送封裝報(bào)文，目的端VTEP對(duì)接收到的封裝報(bào)文進(jìn)行解封裝。

通常情況下使用設(shè)備的Loopback接口地址作為VTEP地址。

2.4 VNI（VXLAN Network Identifier，VXLAN網(wǎng)絡(luò)標(biāo)識(shí)）

類似VLAN ID，用于區(qū)分VXLAN段。不同VXLAN段的虛擬機(jī)不能直接二層相互通信。

一個(gè)租戶可以有一個(gè)或多個(gè)VNI，VNI長(zhǎng)度為24bit。

2.5 BD（Bridge Domain）

類似傳統(tǒng)網(wǎng)絡(luò)中采用VLAN劃分廣播域，在VXLAN網(wǎng)絡(luò)中一個(gè)BD就標(biāo)識(shí)一個(gè)大二層廣播域。

VNI以1:1方式映射到廣播域BD，同一個(gè)BD內(nèi)的終端可以進(jìn)行二層互通。

2.6 VAP（Virtual Access Point，虛擬接入點(diǎn)）

實(shí)現(xiàn)VXLAN的業(yè)務(wù)接入。VAP有兩種配置方式，二層子接口方式或者VLAN綁定方式：二層子接口方式接入，例如本例在SW1創(chuàng)建二層子接口關(guān)聯(lián)BD 10，表示僅這個(gè)接口下的特定流量注入到BD 10。 VLAN綁定方式接入，例如本例在SW2配置VLAN 10與廣播域BD 10關(guān)聯(lián)，表示所有VLAN10的流量注入到BD 10。

03、VXLAN二層網(wǎng)關(guān)、三層網(wǎng)關(guān)

二層（L2）網(wǎng)關(guān)：實(shí)現(xiàn)流量進(jìn)入VXLAN虛擬網(wǎng)絡(luò)，也可用于同一VXLAN虛擬網(wǎng)絡(luò)的同子網(wǎng)通信。例如下圖中的Edge1和Edge2。

三層（L3）網(wǎng)關(guān)：用于VXLAN虛擬網(wǎng)絡(luò)的跨子網(wǎng)通信以及外部網(wǎng)絡(luò)（非VXLAN網(wǎng)絡(luò)）的訪問(wèn)。例如下圖中的Border。

04、VBDIF

類似于傳統(tǒng)網(wǎng)絡(luò)中采用VLANIF解決不同廣播域互通的方法，在VXLAN中引入了VBDIF的概念。

VBDIF接口在VXLAN三層網(wǎng)關(guān)上配置，是基于BD創(chuàng)建的三層邏輯接口。

通過(guò)VBDIF接口配置IP地址可實(shí)現(xiàn)不同網(wǎng)段的VXLAN間，及VXLAN和非VXLAN的通信，也可實(shí)現(xiàn)二層網(wǎng)絡(luò)接入三層網(wǎng)絡(luò)。

05、分布式與集中式網(wǎng)關(guān)

5.1 集中式網(wǎng)關(guān) L3網(wǎng)關(guān)部署在一臺(tái)設(shè)備上。所有跨子網(wǎng)的流量都通過(guò)網(wǎng)關(guān)轉(zhuǎn)發(fā)，實(shí)現(xiàn)流量的集中管理。

優(yōu)點(diǎn)：跨子網(wǎng)流量集中管理，簡(jiǎn)化網(wǎng)關(guān)部署和管理。

缺點(diǎn)：轉(zhuǎn)發(fā)路徑并非最優(yōu)。

5.2 分布式網(wǎng)關(guān) L3網(wǎng)關(guān)部署在多臺(tái)設(shè)備上，VTEP節(jié)點(diǎn)既是L2網(wǎng)關(guān)，又是L3網(wǎng)關(guān)。

優(yōu)點(diǎn)：跨子網(wǎng)流量轉(zhuǎn)發(fā)路徑更優(yōu)。

缺點(diǎn)：網(wǎng)關(guān)部署、故障定位及網(wǎng)絡(luò)運(yùn)維相對(duì)集中式網(wǎng)關(guān)復(fù)雜。VTEP節(jié)點(diǎn)之間需交互及維護(hù)主機(jī)路由。

06、VXLAN隧道的建立方式

VXLAN隧道由一對(duì)VTEP IP地址確定，報(bào)文在VTEP設(shè)備進(jìn)行封裝之后在VXLAN隧道中依靠路由進(jìn)行傳輸。在進(jìn)行VXLAN隧道的配置之后，只要VXLAN隧道的兩端VTEP IP是三層路由可達(dá)的，VXLAN隧道就可以建立成功。

6.1 靜態(tài)VXLAN：隧道建立

VXLAN隧道由一對(duì)VTEP IP地址確定；靜態(tài)VXLAN隧道的創(chuàng)建通過(guò)手工配置本端和遠(yuǎn)端的VNI、VTEP IP地址來(lái)完成，只要VXLAN隧道的兩端VTEP IP是三層路由可達(dá)的，VXLAN隧道就可以建立成功。 6.2 使用BGP EVPN作為控制面協(xié)議 最初的VXLAN方案（RFC 7348）中沒(méi)有定義控制平面，即用戶需手工配置VXLAN隧道，然后通過(guò)流量泛洪的方式學(xué)習(xí)主機(jī)地址，這種方式會(huì)導(dǎo)致網(wǎng)絡(luò)中存在很多泛洪流量，并且網(wǎng)絡(luò)擴(kuò)展起來(lái)困難。 為了解決上述問(wèn)題，VXLAN引入了EVPN（Ethernet Virtual Private Network，以太網(wǎng)虛擬專用網(wǎng)）作為VXLAN的控制平面。EVPN可視為BGP協(xié)議的一種擴(kuò)展，定義了幾種新的路由類型來(lái)實(shí)現(xiàn)VTEP的自動(dòng)發(fā)現(xiàn)、主機(jī)地址學(xué)習(xí)等。

07

VXLAN在CloudCampus解決方案中的典型應(yīng)用

7.1 需求Fabric需求：

基于物理網(wǎng)絡(luò)構(gòu)建一個(gè)Fabric。

采用分布式網(wǎng)關(guān)方案。

VN需求：

創(chuàng)建2個(gè)VN，分別為辦公（OA）及研發(fā)（RD）。

缺省時(shí)，2個(gè)VN完全隔離，VN內(nèi)可實(shí)現(xiàn)同子網(wǎng)、跨子網(wǎng)互訪。

2個(gè)VN均可訪問(wèn)FW所上聯(lián)的外部網(wǎng)絡(luò)。

2個(gè)VN內(nèi)的終端均可通過(guò)DHCP Server獲取IP地址。

7.2 Fabric管理Fabric創(chuàng)建及配置：

用戶根據(jù)業(yè)務(wù)需求，將物理設(shè)備（核心交換機(jī)、匯聚交換機(jī)及接入交換機(jī)）添加到Fabric中。

用戶指定交換機(jī)的角色：Border節(jié)點(diǎn)及Edge節(jié)點(diǎn)。

iMaster NCE自動(dòng)將Border指定為RR，優(yōu)化網(wǎng)絡(luò)邏輯架構(gòu)、BGP對(duì)等體關(guān)系模型。

用戶預(yù)定義2個(gè)“外部網(wǎng)絡(luò)”，用于供2個(gè)VN到達(dá)外部網(wǎng)絡(luò)。

用戶定義1個(gè)“網(wǎng)絡(luò)服務(wù)資源”，用于后續(xù)終端通過(guò)該資源（中的DHCP Server）獲取IP地址。

Fabric及Underlay網(wǎng)絡(luò)自動(dòng)化部署：

iMaster NCE根據(jù)已發(fā)現(xiàn)的物理網(wǎng)絡(luò)拓?fù)?，結(jié)合用戶所定義的Fabric網(wǎng)絡(luò)，自動(dòng)進(jìn)行網(wǎng)絡(luò)編排（用戶可選擇OSPF多區(qū)域或單區(qū)域，是否針對(duì)OSPF報(bào)文進(jìn)行認(rèn)證等）。

iMaster NCE根據(jù)網(wǎng)絡(luò)編排結(jié)果將Underlay網(wǎng)絡(luò)配置自動(dòng)下發(fā)到設(shè)備，使得設(shè)備之間IP可達(dá)。完成本步驟后，交換機(jī)便自動(dòng)獲得互聯(lián)IP地址、VLAN配置，以及OSPF配置，交換機(jī)之間實(shí)現(xiàn)了路由可達(dá)。

iMaster NCE將Fabric配置自動(dòng)下發(fā)到設(shè)備，設(shè)備之間建立BGP EVPN對(duì)等體關(guān)系，完成控制面的準(zhǔn)備工作。

7.3 VN管理創(chuàng)建VN：

用戶分別創(chuàng)建OA及RD虛擬網(wǎng)絡(luò)，指定虛擬網(wǎng)絡(luò)的IP網(wǎng)段/VLAN、網(wǎng)關(guān)地址、所關(guān)聯(lián)的外部網(wǎng)絡(luò)及網(wǎng)絡(luò)服務(wù)資源，以及終端接入點(diǎn)位。

iMaster NCE將用戶意圖翻譯成配置下發(fā)到網(wǎng)絡(luò)設(shè)備上。

VXLAN隧道自動(dòng)建立

BGP EVPN將用于建立VXLAN隧道的相關(guān)信息在對(duì)等體之間通告。

設(shè)備之間建立VXLAN隧道，為后續(xù)的數(shù)據(jù)轉(zhuǎn)發(fā)做準(zhǔn)備。

終端獲取地址

銷售員工A接入網(wǎng)絡(luò)，首先完成用戶認(rèn)證，認(rèn)證成功后，認(rèn)證點(diǎn)Edge1獲得該用戶的授權(quán)結(jié)果，將用戶劃分到對(duì)應(yīng)VLAN。

A發(fā)起DHCP請(qǐng)求，該請(qǐng)求到達(dá)網(wǎng)關(guān)設(shè)備Edge1后，后者將DHCP請(qǐng)求進(jìn)行中繼，中繼報(bào)文通過(guò)VXLAN隧道轉(zhuǎn)發(fā)給Border。

Border將VXLAN解封裝，并將DHCP中繼報(bào)文轉(zhuǎn)發(fā)給DHCP Server。

DHCP Server為A分配IP地址。

相同VN內(nèi)的同子網(wǎng)互訪

銷售員工A與B通過(guò)準(zhǔn)入認(rèn)證，接入園區(qū)網(wǎng)絡(luò)。

以銷售員工B為例，Edge2將其MAC地址通過(guò)BGP更新報(bào)文通告給Border，后者將其反射給Edge1。

Edge1學(xué)習(xí)到MAC地址0000.0002。

當(dāng)A發(fā)送數(shù)據(jù)給B時(shí)，流量到達(dá)Edge1后，Edge1將其執(zhí)行VXLAN封裝，然后轉(zhuǎn)發(fā)到Edge2。后者VXLAN解封裝后送達(dá)目的地。

相同VN內(nèi)的跨子網(wǎng)互訪

銷售員工C通過(guò)準(zhǔn)入認(rèn)證，接入園區(qū)網(wǎng)絡(luò)。

Edge2將其主機(jī)路由通過(guò)BGP更新報(bào)文通告給Border，后者將其反射給Edge1。

Edge1學(xué)習(xí)到1.20.1/32路由，路由下一跳為2.2.2.2，出接口為VXLAN隧道接口。

當(dāng)A發(fā)送數(shù)據(jù)給C時(shí)，流量到達(dá)Edge1后，Edge1將其執(zhí)行VXLAN封裝，然后轉(zhuǎn)發(fā)到Edge2。后者VXLAN解封裝后送達(dá)目的地。

訪問(wèn)外部網(wǎng)絡(luò)

當(dāng)用戶將外部網(wǎng)絡(luò)（目的網(wǎng)段為2.3.0/24）關(guān)聯(lián)到OA虛擬網(wǎng)絡(luò)后，iMaster NCE會(huì)將路由信息下發(fā)至Border，并由Border將上述外部路由重分發(fā)到BGP，通告給Edge1和Edge2。

當(dāng)A發(fā)送數(shù)據(jù)到2.3.0/24時(shí)，流量送達(dá)Edge1后，由其進(jìn)行VXLAN封裝，然后送至Border，后者將VXLAN解封裝，然后將IP報(bào)文轉(zhuǎn)發(fā)給FW。

審核編輯：郭婷