HP Switch/VMware NIC Teaming搭配

HP switch 不論之前的 Procurve 或收購 H3C 之後推出的

A-series 系列，都有支援 802.3ad 協定，也就是一般常講的 LACP 或鍊路聚合
不過搭配 VMware 使用時，由於 VMware 並沒有完整支援(?)標準協定的關係
所以設定上必須注意

假設要把 HP Switch 上的 Port 1, Port 2
和 VMware ESXi 實體主機上的第1, 2張網卡利用 LACP 串起
則以下分別是 HP switch 和 VMware ESXi 上的相關設定

HP Switch

interface bridge-aggregation 1
quit
interface GigabitEthernet 1/0/1
port link-aggregation group 1
quit
interface GigabitEthernet 1/0/2
port link-aggregation group 1
quit
display link-aggregation summary

 VMware ESXi

1. 登入管理介面後
2. 點選 Configuration / Networking
3. 點選欲設定的 vSwitch 的 Porperties
4. 確認此 vSwitch 的 Network Adapters 已經有兩片網卡(vmnic0, vminc1)可以使用
5. 點選 Ports 標籤頁, 將 vSwitch 中的 NIC Teaming 選項更改為 Route based on IP Hash

以上的設定中，雖然 HP Switch 在 interface bridge-aggregation 中還可以設定

動態或靜態的模式，但為搭配 VMware ESXi 使用，請勿再做任何設定(未做設定時是靜態模式)

都完成後，在 HP Switch 中可以使用 display link-aggregation summary 確認

是否有兩條線路，若設定都正確，selected port 會顯示 2

此時若拔掉其中一條實體線路，VMware ESXi 的管理介面或 Guest OS 連線都仍是正常

若用 ping 監測，以手邊測試環境觀察，只有 VMware 的管理介面掉 1 個封包

Guest OS 則沒有掉封包

VMware NIC Teaming

網路頻寬是愈大愈好
尤其是內部網路和 Storage 串接時更是這樣
不過當環境還沒辦法上到 10G
但卻希望能夠有大頻寬可使用時
就可以透過 LACP (Link Aggregation Control Protocol) 進行頻寬合併
(標準是講 LACP, 不過有的廠商有自己的專屬名稱就不提了)
簡單獎就是把兩個或多個 1G 的網路卡/埠(Port)合併成一個群組
假設是 2 張網卡/埠做 LACP，那麼頻寬理論上就從 1G 變成 2G
這點在各家網通廠商的中高階設備上都已經可以做到
只是各家使用的指令不一樣
就用過的 Cisco, HP, D-Link, Extreme 設備來講
HP 的 Procurve 的指令最簡單 2 行搞定
但後面 HPE(HP分家後，負責伺服器、網通產品等的簡稱) 的 5x00 系列
指令就多了一些

但使用 LACP 的最大問題則是，所有串接到的設備都必須做好對應的設定
否則下場就是網路直接不通，或者是通時不通...
假設串接的設備如下：
Server(ESXi) <=> Switch <=> Storage
那麼這三個角色就都必須針對 LACP 作對應的設定

底下針對 VMware ESXi 的部分做簡單說明

1. 首先必須有 1 張以上網卡，不然沒辦法作 teaming
2. ESXi 中的設定路徑在開啟 vSpehre Client 之後，點選
   ESXi Host/Configuration/Networking/Properties
   選取要設定的 vSwitch 後(此處為 vSwitch0)，再點選右下角的 Edit
3. 切換到 NIC Teaming 頁面之後，勾選 Load Balance，然後選擇 Route based on ip hash
4. 確認已經有兩張網卡都設定在 Active Adapters 底下
5. 除了 vSwitch 要設定之外，若已經有其它的 VMKernel switch 存在，則該 vSwitch 也必須做相同的設定。
   例如：做 NIC Teaming 的是管理用的 Management Network
   那麼 Management Network 也必須作對應的設定，如下圖所示：

   

   ESXi NIC Teaming 設定
   (圖中的 Notify Switches, Fallback 則視實際需求選擇勾選或不勾選)

6. 上一步驟中的 vSwitch 若也有設定給 VM 使用的 VM Network，同時也想讓該 VM Network 使用 LACP 的話，則該 VM Network 也必須作對應的設定；若否，只要設定單一網卡給該 VM Network 即可。

完成上述的的設定
原則上就都沒問題了
有興趣的可以在設定前/後，測試頻寬的使用狀況

Ref.:
ESX Host NIC Teaming 設定
http://wiki.weithenn.org/cgi-bin/wiki.pl?VMware_Networking#Heading12

NIC teaming in ESXi and ESX (1004088)
http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&docType=kc&externalId=1004088&sliceId=1&docTypeID=DT_KB_1_1&dialogID=151996810&stateId=1%200%20151998943

NIC teaming using EtherChannel leads to intermittent network connectivity in ESXi (1022751)
http://kb.vmware.com/selfservice/microsites/search.do?cmd=displayKC&docType=kc&externalId=1022751&sliceId=1&docTypeID=DT_KB_1_1&dialogID=152322236&stateId=0%200%20154327310