2019 大改造宅宅雲架構系列文-3 宅宅雲網路架構設計

2019 大改造宅宅雲系列文來到第 3 篇，有興趣想看前面兩篇的可以參考： 1. 2019 大改造宅宅雲架構系列文-1：介紹大多數用錢包君威力扛回家的硬體設備和架構設計總體目標 2. 2019 大改造宅宅雲架構系列文-2：介紹宅宅雲塔式伺服器硬體裝備

而第三篇要來承續第二篇，講一下關於下圖藍色區塊 vcenter.phil.lab 那塊虛擬網路我個人是怎麼設計的

1 台 2 埠雙臂網路架構

雙臂網路 (Two-Arm) 需使用 2 個網路介面，Inbound/Outbound 分別走不同介面；單臂網路則是 (One-Arm) 僅使用 1 個網路介面，Inbound/Outbound 都走同一個介面，裡面的網路隔離是採用 802.1Q VLAN Subinterface 進行劃分，所以後者相較前者，Overlay Switch (這邊指的就是 Synology RT2600ac ) 需要多支援 VLAN 能力才有辦法做，但可惜它沒有，就保持做 Two-Arm 網路。而我自己經驗基本都是做 Two-Arm，單純好理解

最小 Port 數?

關於服務器硬體規格可以看 2019 大改造宅宅雲架構系列文-2: 硬體菜單，主要核心硬體需求是

1 ~ 2 Port

對...只要兩個 Port 就什麼都可以做，無論速率、無論架構皆可，但最小 1 Port 也可以做，只是雙臂架構概念會有點不太一樣，看角度，下面會詳細畫圖講一下。

基本相同概念適用於實體機直上、VMware vSphere、Linux KVM、Red Hat Virtualization、Proxmox、Red Hat OpenStack 等等虛擬化平台都可以做。

Q: Hyper-V 呢?

Sorry，這個我沒研究，無法評論

vFW? vRouter?

主要網路轉發核心功能需求是

NAT + VLAN Subinterface

這邊採用的 vFirewall 是 pfSense，先前在 Edgecore Networks 機櫃環境是用 OPNsense，而我個人是比較偏好 OPNsense。

Q: 說好的 vRouter 不能搞嗎?

先前也有嘗試用 [VyOS][https://vyos.io/] 當做虛擬路由器，但三年前測試的時候，它沒有支援 NAT 啊啊啊啊啊！就放棄回到 pfSense / OPNsesne 的懷抱中，不知道現在有沒有支援，徵求勇者試試

Q: 疑? 這樣 iptables 土炮好像也很 ok 啊?

無論是 Linux iptables / FreeBSD pf 系列的都可以做，技術上沒什麼問題，只是我懶得每次都在想 iptables 的 masquerade 跟 Port Forwarding 怎麼下

IP Design?

想當爾，要提供 WAN IP 給對應的網路介面，這邊假設以下：

WAN IP: 192.168.99.250/24
VLAN 100 Subnet: 10.100.0.0/24
VLAN 200 Subnet: 10.200.0.0/24
Rescue IP: 192.168.1.1/24

目標上就是拿到 10.100.0.0/24 或 10.200.0.0/24 的 IP 都要能透過 WAN IP 走 SNAT 方式出去；反之，可以從 WAN IP 透過 DNAT 做 Port Forwarding 進 10.100.0.0/24 或 10.200.0.0/24 網段

Q: Rescure IP?? 這幹嘛的

關於 Rescue IP 的作用是救援用，假設我的 VLAN IP 或者是有什麼異常狀況不能透過正常設定好的網路進去修改，我會拔掉原先接在 LAN Port (eth1) 上的線，用自己筆電直連該 Port 進去修

1 . vFW 雙臂直上實體機架構圖

一台 Server 直接裝 pfSense

這個架構缺點顯而易見，整台實體機資源都被 pfSense 咬走了，完全沒有用到任何虛擬化平台，但可以外接支援 VLAN Tagging/Untag 的交換器擴大可使用實體 Port 數

Q: 我家沒有具備 VLAN 功能的 Switch...

如果家中有一台小小的電腦，剛好也有兩個 Port，就很適合做上圖，而 eth1 不一定要用 VLAN Subinterface 處理，可以直接掛 IP 在上面使用，外面接 L2 Switch 起來用，擴大可使用實體 Port 數

2. vFW 雙臂 + 虛擬化平台 + 1 實體 Port 架構圖

一台 Server 裝虛擬化平台，起 VM 裝 pfSense，網段用 VLAN Subinterface 切割，不考慮外接其他設備

下圖是以 VMware vSphere 作為範例

關於 Virtual Switch 的部分，無論是 vSS (virtual Standard Switch) /vDS (virtual Distributed Swtich) 皆可使用，詳細相關技術評估請洽友商 VMware。

Q: vDS: WAN 端的設定示意圖?

右邊那邊 Port Group 可以多加網卡做點事情，詳細功能請參考官方文件 vSphere Distributed Switch Architecture，左邊留意 VLAN 識別碼 為 --，但我不確定是不是代表是 VLAN 1 的意思，哪天遇到問題再研究

Q: vDS: Trunk 端的也來一下

右邊留意 Port Group 是完全沒有實體網卡在裡面的，左邊則是針對 VLAN ID 設定個別的 VM Network (注：我忘記正確描述是什麼了，有錯請敲我更正)

Q: 多問一句...有魔鬼嗎?

Of course！這個設定應該是有做過類似事情的朋友都會遇到的最大遺漏，那個被設定為 Trunk 的 VM Network... 要把混合模式 (Promiscuous Mode)開啟來，避免來自於各式各樣的網路的封包在 ESXi 層就被丟掉，具體技術文件請參照 Promiscuous Mode Operation

下圖是採用 libvirt 為主的技術架構