Homelab 神桌2.0 建置紀錄
年初的時候，因為剛轉換跑道的關係有些空閒的時間，決定要重新建置很久沒碰的 Homelab。但說實在的消費級的硬體真的漲價太兇，不過錢都花了，就寫一篇部落格來紀錄錢包流血 homelab建置的想法和過程。
三年前的神桌1.0，可以看到只有簡單搞個路由和分享器。
改造過後的神桌 2.0（嚴格上來說已經不是桌子了 XD）:
🔹 建置想法雛形
整座環境的設計目標只有一個：在家裡用消費級設備模擬企業環境，讓 Demo 和 PoC 有真實感。不過我六年前搞的 homelab 硬體實在太舊也太吵了，所以這次痛下決心把硬體全部翻新。網路和虛擬化的知識點，單純開雲端環境還是會有點差異性，真的要熟悉還是得自己從零到一摸一次。
數年前購買的二手 Supermicro 美超微 2U 工作站，因為太久沒用都長灰塵
我是在三創的國揚電腦採購硬體的，當時我是基於幾個原則選擇硬體：
- RAM 優先：虛擬化環境下記憶體是瓶頸，128GB（32GB × 4）是跑完整 3 Master Nodes + 2 Worker Nodes
OpenShift叢集的底線。 - GPU 選工作站卡：
Nvidia RTX PRO 4000 Blackwell是單插槽渦輪扇設計，24GB GDDR7 ECC，不會太吵、體積很小塞得進 m-ATX 機殼的 PCI 插槽有 ECC 保護，消費級的顯示卡做不到這三點同時成立。 - 儲存分離：宿主機的 OS 碟（512GB）和
OpenShift的資料碟（2TB）分開，避免系統日誌影響 etcd 穩定性。2TB 的 KC3000 TBW 1600TB，TLC 顆粒非 QLC，p99 寫入延遲才能壓在 10ms 以下。
📝 主機完整 BOM 以及選購想法
| 類別 | 型號 | 價格 |
|---|---|---|
| CPU | AMD Ryzen 9 9900X（12C/24T） | NT$ 13,750 |
| 散熱 | 利民 Phantom Spirit 120（雙塔雙扇） | NT$ 1,490 |
| 主機板 | 技嘉 B850M AORUS ELITE WIFI6E ICE | NT$ 6,290 |
| RAM | Crucial DDR5 5600 32GB × 4 = 128GB | NT$ 39,196 |
| GPU | NVIDIA RTX PRO 4000 Blackwell 24GB | NT$ 61,990 |
| 網卡 | Intel 82599 10G SFP+ PCIe x4 | NT$ 3,480 |
| OS 碟 | 金士頓 KC3000 512GB Gen4 | NT$ 3,650 |
| 資料碟 | 金士頓 KC3000 2TB Gen4 | NT$ 9,350 |
| PSU | ASUS TUF Gaming 850W Gold（ATX 3.1） | NT$ 3,990 |
| 機殼 | Xigmatek C1（M-ATX 全網孔） | NT$ 1,990 |
完整表列出來，可以看到預算基本上都花在了顯示卡和記憶體上面了🥲，原本我是想要買 Nvidia DGX Spark，但是經過仔細思考之後還是自己組電腦比較能夠兼顧未來的擴充性和 CP 值。
散熱策略：全網孔機殼 + 三顆進氣的風扇，讓渦輪扇 GPU 有足夠的新鮮空氣，不讓顯卡成為熱源累積點。後面還有一顆排氣的風扇，那顆風扇我本來想要買 Noctua（貓頭鷹） 的，後來研究了一下發現利民的 CP 值蠻高的（有七根熱導管的雙塔風扇設計，而且剛好可以塞進去 m-ATX 機殼），就改單了。
主機板的話我的挑選想法是他的插槽間距可以讓散熱更好，還有支援 IOMMU Groups。
10G 網卡其實不是必備，但我之後可能想要練習網路虛擬化（SR-IOV Network Operator），先買來放著（？）。
記憶體的話是老闆幫我挑的，比起 16G 單支買，還是買 32G 會比較划算。買完發現美光不做消費級的記憶體了🤯發芬，不然他們家記憶體品質不錯。
顯卡的話我那個時候其實想要直上 32 RAM 的 RTX Pro 4500，但是那一張就要破十萬了QQ。GPU 卡的話要注意 RTX PRO 5000 Blackwell 以上才有支援 MIG，而且也需要另外支付授權費用才可以下載 vGPU 的驅動程式。老黃刀，刀刀割人錢包（？）。
電源供應器我是抓兩倍的瓦數，不過實際上跑起來大概總瓦數都在 150w 左右，比我預估的 450w 還低很多 XDD，不過我還沒開始搞模型微調或訓練，搞不好跑起來之後會更高也說不定？
📝 網路規劃
網路拓墣圖
家用網路目前是 UniFi UDM Pro，負責：
- VLAN 隔離（把實驗環境和家用網路分開）
- IDS/IPS 防護
- Teleport VPN 遠端連線，方便我人在外面可以連回家，
雖然真的要連線時常常連不上
另外掛了 UniFi Protect 攝影機（G3 Flex 系列）做機櫃實體監控，整合進 UDM Pro 管理介面，分享器的部分是使用 U6 Pro，比起使用 U6 LR 改善了蠻多效能問題。
監控設備的硬碟就直接尻舊 server 的硬碟來用，型號：Toshiba DT01ACA200 2TB 2T 2TB/7200轉/64MB/ 3.5吋 硬碟 HDD
Homelab 和家裡的 IoT 設備所使用的網路則是由 Dream Router (UDR) 負責，會切分成兩個無線網路。
Bastion 跳板機：Raspberry Pi 4 / 2GB / 128GB microSD
功能：
- 在上面跑
Tailscale作為 VPN 的連線跳板以及出口節點，不然Unifi的Teleport太常連不上了 。 - UPS 的監控
metrics輸出 - NFS / Block Storage control panel，樹莓派堪用，反正錢包快空了，將就練習用。
🔹 儲存設施與電力
📝 機櫃
本來想要買專業的機櫃，跟有經驗的大神同事問了一下，環境沒有專業機房那樣好的話其實不用買貴鬆鬆的機櫃，故買了耐重角鋼架解決。
安寶（cuzcuz）黑砂紋免螺絲角鋼貨架（500 型）：
- 尺寸：75cm × 45cm × 165cm，共 4 層
- 台灣製造，中鋼原料，附靜音滾輪
- 費用：NT$ 9,500（含運費 NT$ 418、安裝費 NT$ 501）
📝 電力：UPS 不斷電機制
CyberPower CP1500PFCLCDa，1500VA / 1000W，在線互動式 PFC 正弦波。
選它的原因：預算 NT$ 10,000 以內、可當延長線用、正弦波輸出對伺服器電源友善。PCHOME 有特價，實際入手價 NT$ 5,990。這台把主機和網路設備插好插滿都還可以在斷電情況下撐 50 分鐘，這段時間拿來備份和安全關機都還來得及，可惜的點是 power supply 插座不夠多 😭，只能暫時犧牲我的外接硬碟和樹莓派惹。
📝 儲存
STARDOM ST2-B31 雙 bay 外接盒（3.5” HDD / 2.5” SSD，USB 3.1 Gen2 Type-C），用來練 NFS / iSCSI，提供 OpenShift Persistent Volumes。搭配樹莓派剛好堪用，之後要轉成 NAS 再買一台二手小型工作站解決效能問題。
硬碟的話一樣直接從舊 server 尻下來。
型號：Toshiba DT01ACA100 1TB 1T 1TB/7200轉/32MB/ 3.5吋 硬碟 HDD
🔹 建置結果
完整的 Homelab 架構圖
運轉之後的聲音超小，還好當初有好好研究散熱這塊，也有請老闆多多注意散熱和排線這塊。整套下來聲音比較大的就是硬體外接盒和樹莓派，因為他們有小風扇24 小時運轉，但實際上聲音比我家的冰箱還要小聲。之後有時間我會記錄一下我怎麼樣去限制 CPU 運轉的時脈，讓 CPU 的溫度能夠恆定在四十幾度。
Server btop diagram
記憶體的部分其實也會需要做調整，圖片上面的 73 GB 使用量其實已經是調整過後的了，不然以 OpenShift 的建置需求來說應該會需要至少 80 GB 以上的使用量，這部分也是之後再寫文紀錄。