DGX Spark (GB10) 雙模型部署套件：在 GB10 上穩定跑兩個 vLLM 模型

DGX Spark (GB10) 雙模型部署套件：在 GB10 上穩定跑兩個 vLLM 模型

NVIDIA DGX Spark（GB10）是這十年最令人興奮的本地 AI 硬體——128 GB 統一記憶體、Grace Blackwell 晶片，在家就能跑真正的模型。但「記憶體夠大」不等於「真的能跑」。想在同一台 Spark 上跑兩個 vLLM 模型的人，會撞上需要好幾天才能診斷的失敗模式：

• MTP 推測解碼 + 並發請求 = CUDA illegal memory access（生成到一半崩潰）
• 原廠看門狗在模型載入中把機器重啟（load average 誤判）
• plymouth-quit-wait 卡住開機流程數小時，靜默擋住所有服務
• 開機同時載入兩個模型，記憶體回收峰值高到觸發 OOM
• 三重啟動衝突（cron + systemd + Docker）讓模型載入兩次、留下殭屍容器

DGX Spark 部署套件就是別人已經替你付過學費的劇本。它打包了在 DGX Spark 上跑雙 vLLM 模型的實戰驗證設定模板與真實故障紀錄（DGX OS 7.4/7.5、driver 580.x、CUDA 13.0、vLLM v0.25.0）——包含你在別處都查不到的失敗修法。以下是套件的完整內容與價格。

👉 立即在 Gumroad 購買 DGX Spark 套件（$79，前 25 名用 GB10EARLY 只要 $49）

你拿到什麼

docs/
  SETUP-GUIDE.md        # 從全新 DGX OS 到雙模型上線，逐步教學
  TROUBLESHOOTING.md    # 真實事故手冊：症狀、根因、修法
  MEMORY-PLANNING.md    # 真的有用的統一記憶體預算公式
configs/
  systemd/              # 生產級 user units（序列化載入、自動重啟）
  watchdog/             # 不會把你重啟迴圈的看門狗設定
  firecrawl/            # 加碼：自架網頁抓取 API（ARM64 就緒）

每份文件都是雙語（英文 + 繁體中文）。套件裡的每個設定都對應上面某一條事故的修法。

為什麼雙模型 vLLM 是正確目標

在 Spark 上跑單一模型沒問題——但 128 GB 統一記憶體的價值就是同時跑兩個模型：一個大型通用模型（例如 35B 等級的 instruct 模型）加上一個專用模型（embedding、程式碼，或高並發對話用的輕量快速模型）。只要記憶體分割正確，你就能得到：

• 一台機器同時服務聊天與 RAG embedding——不經雲端、資料不出你的網路
• 模型分工：重推理交給大模型，低延遲任務交給小模型
• 完全隱私：敏感 prompt 永不觸及第三方 API

問題是，天真的雙模型設定正是觸發上面那些失敗模式的元兇。套件的記憶體規劃公式會教你怎麼預算統一記憶體，讓兩個模型都能載入、服務，而且不 OOM、不被看門狗重啟。

實測內容

我們在全新的 DGX OS 7.5（aarch64、driver 580.x、CUDA 13.0）上照套件跑了一遍：

1. 設定指南：從原廠系統到兩個 vLLM 模型上線——完全照做，沒有偏離。systemd units 用健康檢查門檻序列化載入，開機不再有記憶體回收尖峰。
2. 看門狗設定：原廠設定會在 load average 誤判時重啟迴圈；套件版不會。如果你曾經回來發現機器在訓練到一半時自己重啟，光這條就值回票價。
3. 故障排除手冊：我們故意在原廠設定上重現了 MTP + 並發請求崩潰；套件清楚記錄 MTP 推測解碼什麼時候安全、什麼時候不安全——還有修法。
4. 記憶體規劃：公式預測的用量跟實際 35B + embedding 分割只差約 2 GB。再也不玩「先試試看」的 VRAM 輪盤。

那些「查不到」的邊緣案例

手冊涵蓋你在 NVIDIA 論壇找不到的事故：plymouth-quit-wait 開機卡死、三重啟動衝突導致模型載入兩次、以及會殺掉合法 21 GB 權重載入的看門狗閾值。這些都是讓大家放棄自架的數小時甚至數天級謎團——而它們各自都有一個簡短、具體的修法。

DGX Spark 套件適合誰？

• DGX Spark / GB10 使用者：想要兩套模型穩定跑，不是只跑一套。
• 跑本地 LLM 技術棧的團隊（vLLM + Open WebUI、RAG 管線）：需要生產級正常運行時間。
• 已經賠掉一個週末在看門狗重啟或 CUDA illegal memory access 上的人。
• 討厭無文件試錯的自架玩家：這是一張印好的地雷圖。

它不適合只跑單一小型模型的 Docker 一行流玩家；它也不是 vLLM 文件的替代品——而是補上 vLLM 文件沒有的失敗知識。

DGX Spark 套件 vs. 原廠設定

價格與價值

Gumroad 上 $79 一次買斷，前 25 名用 GB10EARLY 碼只要 $49。想直接請人裝好？$390 兩小時遠端安裝（含套件），結束時兩個模型沒跑起來就全額退款；套件本身 30 天內可退款。對比開發者一個週末的時間成本（$400–1,000 以上的可計費工時，或單純「機器就是不穩」的沮喪），這套件包含設定檔、事故手冊、ARM64 就緒的 Firecrawl 加碼——而且和 Cowork Pro 編排框架剛好組成完整的自架 AI 技術棧。

結論

DGX Spark 是對的硬體；原廠軟體堆疊只是沒有誠實告訴你它的失敗模式。這套件就是「我剛好運氣好」和「我可以重現」之間的差別。對任何在 GB10 上跑真實工作負載的人，它拿掉的是自架最大的成本：你自己的除錯時間。

評語：如果你有一台 Spark 而且要跑一個以上的模型，下次重啟前就買。凌晨 2 點機器順利起來、而不是繼續重啟的時候，你會感謝自己。

👉 在 Gumroad 購買 DGX Spark 套件——$79 一次買斷（前 25 名用 GB10EARLY 只要 $49）

相關文章

• Cowork Pro — 編排跑在 Spark 上的那些代理。
• 自架 LLM 完整指南 — 自己跑模型的大局觀。
• 開發者工具主題中心 — 全部開發者工具指南。