從一次 OOM 事件，看見企業地端 AI 的隱藏成本
從一次 OOM 事件，看見企業地端 AI 的隱藏成本 Steven Lai（Mr. τ）｜風雲網通系統有限公司 PCPiLOT · 2026-06-06 最近在開發 PCPiLOT 專案時，我遇到了一個很有意思的現象。 測試環境裡有兩張 RTX 3060 12GB。 照理說，許多人會認為：兩張顯示卡，應該比一張顯示卡更穩、更快、更有餘裕。 然而實際情況卻不是如此。 現場觀察 在模型推理與功能驗證過程中，我發現其中一張顯示卡長時間維持高負載，另一張顯示卡卻幾乎處於待命狀態。隨著上下文（Context）逐漸增加，系統開始出現記憶體不足（OOM）與推理中斷的現象。 短短不到十分鐘，就發生了多次模型重新載入與執行環境重建。結果最花時間的，並不是 AI 在思考問題，而是在等待系統恢復工作狀態。 企業導入 AI，真正的成本不一定是硬體 很多人談 AI 時，第一個想到的是： ✔ 顯示卡夠不夠大？ ✔ VRAM 有沒有 24GB？ ✔ 要不要再多買一張 GPU？ 這些當然重要。但當系統真正進入長時間運行階段後，往往會發現另一個問題： 真正影響效率的，未必是算力本身，而是資源如何被使用。 如果兩張顯示卡的資源無法有效協同運作，即使帳面上擁有更多的 VRAM，也未必能獲得理想中的穩定性。 AI Runtime 的設計取向，決定了資源如何被消耗 目前許多地端 AI 推理框架，都傾向於優先追求低延遲（Low Latency）。這種設計有其合理性——對聊天機器人而言，使用者通常希望輸入問題後，幾秒鐘內就能得到回應。 為了達成這個目標，系統往往會盡量減少顯示卡之間的資料交換。結果就是： ✅ 好處 回應速度較快，使用者體驗流暢，適合短對話場景。 ⚠️... » read more