36GB VRAM 的幻覺:我讓三家 AI 預測 RTX 3060 ×3 的推論效能,結果全部輸給實測數據
36GB VRAM 的幻覺:我讓三家 AI 預測 RTX 3060 ×3 的推論效能,結果全部被數據打臉 Mr. τ/風雲網通系統 · 2026-06-10 · 地端 AI 基礎設施 一、心動的開始 前幾天,社群裡流傳一篇文章。 有人用 RTX 5090 在本地跑 Gemma 4 12B,透過一個參數調整,TPS 從 27 直接飆到 103。將近四倍。 看完之後,我盯著螢幕想了很久。 「我手上有三張 RTX 3060 12GB,加起來 36GB VRAM。應該也能跑得很猛吧?」 其實買第三張卡的初衷很務實。不是為了炫耀規格,而是有實際需求: 兩張卡跑大一點的模型,偶爾會 OOM(顯存不足),動不動就崩 想測試 26B、27B 等級的模型,需要更寬裕的 VRAM 緩衝 不希望因為顯存限制,就把好不容易找到的優質模型放棄 帶著這個期待,我做了一件很多人都會做的事:先去問 AI。 💡 小科普:什麼是 TPS? TPS = Tokens Per... » read more