30 分鐘換來的 12 倍加速
本地 LLM 效能異常的根因拆解與 Debug SOP
工程實戰 · Mr. τ · 2026 年 5 月 30 分鐘換來的 12 倍加速 本地 LLM 效能異常的根因拆解與 Debug SOP ▌ 這篇文章在講什麼 我花了整個上午,讓 AI 助理幫我 debug 一個本地 LLM 效能異常。六輪下來沒解決,最後靠一個三字參數位置錯誤找到根因。這是那次事件的完整記錄——以及我從中整理出來的 Debug SOP。 現象:200 字的文件,為什麼要跑 30 分鐘? 測試場景很單純:6 筆文件,每筆約 200–300 字,交給本地模型做結構化評分。正常情況下,這種規模的任務應該在幾分鐘內完成。 實際結果是:每筆 140–150 秒,6 筆合計接近 30 分鐘。 硬體監控數字正常,GPU 在線,模型已載入顯存。從表面看,系統沒有任何問題。 六輪 Debug,每輪都沒打到點 我請 AI 助理協助排查。接下來發生了一段很典型的「AI 時代 Debug 迴圈」: 1 加入串流顯示... » read more