當地端 LLM 開始進入「工作負載工程」：
我們如何重新理解模型、Prompt 與商業效率

這不是一篇單純比較模型分數的 benchmark 報告，而是一場對「本地 AI 系統工程」的重新理解。

最近這段時間，我們在 PCPiLOT 內部進行了一輪相當完整的本地 LLM 壓力測試與工作負載分析。

測試對象包含多種模型架構、多個 Context Window、不同量化設定，以及六種企業常見知識工作場景。我們不只看模型回答「像不像」，而是開始量測：

• 知識密度
• 推理穩定性
• 字數控制能力
• tok/s 與 wall time
• Context 使用效率
• 不同 workload 下的商業效益

而真正有趣的地方，是測試結果開始顛覆許多人對 LLM 的直覺。

一、大模型，不一定帶來更高商業價值

我們原本預期，27B 等級模型應該會明顯優於 9B 模型。但在實際測試中，結果並非如此。

某些 9B q8 模型，在多數企業知識工作場景下，輸出品質幾乎貼近 27B q4；但延遲更低、推論更快、VRAM 壓力更小。

這代表一件重要的事：

在企業環境裡，真正的成本來自：

• 推論延遲（latency）
• 同時併發能力（concurrency）
• VRAM 使用量
• Queue time
• 電力與散熱
• 模型載入與 Context 成本

二、Prompt 並不是魔法

這輪測試最重要的體悟之一，是我們開始真正理解 Prompt Engineering 的邊界。

很多文章會讓人誤以為：只要 prompt 寫得夠好，模型就能突然變得更深入、更有洞察力。

但真實世界並不是這樣。

模型的知識密度與推理深度，很大程度受到以下因素限制：

• 預訓練資料規模
• 模型架構
• 量化等級（q4 / q8）
• Attention 精度
• 長 Context 下的穩定性

當 Prompt 的要求超過模型能力時，模型通常不會誠實承認「不知道」。

它更可能開始：

• 冗長化
• 重複句型
• 模板化回答
• 編造合理數字
• 產生高自信的錯誤內容

三、真正重要的，是「工作負載路由」

測試進行到後來，我們開始發現：

未來企業 AI 的核心，也許不是「一顆超大模型解決全部問題」。

而是：

這種 heterogeneous inference pipeline（異質推論管線）的概念，反而更接近真實商業世界。

因為企業真正需要的，不只是模型能力，而是：

• 可控性
• 穩定性
• 可預測成本
• 故障管理
• Context Economics

四、我們開始理解：AI 什麼時候不能信

很多團隊只做 benchmark，但真正有價值的，往往是 Failure Mode 管理。

包括：

• Hallucination pattern
• Context dilution
• Over-compression
• Rubric gaming
• Semantic drift

因為真正成熟的企業 AI 系統，不是「AI 很強」。

而是你知道：它什麼時候可靠、什麼時候不能盲信。

這一輪測試，讓我們開始重新理解本地 LLM 的真正價值。

我們不再只是追求更大的模型，而是開始建立：

• 工作負載導向的模型路由
• 量化感知 Prompt Engineering
• 本地 AI 成本控制
• Inference Systems Engineering

這也許才是企業真正需要的下一階段 AI 能力。

— Steven Lai / PCPiLOT 風雲網通系統