地端 AI 主機 · 廠商報價檢核表

速算公式 估算

權重 ≈ 參數量(B) × 每參數位元組（BF16=2、FP8=1、4-bit≈0.6）GB

KV cache／token ≈ 2 × 層數 × KV heads × head 維度 × 2 bytes

總記憶體 ≈ (權重 + KV×人數) × 1.1–1.2（經驗值）

tok/s 上限 ≈ 記憶體頻寬 ÷ 每 token 讀取的權重大小（理論上限，實際更低）