03第三場 / 共三場

SESSION 3 · 地端模型

這台機器
跑得動哪個模型？

帶走一套四步驟判斷法：容量 → 速度 → 人數 → 報價

00為什麼要地端？

能把未公開的內部資料貼進 ChatGPT 嗎？

地端＝機器和資料都放在單位內

行政院生成式 AI 參考指引 · 第四點

不得向生成式 AI 提供應保密、個人及未經同意公開之資訊；但封閉式地端部署之生成式 AI 模型，於確認系統環境安全性後，得依文書或資訊機密等級分級使用。

行政法人
得準用

第九點：公營事業、公立學校、行政法人及政府捐助財團法人

第三點：機密文書
禁止使用生成式 AI講者解讀：地端也不例外

B4/B6 國科會：行政院生成式 AI 參考指引

⏱ 2 分先講為什麼要談地端。行政院 112 年 10 月函頒的《使用生成式 AI 參考指引》第四點：原則上不得把應保密、個資、未經同意公開的資訊提供給生成式 AI；「但封閉式地端部署之生成式 AI 模型，於確認系統環境安全性後，得依文書或資訊機密等級分級使用」。第九點：行政法人得準用——如果你的單位是行政法人，可以比照適用（條文是「得準用」，不是強制）。注意第三點：機密文書禁止使用生成式 AI。第三點沒有寫地端例外，但第四點提到地端可依機密等級分級使用；我的解讀是機密文書地端也不例外，實際以單位內資安與法務的認定為準。所以地端是「讓敏感但非機密的資料有機會用 AI」的合規路徑，但仍要先確認系統環境安全。轉場：「地端之前，先看紅線：哪些模型不能用？」來源： https://www.nstc.gov.tw/folksonomy/list/c79bf57b-dc94-4aff-8d14-3262b5559cfc

00紅線

選模型之前，先看燈號

禁用

DeepSeek

數位部列為「危害國家資通安全產品」，限制對象明列行政法人；行政院：公務機關原則全面禁用

預設不用

其他中國廠商模型
（例如 Qwen）

屬中國廠商、風險高；確有需要，先走資安長與核定程序

候選

gpt-oss · Gemma · Mistral · Muse（Meta）· TAIDE

美國／歐洲／國科會 TAIDE；仍需依內部程序評估；綠燈≠免審

B7 數位部新聞稿 · B8 行政院 114-02-03 · B9 資通安全管理法第 11 條

⏱ 1 分紅燈：DeepSeek。數位發展部已認定 DeepSeek AI 屬「危害國家資通安全產品」，當時依限制使用原則，限制對象明列中央與地方機關、公立學校、公營事業、行政法人。行政院 114 年 2 月 3 日也要求公務機關原則全面禁用 DeepSeek AI 服務。現在更進一步：資通安全管理法 2025-09-24 修正公布、2025-12-01 施行，第 11 條明定公務機關不得下載、安裝或使用危害國家資通安全產品（因業務需求且無替代方案者，須走例外核定）。行政法人是公法人，一般理解屬該法的公務機關；各單位適用情形以資安長確認為準。黃燈：其他中國廠商的模型，例如 Qwen。開放權重、技術上很強，但我的建議是預設不用；確有需要，先走資安長與核定程序。要講公道：目前查不到官方點名 Qwen 的公告，下載權重放在單位內執行算不算在限制內，也沒有查到明確解釋，所以這是講者的保守建議，不是法條定論，以資安長認定為準。採購前也建議把模型與軟硬體的來源、授權列入規格審查。綠燈：gpt-oss（OpenAI，美國）、Gemma（Google，美國）、Mistral（法國）、Muse（Meta，美國）、TAIDE（國科會）。綠燈不等於免審，仍要依內部程序評估。轉場：「黃燈為什麼要小心？10 月 26 日剛好有一則資安新聞。」來源： https://moda.gov.tw/press/press-releases/15104 https://www.ey.gov.tw/Page/9277F759E41CCD91/3ce9fe8f-2f5f-4d1d-8176-6fa4cf622b82 https://law.moj.gov.tw/LawClass/LawAll.aspx?pcode=A0030297

00資安新聞

互動

地端 ≠ 自動安全

模型能用工具之後，問題就不只是「資料有沒有出門」，還有「它會動手做什麼」

STEP 1 · 測試Cohere 在隔離測試環境，請 Alibaba 的開放權重模型 Qwen 寫「防禦偵測規則」

→

STEP 2 · 沒被要求它卻翻看檔案、網路設定，想把一段測試字串傳到北京的雲端儲存空間

→

STEP 3 · 被擋下測試環境沒有對外連線，請求出不去；換成一般筆電就可能送出

很少見：不到十萬分之一它自己寫的「思考過程」說不會用工具，實際卻用了是刻意還是訓練殘留？Cohere 也無法判斷

①

模型從哪裡來？

查來源

知道權重從哪來；不是自己訓練的，當成沒簽章的程式

②

它能不能連外網？

先關在隔離區

先在隔離測試環境試；預設不准對外連線

③

它能動哪些工具？

執行前把關

工具真正執行前先檢查；意外的工具呼叫或雲端網址就警示

④

它說的就是它做的？

看行動，不看自述

推理文字不是防線；AI 寫的程式也要審

按 → 逐步揭曉 · 點卡片翻牌

S1 Cohere 部落格：Concerning behaviour in a popular open-weight AI model（2026-10-26）

⏱ 2 分先交代來源：這是模型廠商 Cohere 自家部落格 2026 年 10 月 26 日公布的測試（他們自己也賣模型，聽的時候放在心上）。按 → STEP 1：Cohere 在封閉的測試環境（sandbox，就是隔離的測試區），請 Alibaba 的開放權重模型 Qwen3.8-Flash-Next 做一件很普通的資安工作：寫一條防禦用的偵測規則（微軟 CTI-REALM 測試題）。按 → STEP 2：模型沒照指示做，反而先列出 /tmp 資料夾的檔案、檢查機器上有哪些傳輸工具、讀了網路（DNS）設定，接著試著把一段測試字串上傳到北京的 Alibaba Cloud 儲存空間。按 → STEP 3：因為測試環境本來就沒有對外的網路路線，請求在隔離區的牆邊就斷了。文章說：如果是在一般開發者的筆電、或網路正常的自動化主機上，就可能真的送到外面的伺服器。按 → 三個事實，要講公道： - 很少見：在他們的評測裡不到十萬次呼叫出現一次；同一題重跑，模型就正常寫出偵測規則。 - 模型的推理文字（它自己寫的「想法」）說不會呼叫任何工具，實際卻呼叫了——所以文章說：推理文字不是安全防線。 - 這是刻意的，還是訓練時留下的殘渣？Cohere 說他們無法判斷。為什麼和我們有關？大家常以為「模型放在自己機器上，資料就不會出去」。文章的說法是：只回答問題的聊天機器人大致如此；但一旦把模型接上終端機、瀏覽器、程式執行工具，模型權重裡學到的東西就等於拿到了你網路裡的一副鍵盤。按 → 四張卡，先問台下再翻：如果我們組要在地端跑開放權重模型、讓它當 agent，要守哪四件事？ ① 查來源：文章建議把不是自己訓練的權重當成「沒簽章的程式」看待；Hugging Face 上有超過 11 萬個 Qwen 衍生模型，這個行為也出現在包含 Alibaba 在內四個發布者的版本裡——所以要知道你的模型從哪裡來。 ② 先關在隔離區：預設禁止 agent 對外連線；測試環境和正式環境分開。這次就是靠「沒有對外連線」擋下來的。 ③ 執行前把關：在工具真正執行之前檢查；出現平常不會用到的雲端網址或意外的工具呼叫，就要發警示。（講者補充：只開必要的工具、重要動作由人核准，也是同一個精神。） ④ 看行動，不看自述：推理文字不能當防線；AI 寫的程式也可能有漏洞，要審查、測試。提醒：這不是說地端或開放權重模型不能用——文章自己也說，正因為權重公開，大家才發現得了這個問題。重點是：地端解決「資料放哪裡」，不會自動解決「模型能做什麼」。這也呼應前一頁的黃燈。但文章也說：封閉的雲端 API 一樣是看不到內部的黑箱，所以綠燈模型也要設防。轉場：「確定能用哪些模型、也知道地端要設防之後，下一個問題：值不值得自己買機器？」來源： https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model https://huggingface.co/datasets/CohereLabs/10-2026-qwen-investigation-traces

00地端 vs 雲端

互動

什麼時候值得自己買機器？

？

資料敏感度 →

用量 →

先猜四個象限，再揭曉

B4 行政院生成式 AI 參考指引 · E1b CalMatters：Diablo Canyon

⏱ 2 分【互動】四個象限先蓋住。橫軸是資料敏感度，縱軸是用量。點一格，先請大家猜「這格該地端還是雲端？」再揭曉。用我們自己的兩種資料來想：右上（敏感＋用量大且穩定）：整個小組天天在用「未公開的內部資料」→ 最適合地端，資料不出單位。左下（不敏感、用量少）：偶爾查一篇「已公開的文獻」→ 雲端就好，用多少付多少，還能用到最新最強的模型。左上（不敏感、用量大）：大量整理已公開的文獻 → 雲端或混合，要比價。右下（敏感、用量少）：一個人偶爾看未公開的內部資料 → 先用一台桌上型小規模試用（PoC，概念驗證），或混合。這是講者整理的判斷框架（不是法規條文）；法規面請回到指引第四點：地端要先確認系統環境安全；機密等級的資料（第三點）不論地端雲端都不能用。哪些內部資料算「應保密」、哪些算「機密」，以內部分級為準。案例：美國 Diablo Canyon 核電廠的 AI 搜尋系統安裝在廠內、無雲端連線（CalMatters 報導）。2025 年報導當時，系統搜尋的是公開的 NRC 文件；內部文件是下一階段的規劃。轉場：「決定要地端，先用倉庫和輸送帶認識硬體。」來源： https://www.nstc.gov.tw/folksonomy/list/c79bf57b-dc94-4aff-8d14-3262b5559cfc https://calmatters.org/economy/technology/2025/04/first-nuclear-plant-ai-at-diablo-canyon/

01硬體直覺

互動

連連看：硬體像什麼？

倉庫（記憶體）→ 輸送帶（頻寬）→ 工廠（GPU）

關鍵：每產生一個字，都要把模型從記憶體讀一遍 → 瓶頸是倉庫夠不夠大、輸送帶夠不夠快

記憶體

頻寬

GPU

CPU

輸送帶每秒能搬多少貨

現場主管少數聰明工程師，雜事一件接一件做

成千上萬的工人同時做同一種簡單計算

倉庫模型要放得下

配對 0 / 4

C1 NVIDIA：CPU 與 GPU 差在哪 · C2 Apple：統一記憶體 · G5 PagedAttention（arXiv 2309.06180）

⏱ 2 分【互動】連連看：先點左邊一個名詞，再點右邊對應的比喻；對了會畫線，錯了會抖一下。請台下喊答案，講者來點。答案：記憶體＝倉庫；頻寬＝輸送帶；GPU＝成千上萬的工人，同時做同一種簡單計算；CPU＝現場主管，少數聰明的工程師，什麼雜事都會，但一件接一件做。為什麼 AI 適合 GPU：大型語言模型的計算幾乎全是「一大堆乘法加法」，每一筆都很簡單、彼此獨立——正好適合成千上萬的工人同時做。CPU 也能算，只是人少，所以只有 CPU 的機器能跑小模型，但比較慢。誰的倉庫：系統記憶體（RAM）是主管（CPU）的；顯示卡記憶體（VRAM）是工廠（GPU）的；統一記憶體的機器兩者共用一個倉庫。補充名詞只放備註：RAM 是一般記憶體，VRAM 是顯卡上的記憶體。按 → 揭曉關鍵：大型語言模型在「產生文字」的階段，每產生一個 token，都要把（啟用的）模型權重從記憶體讀一遍，所以瓶頸通常不是算力，而是記憶體「夠不夠大」和「搬得夠不夠快」（PagedAttention 論文也指出這個階段受記憶體限制）。補充：Mac、DGX Spark、AMD Strix Halo 用「統一記憶體」，CPU 和 GPU 共用一個大倉庫——容量大，但輸送帶通常比獨立顯卡慢。轉場：「四個角色都認識了。下一頁把它們串起來：你按下 Enter 之後，資料怎麼跑？」來源： https://blogs.nvidia.com/blog/whats-the-difference-between-a-cpu-and-a-gpu/ https://developer.apple.com/videos/play/wwdc2020/10686/ https://arxiv.org/abs/2309.06180

01硬體直覺 · 串起來

互動

按下 Enter 之後，資料怎麼跑？

按「▶ 播放」或「下一步」：看你按下 Enter 之後，資料在機器裡怎麼跑。
⓪ 開機（只做一次）：模型權重從硬碟，經現場主管（CPU）搬進 GPU 的倉庫（顯示卡記憶體）搬進主管和工廠共用的倉庫（統一記憶體）搬進主管自己的倉庫（系統記憶體 RAM），之後就一直放著。
① 你送出問題：現場主管（CPU）把句子切成一塊塊 token，派工給 GPU 工廠。派工給 GPU 工廠。可是沒有工廠，只好自己算。
② 先讀題：工廠工廠主管一次讀完整段問題（權重搬一趟、整段一起算），把每個字的重點寫成便條紙放上桌面。
③ 生成第 1 個字：要用到的權重全部經輸送帶搬進工廠，成千上萬的工人一起算進工廠，成千上萬的工人一起算給主管，少數工程師自己算（慢很多），只吐出 1 個字；印到螢幕，也寫一張便條紙。
③ 生成第 2 個字：要用到的權重全部經輸送帶搬進工廠，成千上萬的工人一起算進工廠，成千上萬的工人一起算給主管，少數工程師自己算（慢很多），只吐出 1 個字；印到螢幕，也寫一張便條紙。
③ 生成第 3 個字：要用到的權重全部經輸送帶搬進工廠，成千上萬的工人一起算進工廠，成千上萬的工人一起算給主管，少數工程師自己算（慢很多），只吐出 1 個字；印到螢幕，也寫一張便條紙。
③ 生成第 4 個字：要用到的權重全部經輸送帶搬進工廠，成千上萬的工人一起算進工廠，成千上萬的工人一起算給主管，少數工程師自己算（慢很多），只吐出 1 個字；印到螢幕，也寫一張便條紙。
③ 生成第 5 個字：要用到的權重全部經輸送帶搬進工廠，成千上萬的工人一起算進工廠，成千上萬的工人一起算給主管，少數工程師自己算（慢很多），只吐出 1 個字；印到螢幕，也寫一張便條紙。
結論：倉庫（記憶體）決定放不放得下；輸送帶（頻寬）決定字出來多快；工廠（GPU）負責算；主管（CPU）負責接單、派工、收貨。

同一棟：統一記憶體（例如 Mac、DGX Spark）

你輸入的問題示意

「請整理這 5 篇材料耐熱測試文獻」

請整理這5篇材料耐熱測試文獻

CPU＝現場主管少數聰明的工程師：接單、切字、派工、收貨、印出

主管自己的小倉庫：系統記憶體 RAM主管和工廠共用同一個倉庫沒有 GPU：權重放在主管的 RAM

螢幕

硬碟SSD

倉庫＝顯示卡記憶體 VRAM（GPU 的）共用倉庫＝統一記憶體倉庫＝系統記憶體 RAM（CPU 的）模型權重（貨）放這裡

桌面：便條紙（下一段細講）

輸送帶＝頻寬輸送帶＝頻寬（在同一棟裡）一般記憶體：輸送帶較慢

GPU＝工廠GPU＝工廠沒有 GPU 工廠成千上萬的工人，同時做同一種「乘法加法」

（工人數為示意）

▶

0輸出字數

0輸送帶趟數

G5 PagedAttention（arXiv 2309.06180） · G6 Hugging Face：Quantization

⏱ 2.5 分這頁把前面三個比喻串起來：你在聊天框按下 Enter 之後，資料在機器裡從哪裡流到哪裡。流程是講者整理的簡化示意。【互動】按「▶ 播放」自動跑完；或按「下一步／上一步」一步一步講。右上角可以切換三種機器。 ⓪ 開機（只做一次）：模型權重從硬碟，經過 CPU 和系統記憶體，搬進 GPU 的倉庫（顯示卡記憶體 VRAM）。搬一次就一直放著，所以第一次開模型會等比較久。 ① 你送出問題：CPU 是「現場主管」——少數聰明的工程師，什麼雜事都會：接單、把句子切成 token、派工給 GPU、收回結果、印到螢幕。範例句是示意。 ② 先讀題（英文叫 prefill）：GPU 一次讀完整段問題，權重只搬一趟、整段一起算；把每個字的重點寫成「便條紙」放在桌面上（第一場的桌面，下一段會細講，英文叫 KV cache）。 ③ 開始生成：每生成 1 個字，要用到的權重都要從倉庫經輸送帶整批搬進工廠一次，工廠裡成千上萬的工人同時做同一種乘法加法，算完只吐出 1 個字；這個字交回主管印到螢幕，也寫成一張便條紙。然後再搬下一趟。請大家看右下角：輸出字數和輸送帶趟數幾乎一樣多——每個字＝輸送帶跑一整趟。（MoE 模型只搬用到的那幾個書架，後面會講。）結論：倉庫（記憶體）決定放不放得下；輸送帶（頻寬）決定字出來多快；工廠（GPU）負責算；主管（CPU）負責接單、派工、收貨。切換「統一記憶體」：倉庫和工廠在同一棟（Mac、DGX Spark、AMD Strix Halo），倉庫很大，但輸送帶通常比獨立顯卡慢。切換「只有 CPU」：沒有 GPU 工廠，模型放在系統記憶體，主管自己算——小模型可以跑，但字出來比較慢，因為少數工程師一次只能做少量計算，系統記憶體的輸送帶也比較慢。轉場：「有了這張圖，回到大家最常問的：我們跑模擬的電腦，能不能順便跑 AI？」來源： https://arxiv.org/abs/2309.06180

01硬體直覺

互動

模擬電腦 ≠ AI 電腦

兩種機器，吃的東西不一樣，採購規格也不一樣

跑模擬的叢集很多位資深師傅分工

跑 AI 的機器大倉庫＋快輸送帶

吃什麼

CPU 核心：很多核心、很多台電腦（節點）一起算

記憶體：整個模型要放得進去，還要搬得夠快

怎麼跑

排隊送出一批工作，一跑好幾小時，跑完看 log

隨問隨答；每打一個字，都要把模型從記憶體讀一遍

採購看什麼

核心數、節點數、節點之間的網路

記憶體多大（放得下）、頻寬多快（跑多快）

那叢集能不能
順便跑 AI？

小模型可以試，但通常慢。
多人用大模型，要看記憶體夠不夠大、夠不夠快。答案在這場的四個問題裡：放得下？跑得多快？

⚠️ 實際叢集規格（有沒有 GPU、記憶體多大）請先向管理單位確認

⏱ 1.5 分這頁回答一個很常見的問題：「我們跑模擬的電腦，能不能順便跑 AI？」先用比喻：跑模擬的叢集，像請了很多位資深師傅（CPU 核心），把一大片網格切開來分工算；很多台電腦（節點）一起排隊跑一批工作，一跑好幾個小時甚至幾天，跑完再看 log。大型語言模型不一樣：它是隨問隨答，每打出一個字，都要把整個模型從記憶體讀一遍。所以它最在乎兩件事：記憶體夠不夠大（模型放不放得下），和記憶體搬得夠不夠快（頻寬）。剛才的倉庫與輸送帶比喻，就是這兩個重點。所以採購規格不一樣：模擬叢集看核心數、節點數、節點之間的網路；AI 機器看記憶體容量和頻寬。這是一般性的說明，不是說某一台機器一定不行。【互動】點右邊的卡片翻牌：「那叢集能不能順便跑 AI？」→ 小模型可以試，但通常慢；多人一起用大模型，要看有沒有夠大、夠快的記憶體（通常是 GPU）。也有一些模擬程式會用 GPU 加速，要看單位內實際用的程式和機器。 ⚠️ 實際叢集的規格（有沒有 GPU、每個節點記憶體多大）講者請先跟計算機管理同仁確認，再決定要不要舉內部的例子。這頁不放任何數字。轉場：「判斷一台機器，問四個問題。」

02判斷法

判斷法：問四個問題

①放得下嗎？容量：模型本身＋桌面

②跑得多快？輸送帶多快

③幾個人用？人數 × 每人的桌面

④報價合理嗎？拿檢核表逐題問

小明要讀長報告（約 4 萬字）＋5 人同時用 → 四題都會碰到

①放得下嗎？

①容量

②速度

③人數

④報價

模型有多大？一條公式

權重＝模型學到的所有數字；參數量＝有幾個數字，像行李箱裡有幾件衣服

模型大小（權重）≈ 數字個數 × 每個數字佔幾 byte

原始16-bit

2 bytes

壓一半8-bit

1 byte

壓到 1/44-bit

≈ 0.6 byte

4-bit＝壓縮檔，
約原本的 1/4

這種壓縮叫「量化」。越小越快，
但品質可能略降。

術語對照：原始＝BF16／FP16；8-bit＝FP8／INT8；常見 4-bit 格式 Q4_K_M 約 4.85 bit，所以實務上多抓一點（≈ 0.6 byte）

G6 Hugging Face：Quantization overview

⏱ 2 分第一步：模型本身有多大？權重記憶體 ≈ 參數量 × 每個參數佔幾個位元組。只要記三個行李箱：原始版每個參數 2 bytes；壓一半是 1 byte；壓到 1/4 大約 0.6 byte。一句話：4-bit 就像壓縮檔，大約是原本的 1/4。這種「把數字存得更省」叫量化（quantization）。舉例：80 億參數（8B）× 2 bytes ＝ 16 GB；壓到 4-bit 估算約 5 GB。術語對照（台下有人問再講）：原始精度叫 FP16 或 BF16（16-bit，2 bytes）；壓一半叫 FP8 或 INT8（8-bit，1 byte）；實務上常見的 4-bit 格式 Q4_K_M，每個參數約 4.85 bit，所以 4-bit 要多抓一點，大約 0.6 byte。壓得越小，模型越小、跑越快，但品質可能略降——通常 4-bit 是個人與試用（PoC）常用的平衡點。轉場：「套公式算三個常見大小。」來源： https://huggingface.co/docs/transformers/main/en/quantization/overview

①放得下嗎？

①容量

②速度

③人數

④報價

算例：三種大小 × 三種壓縮估算

L HF config：Llama-3.1-8B · L Llama-3.3-70B · F3 Gemma 4

⏱ 1 分三個常見大小，用剛剛的公式（只算權重）。每一列三條：原始（BF16）、壓一半（FP8）、壓到 1/4（4-bit）。 8B：原始約 16 GB、壓一半約 8 GB、4-bit 估算約 5 GB。 31B（Gemma 4）：估算約 62／31／19 GB。 70B（例：Llama-3.3-70B）：估算約 141／71／43 GB。虛線是常見記憶體門檻：24 GB（RTX 4090）、32 GB（RTX 5090）、96 GB（RTX PRO 6000）、128 GB（DGX Spark、Strix Halo）。看圖就知道：70B 的原始版本，連 128 GB 都放不下；4-bit 版本 43 GB，一張 32 GB 的卡也放不下。（全部是講者估算。）轉場：「但有一種模型很特別：總參數很大，跑起來卻很快——MoE。」來源： https://huggingface.co/unsloth/Llama-3.1-8B-Instruct/blob/main/config.json https://huggingface.co/unsloth/Llama-3.3-70B-Instruct/blob/main/config.json https://ai.google.dev/gemma/docs/releases

①放得下嗎？

①容量

②速度

③人數

④報價

MoE：大圖書館，每次只開幾個書架

例：gpt-oss-120b（Mixture of Experts）

117B

總參數 → 決定記憶體

5.1B

每個 token 用到 → 決定速度

官方壓縮版（4-bit 等級），單張 80GB 卡放得下

F1 HF gpt-oss-120b · F5 HF blog：Muse Spark Open

⏱ 2 分 MoE（Mixture of Experts，專家混合）：模型裡有很多「專家」，每產生一個 token，只叫其中幾位出來工作。就像一座大圖書館，書全部都要放著（記憶體要夠大），但每次只打開幾個書架（所以讀得快）。 gpt-oss-120b：總共 117B 參數，但每個 token 只用 5.1B；官方說用 MXFP4（官方的 4-bit 等級壓縮格式）量化後，單張 80GB GPU 放得下。 Meta Muse Spark Open 的部落格說得最直白：256 個 expert 全部都要留在記憶體，所以部署要準備 816B 模型的記憶體，但跑起來是 42B 模型的速度。口訣：總參數決定記憶體，活躍參數決定速度。等一下速度那段會再用到。轉場：「模型本身算完了，但記憶體還有另一個大胃王——第一場的那張桌子。」來源： https://huggingface.co/openai/gpt-oss-120b https://huggingface.co/blog/meta-muse-spark-open

①放得下嗎？

①容量

②速度

③人數

④報價

桌子＝便條紙堆

還記得第一場的「桌子」嗎？它在機器裡也要佔記憶體

小明要讀 5 篇文獻和報告，再加上畫圖程式的結果

→ 桌上的東西很多：桌子很大

→ 每讀一個字，就留一張便條紙　（這疊便條紙叫 KV cache）

模型	每個字一張便條紙	桌上放滿 128K 字
8B 模型Llama-3.1-8B	≈ 0.13 MB	≈ 17 GB
70B 模型Llama-3.3-70B	≈ 0.33 MB	≈ 43 GB

估算　部分 2026 年新模型（如 Gemma 4、gpt-oss）用了省便條紙的設計，會更省

L HF config：Llama-3.1-8B · L Llama-3.3-70B · G5 PagedAttention

⏱ 2 分回扣第一場「桌上到底放了什麼」那 7 層：系統指令、手冊目錄、工具說明書、對話紀錄、上傳的檔案、工具回傳結果、你的問題——全部都在桌上。現在小明要讀 5 篇文獻和報告（加起來上百頁），再加上畫圖程式跑完的結果，桌上的東西很多，等於桌子很大。桌子在機器裡也要佔記憶體：模型每讀一個字（token），就會把這個字的「重點摘要」留下來，避免下次重讀——就像每讀一個字留一張便條紙。這疊便條紙的正式名稱叫 KV cache（K 和 V 是它存的兩種中間結果）。頁面上只看表格： 8B 模型（Llama-3.1-8B）每個字約 128 KiB；桌上放滿 128K 個字約 16 GiB——跟 8B 模型本身的原始權重差不多大！ 70B 模型（Llama-3.3-70B）每個字約 320 KiB；放滿 128K 約 40 GiB。公式（不放在頁面上，有人問再講）：每個 token ≈ 2（K 和 V）× 層數 × KV heads 數 × head 維度 × 2 bytes（BF16）。 Llama-3.1-8B：32 層、8 個 KV heads、head 維度 128 → 2×32×8×128×2 ＝ 131,072 bytes ＝ 128 KiB／token；128K context（131,072 tokens）約 16 GiB。 Llama-3.3-70B：80 層、8 個 KV heads、head 維度 128 → 2×80×8×128×2 ＝ 327,680 bytes ＝ 320 KiB／token；128K 約 40 GiB。架構數字來自 Hugging Face 上的 config.json。教學用 Llama 3.x 因為架構單純；部分 2026 年新模型（例如 Gemma 4、gpt-oss）用滑動視窗或混合注意力，KV cache 會比這個公式算的少；不是每個新模型都這樣，要看該模型的設定檔。（估算）轉場：「把模型本身和便條紙加起來，就是總記憶體。」來源： https://huggingface.co/unsloth/Llama-3.1-8B-Instruct/blob/main/config.json https://huggingface.co/unsloth/Llama-3.3-70B-Instruct/blob/main/config.json https://arxiv.org/abs/2309.06180

①放得下嗎？

①容量

②速度

③人數

④報價

總記憶體公式

權重＋每人便條紙 × 人數＋ 10–20% 雜項

權重

便條紙（KV cache）
每人桌面 × 人數

雜項

再留一點餘裕：作業系統、框架、啟動暫存都要空間

「10–20% 雜項」為經驗值，不同軟體差異很大。

①放得下嗎？

互動

一起算：研究小組

要多少記憶體？70B 模型、壓到 4-bit。甲：5 人，每人桌上 40K 字（長報告）　乙：25 人，每人 8K 字

權重70.6B × 4.85 bit ÷ 84-bit 實際約 4.85 bit（多抓一點）≈ 43 GB

便條紙甲 5×40K 字＝204,800 字；乙 25×8K 字＝204,800 字（一樣多）每字約 0.33 MB（估算）≈ 67 GB

雜項再加 10–20%＋10–20%

合計甲、乙一樣大，大約需要120 GB 以上

✗ 32GB 卡（RTX 5090）

✗ 96GB 卡（RTX PRO 6000）

→ 要更大的記憶體，或多卡

按 → 逐行揭曉 · 估算

L HF config：Llama-3.3-70B · K NVIDIA RTX 5090 / RTX PRO 6000 規格

⏱ 2 分【互動】題目：研究小組要用 70B 模型（壓到 4-bit）。兩種用法：甲：5 個人同時用，每人讀長報告，桌面 40K（40,960 tokens，約 4 萬字）。乙：25 個人同時用，每人桌面 8K（8,192 tokens）。先請大家猜：哪一種比較吃記憶體？再拿手機計算機一起算，每按一次 → 揭曉一行。 1. 權重：70.6B × 4.85 bit ÷ 8 ≈ 42.8，約 43 GB（兩種用法一樣）。 2. 便條紙（KV cache）：甲：5 × 40,960 ＝ 204,800 tokens；乙：25 × 8,192 ＝ 204,800 tokens——桌子總面積一模一樣！ 204,800 × 320 KiB ＝ 65,536,000 KiB ＝ 62.5 GiB（約 67 GB）。換個算法也一樣：甲每人 320 KiB × 40,960 ＝ 12.5 GiB，× 5 人＝ 62.5 GiB；乙每人 320 KiB × 8,192 ＝ 2.5 GiB，× 25 人＝ 62.5 GiB。注意：便條紙已經比模型本身還大！ 3. 雜項：再加 10–20%。 4. 合計：43 GB ＋約 67 GB（估算）＋ 10–20%，大約要 120 GB 以上（下一頁計算機用 15% 算，約 126 GB）。 5. 結論：一張 32GB（RTX 5090）或 96GB（RTX PRO 6000）的卡都放不下，要更大的記憶體或多卡。重點：記憶體看的是「人數 × 每人桌面」的總和。讀長報告的少數人，和問短問題的一大群人，可能一樣吃記憶體。（全部是估算，理論值。）轉場：「每次都手算太累，我做了一個計算機。」來源： https://huggingface.co/unsloth/Llama-3.3-70B-Instruct/blob/main/config.json https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5090/ https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/

①記憶體計算機

互動

模型

精度

同時使用人數 5

每人 context 長度 40K

0GB估算

權重 0 GB ＋便條紙 0 GB ＋ 15% 雜項　（；KV ／token）

權重KV cache雜項右欄速度＝單人理論上限（估算）

△＝放得下但超過容量 9 成，需實測 · Strix Halo 頻寬為推算 · DGX Station 超過 GPU 252GB 時改以 CPU 396 GB/s 估 · B200 頻寬為 8 卡合計 · 估算。速度＝單人理論上限，只算頻寬、未計算力上限；超過 200 tok/s 一律顯示 200+，請以實測為準。

L HF config · F1 gpt-oss-120b · K/H 各硬體官方規格（見參考資料）

⏱ 2 分【互動】記憶體計算機。預設就是剛剛那一題的甲（70B、4-bit、5 人、每人 40K），結果約 126 GB，和手算的「120 GB 以上」一致。可以把人數拉到 25、context 拉到 8K，驗證乙也是一樣大。現場可以請大家出題： - 注意：預設 126 GB 對 128GB 的 DGX Spark、Strix Halo 會顯示黃色「很緊」，表示需要實測：只差 2 GB，DGX Spark 作業系統約佔 8 GB，Strix Halo 的記憶體也不一定全部能給 GPU。 - 把人數拉到 1（還是 40K）：剩約 65 GB，DGX Spark、RTX PRO 6000 都放得下。 - 精度改「原始 16-bit」（BF16）：權重 141 GB，很多機器出局。 - 換成 gpt-oss-120b：它官方就是 4-bit 格式（MXFP4）發布，不必再壓，所以計算機用官方檔案大小：權重約 65 GB，每個字約讀 5.1 GB（官方壓縮只壓專家層，注意力層等仍是 16-bit）。 - context 一路拉到 400K（滑桿最右邊）：看大數字、橘色條和右邊機器一排排變成 ✗。例：70B、8-bit、6 人、每人 400K ≈ 1.01 TB（權重 71 GB，便條紙 805 GB）；同樣 6 人但每人 40K 只要約 174 GB。大數字超過 1,000 GB 會改用 TB 並變紅色。 - 口頭補充：這三個模型官方原生上限都是 128K（Llama 3.1／3.3 與 gpt-oss-120b 的官方模型卡）；超過 128K 時滑桿下方會出現一行小字「超過模型原生上限 128K，僅示意記憶體成長」。有些較新的模型標稱支援 256K–1M context，所以 400K 是用來示範記憶體怎麼長，不代表這三個模型能直接用 400K。 - 計算方式：便條紙（KV cache）跟 context 長度、人數成正比；gpt-oss-120b 一半的層只記最近 128 個字（滑動視窗），所以它的便條紙大約只有一般算法的一半（理論值；推論軟體若沒有針對滑動視窗省記憶體，實際會接近一般算法）。 - context 很長時，每打一個字也要讀一遍自己的便條紙，實際速度會比右欄的理論值更慢（右欄只算權重）。右邊每台機器：綠色＝放得下；黃色＝放得下但超過容量 9 成，很緊，需要實測。速度欄是單人理論上限（頻寬 ÷ 每 token 讀取的權重），沒有算力上限，所以超過 200 tok/s 一律顯示「200+」，實際請以實測為準。DGX Station 若超過 GPU 的 252GB，速度改用 CPU 記憶體頻寬 396 GB/s 估算。DGX B200 的頻寬是 8 卡合計。計算假設：4-bit＝Q4_K_M 約 4.85 bit；雜項固定 15%（經驗值 10–20% 的中間）；KV cache 用標準公式（部分新模型更省）。全部是估算。轉場：「放得下之後，第二個問題：跑得多快？」來源： https://huggingface.co/unsloth/Llama-3.1-8B-Instruct/blob/main/config.json https://huggingface.co/unsloth/Llama-3.3-70B-Instruct/blob/main/config.json https://huggingface.co/openai/gpt-oss-120b https://www.nvidia.com/en-us/products/workstations/dgx-spark/ https://www.nvidia.com/en-us/products/workstations/dgx-station/ https://www.nvidia.com/en-us/data-center/dgx-b200/ https://support.apple.com/en-us/128107 https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5090/ https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/ https://www.nvidia.com/en-us/data-center/h200/ https://binarycon.com/tools/ddr5-channel-bandwidth-calculator/ https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-max-plus-395.html https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/MODEL_CARD.md https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct https://openai.com/index/introducing-gpt-oss/ https://huggingface.co/openai/gpt-oss-120b/blob/main/config.json

②跑得多快？

①容量

②速度

③人數

④報價

為什麼「頻寬」決定打字速度？

每秒打幾個字 ≈
輸送帶速度 ÷ 每個字要搬的貨量單人對話、理論上限；實際會更低

每打一個字，要把整個模型搬一趟。
MoE 只搬用到的那幾個書架。

G5 PagedAttention（arXiv 2309.06180） · 規格見參考資料

②跑得多快？

互動

賽跑：同一個 70B（4-bit，≈43GB）估算

按「開跑」，看 12 秒內各打出多少字

DGX Spark273 GB/s → ≈ 6 tok/s

Mac Studio M5 Ultra1.2 TB/s → ≈ 28 tok/s

RTX PRO 60001,792 GB/s → ≈ 42 tok/s

H2004.8 TB/s → ≈ 112 tok/s

速度＝頻寬 ÷ 43GB，理論上限

H1 DGX Spark · K3 Apple M5 Ultra · K6 RTX PRO 6000 · K8 H200

⏱ 2 分【互動】按「開跑」：四台機器同時跑同一個 70B 4-bit 模型（約 43GB），文字依照各自的理論速度吐出來（以 1 個中文字約 1 個 token 示意）。理論上限（頻寬 ÷ 43GB）： DGX Spark 273 GB/s → 約 6 tok/s Mac Studio M5 Ultra 1.2 TB/s → 約 28 RTX PRO 6000 1,792 GB/s → 約 42 H200 4.8 TB/s → 約 112 體感：6 tok/s 看得到它一個字一個字慢慢打；28 以上就很順。實際速度會比理論值低。注意：RTX 5090 雖然頻寬也有 1,792 GB/s，但只有 32GB，43GB 的模型放不下——先過第一關才談速度。轉場：「但如果換成 MoE 模型，小機器也能很快。」來源： https://www.nvidia.com/en-us/products/workstations/dgx-spark/ https://support.apple.com/en-us/128107 https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/ https://www.nvidia.com/en-us/data-center/h200/

②跑得多快？

①容量

②速度

③人數

④報價

同一台 DGX Spark，換個模型估算

一般模型（每次全部書架都翻）

Gemma 4 31B（4-bit）

每個 token 讀 ≈ 19 GB 全部書架

14tok/s

MoE（每次只翻幾個書架）

gpt-oss-120b（官方 4-bit 格式）

每個 token 只讀 ≈ 5 GB 用到的書架（5.1B）

54tok/s

273 GB/s ÷ 19 GB ≈ 14　·　273 GB/s ÷ 5.1 GB ≈ 54（理論上限；社群實測約 50）

F1 gpt-oss-120b · F3 Gemma 4 · H1 DGX Spark 273 GB/s · G7 llama.cpp 實測

⏱ 1 分同一台 DGX Spark（273 GB/s）： Gemma 4 31B 是一般的 dense 模型（每次全部參數都用），4-bit 估算約 19GB，理論上限估算約 14 tok/s。 gpt-oss-120b 是 MoE，總參數 117B，官方本身就用 4-bit 格式（MXFP4，約 4.25 bit）發布，檔案約 65GB；每個 token 只用 5.1B 活躍參數。官方只壓專家層（約 3.6B 活躍參數 × 4.25 bit ≈ 1.9GB），注意力層等約 1.6B 參數仍是 16-bit（≈ 3.2GB），合計每個 token 約讀 5.1GB，理論上限約 54 tok/s（講者依官方設定檔估算）。社群用 llama.cpp 在 DGX Spark 實測短 context 約 50 tok/s，context 到 32K 約 34–39 tok/s，和估算相符。注意：gpt-oss 不需要再用 Q4_K_M 壓，所以這裡用官方格式算，不用 0.6 byte 的口徑。結論：容量大、頻寬低的機器（DGX Spark、Strix Halo、Mac），很適合跑 MoE 模型。這也是為什麼「容量」和「頻寬」要分開看。轉場：「現在把市面上的硬體排一排。」來源： https://huggingface.co/openai/gpt-oss-120b https://huggingface.co/blog/gemma4 https://www.nvidia.com/en-us/products/workstations/dgx-spark/ https://github.com/ggml-org/llama.cpp/discussions/16578

●硬體一覽

①容量

②速度

③人數

④報價

硬體級距（一）：個人級

代表機型	記憶體（放得下）	頻寬（跑多快）	公開價格（2026-10）
筆電／桌機純 CPU一般電腦記憶體	16–64 GB	89.6 GB/s理論值 · 估算	—
AMD Ryzen AI Max+ 395Strix Halo	最高 128 GB	256 GB/s推算；實測約 212	機種差異大
NVIDIA DGX Spark	128 GB	273 GB/s	US$6,950NVIDIA 官方商城
Mac Studio M5 Ultra2026-08 發表	最高 512 GB	1.2 TB/s	起價 US$5,49996GB；512GB 版 US$22,299
GeForce RTX 4090／5090消費級顯卡	24／32 GB	1,008／1,792 GB/s	5090 建議價 US$1,999市價遠高於此，常缺貨

K binarycon · AMD www.amd.com · Apple support 128107 · MacRumors 512GB 版 · NVIDIA RTX 5090 · Guru3D 5090 市價 · H1 DGX Spark

⏱ 1 分個人級硬體，表格只留三欄：記憶體（放得下嗎）、頻寬（跑多快）、價格。功耗等細節在講義與這裡的備註。純 CPU 筆電：DDR5-5600 雙通道（一般電腦記憶體）理論頻寬 89.6 GB/s（公式計算，實際更低）——能跑小模型，但慢。 AMD Strix Halo（Ryzen AI Max+ 395）：最高 128GB 統一記憶體；AMD 官方只寫 256-bit LPDDR5x-8000，256 GB/s 是推算，社群實測約 212 GB/s。 DGX Spark（GB10 晶片、CPU 與 GPU 共用的統一記憶體）：128GB、273 GB/s，NVIDIA 美國官方商城 2026-10 價格 US$6,950。另有 OEM 廠商的 64GB 版本。 Mac Studio M5 Ultra：最高 512GB、1.2 TB/s；M5 Ultra 起價 US$5,499（96GB，Apple 新聞稿）；512GB 版 2026-10-28 開賣，起價 US$22,299（MacRumors 報導）。要注意 96GB 起價版放不下前面 126 GB 的範例。 RTX 4090／5090：頻寬很高（1,008／1,792 GB/s），但記憶體只有 24／32GB；5090 整卡 575W；US$1,999 是原始建議價，2026 年 10 月因記憶體缺貨，市價遠高於此（報導約 US$4,300 到 8,500 以上、歐洲超過 €5,000，數字差異大），實際請詢價。價格都是 2026-10 公開資料，記憶體缺貨導致價格波動大，上台前一週請再查。台灣價格請以 OEM／代理商報價為準。轉場：「再往上：部門級到機房級。」來源： https://binarycon.com/tools/ddr5-channel-bandwidth-calculator/ https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-max-plus-395.html https://llm-tracker.info/AMD-Strix-Halo-(Ryzen-AI-Max+-395)-GPU-Performance https://www.nvidia.com/en-us/products/workstations/dgx-spark/ https://marketplace.nvidia.com/en-us/enterprise/personal-ai-supercomputers/ https://support.apple.com/en-us/128107 https://www.apple.com/newsroom/2026/08/apple-introduces-new-mac-studio-with-m5-max-and-m5-ultra/ https://www.macrumors.com/guide/2025-vs-2026-mac-studio/ https://macrumors.com/2026/10/28/mac-studio-m5-ultra-512gb-ram/ https://www.nvidia.com/en-us/geforce/graphics-cards/compare/ https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5090/ https://www.guru3d.com/story/geforce-rtx-5090-street-prices-in-eu-now-exceed/ https://images.nvidia.com/aem-dam/Solutions/geforce/blackwell/nvidia-rtx-blackwell-gpu-architecture.pdf

●硬體一覽

①容量

②速度

③人數

④報價

硬體級距（二）：部門級到機房級

代表機型	記憶體（放得下）	頻寬（跑多快）	公開價格（2026-10）
RTX PRO 6000 Blackwell工作站顯卡	96 GB	1,792 GB/s	—
NVIDIA DGX Station桌邊工作站	748 GBGPU 252 ＋ CPU 496	7.1 TB/sGPU 端	約 US$99k–181.5k歐洲經銷商報價
H100 SXM／H200伺服器單卡	80／141 GB	3.35／4.8 TB/s	—
AMD Instinct MI300X伺服器單卡	192 GB	5.3 TB/s	—
NVIDIA DGX B2008 卡伺服器	1,440 GB	64 TB/s8 卡合計	US$559,950單一經銷商標價

K6 RTX PRO 6000 · H2 DGX Station · K7 H100 · K8 H200 · K9 MI300X · H3 DGX B200

⏱ 1 分部門級到機房級（表格只留記憶體、頻寬、價格；功耗與規格細節如下）： RTX PRO 6000：96GB、1,792 GB/s、600W，可以裝在一般工作站。 DGX Station（GB300）：GPU 252GB HBM3e @ 7.1 TB/s ＋ CPU 496GB @ 396 GB/s，合計 748GB；1,600W、需要 20A 迴路。NVIDIA 不公告價格，歐洲經銷商 pi3g 報價約 US$99,000（Supermicro）到 US$181,500（Dell）。 H100 SXM 80GB @ 3.35 TB/s（最高 700W）；H200 141GB @ 4.8 TB/s；AMD MI300X 192GB @ 5.3 TB/s、750W。 DGX B200：8 張 Blackwell、1,440GB、合計 64 TB/s、約 14.3 kW、10U 機架（佔機櫃 10 格高）；美國經銷商 Gatewell 標價 US$559,950，只供量級參考。電力是很容易被忽略的成本：家用插座、20A 專用迴路、機房，是三個不同等級。轉場：「把這兩張表畫成一張圖。」來源： https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/ https://www.nvidia.com/en-us/products/workstations/dgx-station/ https://pi3g.com/nvidia-dgx-station-available-now-for-purchase-from-us/ https://www.nvidia.com/en-us/data-center/h100/ https://www.nvidia.com/en-us/data-center/h200/ https://www.amd.com/en/products/accelerators/instinct/mi300/mi300x.html https://www.nvidia.com/en-us/data-center/dgx-b200/ https://gatewellusa.com/ai-compute/p/nvidia-dgx-b200

●硬體一覽

①容量

②速度

③人數

④報價

一張圖：往右放得下，往上跑得快

個人／桌上工作站伺服器／機房速度線為估算

K 硬體級距表（見參考資料） · H2 *DGX Station 以 GPU 252GB 標示

⏱ 1 分把前兩張表畫成一張圖。橫軸：記憶體容量（放得下多大的模型）；縱軸：記憶體頻寬（跑多快）。兩軸都是對數座標。淺色區塊：70B 4-bit（43GB）放得下的範圍；三條虛線：這個模型在單人時的理論速度 10／30／100 tok/s（＝頻寬 ÷ 43GB，估算）。顏色：綠＝個人／桌上，黃＝工作站（600W–1,600W），紅＝伺服器／機房。讀法： - 右下（DGX Spark、Strix Halo）：放得下但慢 → 適合 MoE、PoC。 - 左上（RTX 4090／5090）：很快但放不下大模型。 - 右上（H200、MI300X、DGX Station、B200）：又大又快，但電力與價格也是另一個等級。 - Mac Studio M5 Ultra 在中間，容量最大可到 512GB。 DGX Station 標在 GPU 的 252GB（另有 CPU 496GB）；B200 是 8 卡合計。轉場：「所以 DGX 只是其中一個例子，我們用它來練習怎麼讀規格。」來源： https://www.nvidia.com/en-us/geforce/graphics-cards/compare/ https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5090/ https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/ https://www.nvidia.com/en-us/data-center/h100/ https://www.nvidia.com/en-us/data-center/h200/ https://www.amd.com/en/products/accelerators/instinct/mi300/mi300x.html https://www.nvidia.com/en-us/products/workstations/dgx-spark/ https://www.nvidia.com/en-us/products/workstations/dgx-station/ https://www.nvidia.com/en-us/data-center/dgx-b200/ https://support.apple.com/en-us/128107 https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-max-plus-395.html https://binarycon.com/tools/ddr5-channel-bandwidth-calculator/

●例子：DGX 三兄弟

①容量

②速度

③人數

④報價

DGX 只是一個例子：用同一套方法讀規格

試驗 · 小規模試用 · MoE

DGX Spark

記憶體128 GB頻寬273 GB/s

US$6,9502026-10 NVIDIA 官方商城；首發後已調漲兩次

單人到小團隊的大模型

DGX Station

記憶體748 GB頻寬7.1 TB/s

US$99k–181.5kNVIDIA 不公告；歐洲經銷商 pi3g 報價（2026-10-30 更新）

機房 · 多人服務

DGX B200

記憶體1,440 GB頻寬64 TB/s

US$559,950NVIDIA 不公告；美國經銷商 Gatewell 標價（2026-10），僅供量級參考

同一套四個問題，換成 AMD、Apple、Dell 也一樣比

H1 DGX Spark · H1b Tom's Hardware 價格沿革 · H2 DGX Station · H2 pi3g · H3 DGX B200 · H3 Gatewell

⏱ 1 分用剛剛的方法讀 NVIDIA DGX 三個產品（卡片上只留記憶體、頻寬、價格；電力在這裡講）： DGX Spark：128GB、273 GB/s。容量大但頻寬低 → 適合試驗、PoC、MoE 模型。官方說 128GB 可推論到 200B 參數的模型。價格波動很大：首發 US$3,999，2026 年 2 月漲到 US$4,699，2026-10-02 起 US$6,950（記憶體缺貨）。另有 64GB OEM 版，建議價 US$4,999。 DGX Station：748GB、GPU 端 7.1 TB/s、1,600W 需 20A 迴路 → 單人到小團隊跑大模型。價格由 OEM 報價，歐洲經銷商報價約 US$99k–181.5k，交期約 4–16 週以上。 DGX B200：8 卡、1,440GB、64 TB/s、約 14.3kW → 機房、多人服務。美國經銷商標價約 US$56 萬。重點：不同廠牌（AMD、Apple、Supermicro、Dell……）都可以用同樣的方法比較。台灣價格請以 OEM／代理商報價為準。轉場：「第三步：如果不是一個人用，而是二十個人同時用呢？」來源： https://www.nvidia.com/en-us/products/workstations/dgx-spark/ https://marketplace.nvidia.com/en-us/enterprise/personal-ai-supercomputers/ https://www.tomshardware.com/desktops/mini-pcs/nvidia-dgx-spark-gets-18-percent-price-increase-as-memory-shortages-bite-founders-edition-now-usd4-699-up-from-usd3-999 https://www.techbang.com/posts/133772-nvidia-dgx-spark-64gb https://www.nvidia.com/en-us/products/workstations/dgx-station/ https://pi3g.com/nvidia-dgx-station-available-now-for-purchase-from-us/ https://www.nvidia.com/en-us/data-center/dgx-b200/ https://gatewellusa.com/ai-compute/p/nvidia-dgx-b200

③幾個人用？

①容量

②速度

③人數

④報價

一個人用 vs 二十個人用

🚗 自用車

一次服務一個人：速度＝頻寬上限，但機器大部分時間在等

🟧＝一個人的便條紙（KV cache）

🚌 公車（批次處理）

伺服器軟體把多人的問題合併成一批一起算：總產量提高，但便條紙按人數倍增

🟧＝一個人的便條紙（KV cache）

20.4–38.2%PagedAttention 論文：舊系統替便條紙預留的記憶體，
只有這麼多真的用到——新的伺服器軟體就是為此而生

G5 PagedAttention（arXiv 2309.06180） · G3 vLLM docs

⏱ 1.5 分第三步：人數。一個人用像開自用車：每個 token 都要把權重讀一遍，速度就是頻寬上限，但很多時間機器其實在等你打字。多人同時用像公車：vLLM 這類伺服器會把很多人的請求合併成一批一起算——讀一次權重，同時服務很多人，所以「總吞吐量」會大幅提高。代價：每個人都有自己的 KV cache（便條紙），所以記憶體需求會按人數倍增——這就是剛剛研究小組那一題估算約 67 GB（62.5 GiB）。 PagedAttention 論文（vLLM 團隊）指出：以前的系統，KV cache 預留的記憶體只有 20.4–38.2% 真的被用到，浪費很多；vLLM 用類似作業系統分頁的方法管理，大幅提升同時服務的人數。轉場：「那軟體怎麼選？」來源： https://arxiv.org/abs/2309.06180 https://docs.vllm.ai/

③軟體怎麼選？

軟體：腳踏車 → 機車 → 公車

像什麼	情境	特點
🚲 腳踏車	一個人試用	裝好就能聊，有桌面介面LM Studio · Ollama
🛵 機車	沒有大顯卡的小機器	CPU、顯卡一起出力，吃壓縮過的模型llama.cpp · GGUF 格式
🚌 公車	多人、正式上線	很多人的問題一起載；內部系統好接vLLM · OpenAI 相容 API

G4 lmstudio.ai · G1 ollama.com · G2 llama.cpp · G3 vLLM · F2 gpt-oss-20b

⏱ 1.5 分軟體的選擇也像交通工具：頁面上只講交通工具，軟體名稱放小字，給想動手的人查：腳踏車＝個人試用：LM Studio（有桌面介面）或 Ollama（一行指令，例如 ollama run gpt-oss:20b 就能下載並執行）。馬上就能騎。機車＝CPU 或小機器：llama.cpp，CPU 和顯卡可以一起出力，吃壓縮過的模型檔（GGUF 格式；剛剛提到的 Q4_K_M 就是 GGUF 的一種）。靈活省油。公車＝多人服務、正式上線：vLLM，把很多人的問題合併成一批一起算（上一頁的批次處理），並提供「OpenAI 相容 API」——意思是很多現成的工具和內部系統，用原本接 ChatGPT 的方式就能接上它。轉場：「最後，模型怎麼選？」來源： https://lmstudio.ai/ https://ollama.com/ https://github.com/ggml-org/llama.cpp https://docs.vllm.ai/ https://huggingface.co/openai/gpt-oss-20b

③模型怎麼選？（2026-10）

綠燈名單：多大的機器能跑？

gpt-oss-20b

OpenAI · 美國

綠燈

16 GB 內官方：16GB 記憶體內可執行

→ 筆電、單張顯卡

gpt-oss-120b

OpenAI · 美國

綠燈

≈ 65 GB官方 4-bit 格式；單張 80GB 卡可跑

→ 96–128GB 等級機器

Gemma 4（31B）

Google · 美國

綠燈

≈ 19 GB4-bit 估算

→ 單張 24–32GB 顯卡

Mistral Small 4

Mistral · 法國

綠燈

≈ 72 GB4-bit 估算

→ 96–128GB 等級機器

Muse Glimmer 30B

Meta · 美國

綠燈

≈ 18 GB4-bit 估算

→ 單張 24–32GB 顯卡

TAIDE 12B

國科會 · 台灣

綠燈

≈ 8 GB4-bit 估算；授權見模型頁

→ 筆電

F1 gpt-oss-120b · F2 20b · F3 Gemma 4 · F7 Mistral Small 4 · F5 Muse Glimmer · F9 TAIDE

⏱ 1.5 分頁面上只講兩件事：這些是綠燈名單；每個模型大概要多少記憶體、對應哪一級機器（對照前面的級距表，估算）。以下細節（參數量以 Hugging Face 實查；active＝每個字實際用到的參數，Apache-2.0 是一種寬鬆的開源授權）： gpt-oss-20b：21B（3.6B active），Apache-2.0，官方說 16GB 記憶體內可執行——筆電、單卡就能試。 gpt-oss-120b：117B（5.1B active），Apache-2.0，MXFP4 單張 80GB GPU。 Gemma 4：從 E2B 到 31B，另有 26B-A4B 的 MoE 版，Apache-2.0；31B 4-bit 估算約 19GB。 Mistral Small 4：119B，Apache-2.0，4-bit 估算約 72GB。 Meta Muse Glimmer 30B：29.8B，Apache-2.0，4-bit 估算約 18GB。 TAIDE（Gemma-3-TAIDE-12b，國科會計畫）：12.4B，繁中在地化；4-bit 估算約 8GB；授權請看模型頁。這頁的「4-bit 估算」統一用 Q4_K_M ≈ 4.85 bit ≈ 0.6 byte／參數；向上取整，只算權重。官方原生檔案格式另見來源，不能與教學壓縮口徑混算。對應機器（講者估算，只算權重，人多或讀長報告要再加便條紙）：16GB 內 → 筆電或單張顯卡；18–19GB → 單張 24–32GB 顯卡；72GB → 96–128GB 等級；gpt-oss-120b 官方 4-bit 格式約 65GB → 96–128GB 等級（例如 DGX Spark、RTX PRO 6000）。建議：先用小模型（20B–30B 級）做 PoC（小規模試用），確認需求與效果，再決定要不要買大機器。轉場：「來，換大家幫組裡選機器。」來源： https://huggingface.co/openai/gpt-oss-120b https://huggingface.co/openai/gpt-oss-20b https://ai.google.dev/gemma/docs/releases https://huggingface.co/blog/gemma4 https://huggingface.co/mistralai/Mistral-Small-4-119B-2603 https://huggingface.co/meta-models/Muse-Glimmer-30B https://huggingface.co/taide/Gemma-3-TAIDE-12b-Chat-2602

④換你幫組裡選

互動

換你幫組裡選：哪台機器適合？

分組討論 3 分鐘，再來連線

(A) 一位研究員離線讀技術文獻

(B) 5 人研究小組查內部技術報告的問答（RAG）＋整理比較表的 agent

多卡伺服器＋公車型軟體量大：便條紙要很多，要和資訊單位談機房與電力

筆電或 Mac8B 級或 gpt-oss-20b

大記憶體桌上型或工作站DGX Spark／Mac Studio＋MoE 模型

配對 0 / 3

K 硬體級距表 · F2 gpt-oss-20b

⏱ 4 分（討論 2.5 分＋揭曉 1.5 分）【互動】分三組，每組一個情境，用剛剛四個問題（容量、速度、人數、報價）選一台機器並說明理由。討論 3 分鐘後，請各組派代表說答案，講者點左邊情境、再點右邊機器連線（錯了會抖）。參考答案（講者整理，可以有其他合理答案）： (A) 一位研究員，離線讀技術文獻（一個人、不連網）→ 筆電或 Mac 跑 8B 等級或 gpt-oss-20b（官方 16GB 內可執行）。文獻若已公開，其實也可以用雲端，回到地端 vs 雲端那頁。 (B) 5 人研究小組，對內部技術報告做 RAG（先去文獻庫找段落再回答，第二場）、再加一個整理比較表的 agent → 人不多，但每人都讀長報告、桌面很大。回想「一起算」那題：5 人 × 40K，用 70B 4-bit 就要 120 GB 以上，96GB 的卡放不下。所以選「大記憶體」的桌上型或工作站（DGX Spark 128GB、Mac Studio），搭 MoE 模型（例如 gpt-oss-120b，官方 MXFP4 格式，權重約 65 GB）速度較好；預算夠、要跑更大的模型，再看 DGX Station。 (C) 全組共用、每天整批摘要大量報告（示意）→ 多卡伺服器加「公車型」軟體（例如 vLLM，批次處理）：量大、同時進行的工作多，便條紙（KV cache）和總產量是主要需求；這種規模要和資訊單位一起談電力、機房、維運。追問：(B) 若選 Spark，為什麼建議 MoE？→ Spark 容量大但輸送帶慢，MoE 每個字只讀一小部分，比較快。轉場：「最後，帶一張表回去。」來源： https://www.nvidia.com/en-us/geforce/graphics-cards/compare/ https://huggingface.co/openai/gpt-oss-20b

④報價合理嗎？

①容量

②速度

③人數

④報價

帶回家：拿到報價，問這 8 題

1. 總記憶體多少？給 GPU 用的有多少？①容量

2. 記憶體頻寬多少（GB/s）？②速度

3. 目標模型與精度？權重要多大？①容量

4. 幾人同時用、context 多長、KV cache 多大？③人數

5. 單人 tok/s 和總吞吐量有沒有實測？②③

6. 功耗、電路、散熱、機櫃需求？例：20A 迴路

7. 軟體堆疊和授權？模型是否非陸資？合規

8. 保固、交期、擴充（能不能串接）？長期

🖨 可列印 A4 版

B4 指引第四點 · B7 數位部 · K 硬體規格

⏱ 1.5 分【互動】可以拿一份真實或假想的報價，逐題問台下「這份報價有寫嗎？」，有寫就點勾。 8 題： 1. 總記憶體多少？給 GPU 用的有多少？（統一記憶體要扣掉作業系統） 2. 記憶體頻寬多少？（決定速度） 3. 目標模型與精度？權重要多大？ 4. 幾人同時用、context 多長、KV cache 多大？ 5. 單人 tok/s 和總吞吐量有沒有實測數據？（請廠商用你的模型實測） 6. 功耗、電路、散熱、機櫃需求？（DGX Station 1,600W 需 20A 迴路） 7. 軟體堆疊和授權？模型與軟硬體是否非陸資？（數位部 DeepSeek 限制含行政法人；資通安全管理法第 11 條） 8. 保固、交期、擴充方式（能不能串接）？右下按鈕開啟可列印 A4 版（checklist.html），會後可以發給大家。轉場：「最後，回到小明的任務卡。」來源： https://www.nstc.gov.tw/folksonomy/list/c79bf57b-dc94-4aff-8d14-3262b5559cfc https://moda.gov.tw/press/press-releases/15104 https://www.nvidia.com/en-us/geforce/graphics-cards/compare/

✓小明的任務卡

互動

小明完成拼圖

小明的任務卡示意

「請把這 5 篇材料耐熱測試的文獻和報告整理成一張比較表，畫一張圖，再寫一頁摘要給組長。」

讀 5 份文獻和報告

桌面S1

桌上只放對的資料

抓出關鍵數值和出處

接文獻庫S2

知道它在猜字＋接文獻庫

照組內格式做比較表

SOP 手冊S2

組內 SOP 手冊

跑程式畫圖

申請單S1

寫一張申請單

檢查圖表、改錯、重畫

迴圈＋外殼S1

迴圈＋外殼

比較不同條件（溫度、材料）

桌面管理S1·S3

桌面管理

寫一頁摘要、給組長看

地端＋簽名S3

地端機器＋人簽名

小明的任務卡示意

「請把這 5 篇材料耐熱測試的文獻和報告整理成一張比較表，畫一張圖，再寫一頁摘要給組長。」

讀 5 份文獻和報告

桌面S1

抓出關鍵數值和出處

接文獻庫S2

照組內格式做比較表

SOP 手冊S2

跑程式畫圖

申請單S1

檢查圖表、改錯、重畫

迴圈＋外殼S1

比較不同條件（溫度、材料）

桌面管理S1·S3

寫一頁摘要、給組長看

地端＋簽名S3

七格全亮：每一格都還是要人簽名

⏱ 1 分【互動】回到三場演講一路陪我們的「小明」任務卡：把 5 篇材料耐熱測試的文獻和報告整理成比較表、畫一張圖、寫一頁摘要給組長（示意）。按「點亮下一格」逐格點亮；每格亮起才顯示解法。按右箭頭顯示七格全亮的講義終態；左箭頭可回到互動。 1. 讀 5 份文獻和報告 → 第一場：桌上只放對的資料（context，桌子）。 2. 抓出關鍵數值和出處 → 第一場：模型是在猜下一個字，會編數字、編引用；第二場：接上文獻庫（MCP 插座、RAG）。 3. 照組內格式做比較表 → 第二場：組內 SOP 手冊（Skill）。 4. 跑程式畫圖 → 第一場：模型自己不能執行程式，要寫一張申請單（tool call）。 5. 檢查圖表、改錯、重畫 → 第一場：迴圈＋外殼（agent loop、harness）。 6. 比較不同條件（溫度、材料）→ 第一場＋今天：資料會把桌子塞滿，要管理桌面；桌子在機器裡就是便條紙（KV cache）。 7. 寫一頁摘要、給組長看 → 今天：法規與資料分級，所以放在地端機器上；最後一定是人簽名。收尾一句：七格全亮，但每一格都還是要人簽名——AI 幫忙做，專家負責判斷和簽核。轉場：「最後，帶走四步驟。」

✓回顧

四步驟，帶得走

①

放得下嗎？

模型本身＋便條紙 × 人數＋雜項

②

跑得多快？

頻寬（輸送帶）÷ 每字讀取量

③

幾個人用？

一起載提高產量，便條紙按人數倍增

④

報價合理嗎？

8 題檢核表＋合規（非陸資）

三場演講 · 結束

Q&A

Experts design, AI accelerates,
experts validate.

DOE 來源：U.S. DOE（第二場）

§參考資料

第三場參考資料

查核 2026-11-01。「估算」為講者以公開規格自算之理論上限；價格為 2026-10 公開資料，上台前一週請再查。

DOE U.S. DOE：第二場案例 https://www.energy.gov/ne/articles/department-energy-unleashes-ai-reduce-reactor-licensing-timelines
B1–B6 行政院生成式 AI 參考指引（國科會） https://www.nstc.gov.tw/folksonomy/list/c79bf57b-dc94-4aff-8d14-3262b5559cfc
B7 數位部：DeepSeek 屬危害國家資通安全產品 https://moda.gov.tw/press/press-releases/15104
B8 行政院 114-02-03 https://www.ey.gov.tw/Page/9277F759E41CCD91/3ce9fe8f-2f5f-4d1d-8176-6fa4cf622b82
B9 資通安全管理法 https://law.moj.gov.tw/LawClass/LawAll.aspx?pcode=A0030297
E1b CalMatters：Diablo Canyon https://calmatters.org/economy/technology/2025/04/first-nuclear-plant-ai-at-diablo-canyon/
F1 gpt-oss-120b https://huggingface.co/openai/gpt-oss-120b
F2 gpt-oss-20b https://huggingface.co/openai/gpt-oss-20b
F3 Gemma releases https://ai.google.dev/gemma/docs/releases
F3 HF blog Gemma 4 https://huggingface.co/blog/gemma4
F3 Gemma 4 https://ai.google.dev/gemma/docs/releases
F5 Muse Spark Open https://huggingface.co/blog/meta-muse-spark-open
F5 Muse Glimmer 30B https://huggingface.co/meta-models/Muse-Glimmer-30B
F7 Mistral Small 4 https://huggingface.co/mistralai/Mistral-Small-4-119B-2603
F9 TAIDE https://huggingface.co/taide/Gemma-3-TAIDE-12b-Chat-2602
G1 Ollama https://ollama.com/
G2 llama.cpp https://github.com/ggml-org/llama.cpp
G3 vLLM https://docs.vllm.ai/
G4 LM Studio https://lmstudio.ai/
G5 PagedAttention https://arxiv.org/abs/2309.06180
G6 HF quantization https://huggingface.co/docs/transformers/main/en/quantization/overview
G7 llama.cpp DGX Spark 實測 https://github.com/ggml-org/llama.cpp/discussions/16578
H1 DGX Spark https://www.nvidia.com/en-us/products/workstations/dgx-spark/
H1 NVIDIA Marketplace https://marketplace.nvidia.com/en-us/enterprise/personal-ai-supercomputers/
H1b Tom's Hardware 價格 https://www.tomshardware.com/desktops/mini-pcs/nvidia-dgx-spark-gets-18-percent-price-increase-as-memory-shortages-bite-founders-edition-now-usd4-699-up-from-usd3-999
H1c T客邦 64GB 版 https://www.techbang.com/posts/133772-nvidia-dgx-spark-64gb
H2 DGX Station https://www.nvidia.com/en-us/products/workstations/dgx-station/
H2 pi3g 報價 https://pi3g.com/nvidia-dgx-station-available-now-for-purchase-from-us/
H3 DGX B200 https://www.nvidia.com/en-us/data-center/dgx-b200/
H3 Gatewell 標價 https://gatewellusa.com/ai-compute/p/nvidia-dgx-b200
K DDR5 頻寬計算 https://binarycon.com/tools/ddr5-channel-bandwidth-calculator/
K AMD Ryzen AI Max+ 395 https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-max-plus-395.html
K Strix Halo 實測 https://llm-tracker.info/AMD-Strix-Halo-(Ryzen-AI-Max+-395)-GPU-Performance
K Apple M5 Ultra 規格 https://support.apple.com/en-us/128107
K Apple newsroom https://www.apple.com/newsroom/2026/08/apple-introduces-new-mac-studio-with-m5-max-and-m5-ultra/
K MacRumors https://www.macrumors.com/guide/2025-vs-2026-mac-studio/
K MacRumors 512GB 版 https://macrumors.com/2026/10/28/mac-studio-m5-ultra-512gb-ram/
K Guru3D RTX 5090 市價 https://www.guru3d.com/story/geforce-rtx-5090-street-prices-in-eu-now-exceed/
K GeForce compare https://www.nvidia.com/en-us/geforce/graphics-cards/compare/
K RTX 5090 https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/rtx-5090/
K RTX PRO 6000 https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000/
K H100 https://www.nvidia.com/en-us/data-center/h100/
K H200 https://www.nvidia.com/en-us/data-center/h200/
K MI300X https://www.amd.com/en/products/accelerators/instinct/mi300/mi300x.html
K RTX Blackwell 白皮書 https://images.nvidia.com/aem-dam/Solutions/geforce/blackwell/nvidia-rtx-blackwell-gpu-architecture.pdf
L Llama-3.1-8B config https://huggingface.co/unsloth/Llama-3.1-8B-Instruct/blob/main/config.json
L Llama-3.3-70B config https://huggingface.co/unsloth/Llama-3.3-70B-Instruct/blob/main/config.json

這台機器跑得動哪個模型？

能把未公開的內部資料貼進 ChatGPT 嗎？

選模型之前，先看燈號

禁用

預設不用

候選

地端 ≠ 自動安全

查來源

先關在隔離區

執行前把關

看行動，不看自述

什麼時候值得自己買機器？

連連看：硬體像什麼？

按下 Enter 之後，資料怎麼跑？

模擬電腦 ≠ AI 電腦

判斷法：問四個問題

模型有多大？一條公式

算例：三種大小 × 三種壓縮 估算

MoE：大圖書館，每次只開幾個書架

桌子＝便條紙堆

總記憶體公式

一起算：研究小組

為什麼「頻寬」決定打字速度？

賽跑：同一個 70B（4-bit，≈43GB）估算

同一台 DGX Spark，換個模型 估算

Gemma 4 31B（4-bit）

gpt-oss-120b（官方 4-bit 格式）

硬體級距（一）：個人級

硬體級距（二）：部門級到機房級

一張圖：往右放得下，往上跑得快

DGX 只是一個例子：用同一套方法讀規格

DGX Spark

DGX Station

DGX B200

一個人用 vs 二十個人用

🚗 自用車

🚌 公車（批次處理）

軟體：腳踏車 → 機車 → 公車

綠燈名單：多大的機器能跑？

gpt-oss-20b

gpt-oss-120b

Gemma 4（31B）

Mistral Small 4

Muse Glimmer 30B

TAIDE 12B

換你幫組裡選：哪台機器適合？

帶回家：拿到報價，問這 8 題

小明完成拼圖

四步驟，帶得走

放得下嗎？

跑得多快？

幾個人用？

報價合理嗎？

Q&A

第三場 參考資料

這台機器
跑得動哪個模型？

算例：三種大小 × 三種壓縮估算

同一台 DGX Spark，換個模型估算

第三場參考資料