一句話總覽
生成式 AI 的流程 = 理解輸入 → 轉成數字 → 預測下一個字 → 一直預測下去 → 再轉回文字
一、整體流程總覽（高階視角）
從「送出提示詞」到「生成回應」，通常會經過以下 7 大步驟：
- 提示詞接收（Prompt Input）
- 文字斷詞（Tokenization）
- 文字 → 向量（Embedding）
- Transformer 模型運算
- 下一個 Token 機率預測
- 解碼與取樣（Decoding / Sampling）
- Token → 文字（Detokenization）
我會一步一步拆解 👇
二、詳細步驟與關鍵技術解析
① 提示詞接收（Prompt Input）
發生什麼事？
你輸入的提示詞，例如：
「請解釋生成式 AI 的運作原理」
模型實際收到的，不只是這一句話，還可能包含：
- 系統指令（System Prompt）
- 角色設定（你是誰、AI 是誰）
- 對話歷史（上下文）
🔑 關鍵技術
- Prompt Engineering
- 上下文視窗（Context Window）
- 角色與系統提示詞設計
📌 教學重點：
👉 模型不是只看這一句，而是「整個對話狀態」
② 文字斷詞（Tokenization）
發生什麼事？
AI 不是用「字」或「詞」思考，而是用 Token。
例如（示意）：
「生成式AI」 → ["生成", "式", "AI"]
或英文：
"unbelievable" → ["un", "believ", "able"]
🔑 關鍵技術
- BPE（Byte Pair Encoding）
- WordPiece / Unigram LM
- Subword Tokenization
📌 教學重點：
👉 Token ≠ 字，也 ≠ 詞
👉 Token 數量直接影響成本與效能
③ Token → 向量（Embedding）
發生什麼事？
每一個 Token 會被轉換成一個高維度數字向量，例如：
Token "AI" → [0.012, -1.34, 0.87, ...]
這個向量代表：
- 語意
- 上下文關係
- 抽象概念位置
🔑 關鍵技術
- Word Embedding
- 高維向量空間（Vector Space）
- 語意相似度（Cosine Similarity）
📌 教學比喻：
👉 每個詞被放在「語意宇宙」中的一個座標點
④ Transformer 模型運算（核心引擎）
發生什麼事？
這是整個生成式 AI 的心臟。
模型會：
- 同時「看」整句話
- 判斷哪些詞彼此相關
- 建立上下文關係
🔑 關鍵技術（超重要）
- Transformer 架構
- Self-Attention（自注意力機制）
- Multi-Head Attention
- Feed Forward Neural Network
- Layer Normalization + Residual Connection
📌 關鍵一句話（教學必講）：
Self-Attention 讓模型知道「這個字在這個位置代表什麼意思」
⑤ 預測下一個 Token（Next Token Prediction）
發生什麼事？
模型本質只做一件事：
「在目前上下文下，下一個 Token 最可能是什麼？」
輸出不是一個字，而是：
Token A：45% Token B：30% Token C：5% ...
🔑 關鍵技術
- 機率分佈（Softmax）
- 語言模型訓練目標（Language Modeling）
- Cross Entropy Loss
📌 重點觀念：
👉 AI 並不知道答案，只是在「猜得最合理」
⑥ 解碼與取樣（Decoding / Sampling）
發生什麼事？
從機率中「選」一個 Token 出來，常見策略：
| 方法 | 特性 |
|---|---|
| Greedy | 永遠選機率最高（死板） |
| Top-k | 只從前 k 名選 |
| Top-p (Nucleus) | 從累積機率 p 中選 |
| Temperature | 控制創意 vs 穩定 |
🔑 關鍵技術
- Sampling Strategy
- Temperature Scaling
- 隨機性控制
📌 教學金句：
溫度越高 → 越有創意，也越容易胡說八道
⑦ Token → 文字（Detokenization）
發生什麼事？
模型持續：
預測一個 Token → 接在後面 → 再預測下一個
直到：
- 遇到結束符號（EOS）
- 或達到長度限制
最後再把 Tokens 合併回人類可讀文字。
🔑 關鍵技術
- Detokenization
- 停止條件（Stop Sequence）
三、整個流程的「一張流程圖版」
提示詞 ↓ Tokenization ↓ Embedding ↓ Transformer（Attention） ↓ 下一 Token 機率預測 ↓ 取樣 / 解碼 ↓ 文字輸出
四、一句話收尾
生成式 AI 不是在理解世界，而是在高維數學空間中，極其精密地「接話」