讀書筆記 - 李弘毅教授【生成式AI導論 2024】第1講：生成式AI是什麼？

最近開始認真讀書，寫一些讀書筆記，今天是李弘毅教授的 2024 生成式 AI 導入系列的第 1 講。

生成式人工智慧 (Generative AI): 機器產生 (創造 = 泛指產生在訓練時沒有看過的東西) 複雜 (幾乎無法窮舉) 而有結構的物件

• 文章 - 由文字所構成
• 影像 - 由像素所構成
• 語音 - 由取樣點構成

反過來討論「何謂非生成式 AI」？

• 分類 (Classification): 從「有限的」選項中做選擇
• 垃圾郵件偵測 (Yes / No)
• 貓狗分類器 (圖片類型分類，貓 or 狗)

生成式人工智慧，是人工智慧「眾多可能的目標之一」。

機器學習 (Machine Learning): 機器自動從「資料」找一個函式

• 使用機器，透過參數的輸入，套入既有算式，自動輸出/找出參數。
• 假設要讓機器學習如何分辨貓和狗 (輸入一張圖片，辨識出是貓或狗)
• 識別貓跟狗，需要有上萬個參數，這些帶有大量未知參數的函式，就是模型
• 機器學習，就是把上萬個參數「找出來」的過程 = 細訓練 (training) / learning
• 資料的輸入輸出的「限制」即為訓練資料
• 「驗證」函式輸出結果即為測試 testing / 推論 inference
• 現行慣用譬喻的類神經網路 (Neural Network)，即為有大量參數的函式
• 透過類神經網路把大量參數解出來的技術，就是深度學習 (Deep Learning) 

生成式人工智慧的「目標」並不一定要透過深度學習技術來達成，也可以用一般的機器學習來達成。

以機器學習/深度學習的概念，ChatGPT 可以被想像為一個函式，輸入是一段文字，透過巨量參數的語言模型，將輸入的文字拆解為一連串文字接龍的問題分類，最終輸出「文字接龍 (合理範圍是有限的答案)」後的合理答案。產生文章的概念，就是生成一連串較小單位的的文字。

ChatGPT 使用的語言模型是 Transformer。

AI 畫圖 (Stable Diffusion, Midjourney, DALL-E) 也都是函式，但使用的模型是輸入文字後，輸出圖片。

其中一種 Open AI 開發的圖片的生成策略，是輸出一連串的像素，以某種固定順序依序生成為圖片，此生成技術稱為 Auto-regressive Generation → 但並沒有紅起來。

名詞關聯性：人工智慧 > 機器學習 > 深度學習 (技術) | 生成式人工智慧 (目標)

生成式 AI 其實 2015 年就有討論，只是當時的用詞是「機器學習的深層與結構化」，還沒有統一的慣用詞，但生成式 AI 早已廣泛應用，例如 2006 年上線的 Google 翻譯，即為生成式 AI 的應用 (由機器一句一段文字，產生合理對應的不同語言翻譯文字)。