AI新手必學：5個基礎概念，秒懂人工智能
Winky Pang
2024年11月16日
在 AI 人工智能的領域中，有不同概念和用語。這篇文章將以簡單生動的例子，為您說明5個重要的AI基礎概念：大型語言模型（LLM）、上下文長度（Context Length）、語言單位（Token）、自然語言處理（NLP）和下一個詞預測（NWP），幫助初接觸或正學習AI的您快速上手。當您進一步學習設計指令時，能快速提高學習效率！
1. 大型語言模型（Large Language Model, LLM）
大型語言模型 = 超級圖書館管理員
LLM像一位讀遍世界上數億本書的超級圖書館管理員。不管你問什麼問題，他都能快速翻閱腦中的「書籍」，並且整理和分析出合適的答案。而ChatGPT就是一位博學多才的圖書館管理員，能夠理解你的問題，並運用自己的知識來回答。
LLM是指由大量數據訓練而成的語言模型，通常包含數十億甚至上千億的參數。這些模型學習了語言的結構、語法和語義，繼而能夠生成文字、進行翻譯、回答問題等。ChatGPT就是一個典型的LLM，通過接收、輸入來進行推理，並生成相應的回答，幫助大家進行各種自然語言處理任務。
2. 自然語言處理（Natural Language Processing, NLP）
自然語言處理 = AI學習語言的過程
想像一下我們人類學習語言的過程：
- 先學認字（文字識別）
- 再學說話（語音處理）
- 然後學寫作文（文本生成）
- 最後學會看懂別人說話時的情緒（情感分析）
NLP其實是AI學習人類語言的過程，從基本的詞句理解到複雜的對話互動，一步步進步！NLP是人工智能的一個子領域，專門研究如何讓計算機理解、生成和處理人類語言。它的目標是讓機器能夠像人類一樣理解並操作語言，方便進行對話、文本生成（如ChatGPT、Claude）、語音音別（如Siri）、翻譯（如Google Translate）、情感分析等任務。
NLP技術融合了語言學、統計學和深度學習，使計算機能夠處理自然語言。
3. 語言單位（Token）
語言單位 = AI 理解和處理文字的單位
AI 用「Token」來組織和解讀語言。Token 是模型在處理語言時切分出的最小單位，例如是字母、單詞或符號，具體情況取決於模型的設計。大型語言模型（LLM）並不是直接處理整段文字，而是將其轉換為一系列 Token 來進行運算。通常，一個 Token 大約相當於一個英文單詞的長度，但在中文中，可能是一個字或部分詞。
Token 計算方式
- 英文：I love you = 3 個 Token
- 中文：我愛你 = 3 個 Token
- 中英文加標點符號：Hello！你好 = 4 個 Token
4. 上下文長度（Context Length）
上下文長度 = AI的短期記憶容量
上下文長度像您和朋友聊天時的記憶力。假設你跟朋友聊天，朋友只能記住最近20分鐘的對話內容。如果你突然提到20分鐘前講的事，他可能會一頭霧水或忘記了。AI也一樣，它有固定的「記憶長度」，超過這個長度，之前的對話內容就會被遺忘。
以ChatGPT模型的Token容量（即上下文長度）為例：
ChatGPT 3.5：支持約4,096個Token，即是模型回應時可「記住」大約4,096個Token的上下文內容
ChatGPT 4：支持更高的Token容量，最多達到約8,192個Token。
上下文長度指的是模型在處理輸入時能考慮的文字數量。簡單來說，模型並非一次記住所有文字，而是有一個記憶的窗口，只能處理該窗口內的上下文。在這個範圍內的文字會影響生成的結果。如果超出該長度，模型可能會忽略最早的部分或生成不準確的回答。因此，上下文長度直接影響著LLM在長篇輸入時的準確性。
5. 下一個詞預測（Next Word Prediction, NWP)
下一個詞預測（NWP）= AI版接龍高手
下一個詞預測（NWP）是NLP內其中一種核心技術，能根據已輸入的文字預測，並推薦下一個可能的字詞。
當您在手機鍵盤上打字時，系統會根據上下文提供即時建議。當你說：「我想吃⋯」， 手機輸入法立刻推薦：「飯」、「麵」、「火鍋」等選項。AI通過學習大量的語言使用習慣，來猜測你最可能想要說的下一個詞，像一個超強的語言接龍玩家，總能猜到你想說什麼。
NWP主要特點如下：
- 上下文理解：分析已輸入文字的含義和語境
- 機率計算：根據語言數據庫，計算各候選詞的出現概率
- 即時回應：在用戶輸入時提供建議
NWP已廣泛應用於智能手機、電子郵件撰寫輔助、搜尋引擎中，透過大量文本的訓練，學習詞與詞之間的關聯性，並生成語言模型來預測最可能的下一個詞。
總結
學會這五個AI基本概念，將能幫助您更理解AI的運作原理，並在未來的AI學習和應用中提升效率。
學習後小思考，測試看看！
試著用這些概念來解釋：
- 為什麼有時候AI會「忘記」之前聊過的內容？（提示：想想上下文長度）
- 為什麼AI打字有時候要收費？（提示：想想Token）
想獲取更多獨家和實用的網絡營銷策略、AI技巧
立即加入SLASHOUSE SKOOL社群
謝謝您的信任和支持！
立即追蹤我們的Threads、Instagram或Facebook
遇到任何網絡營銷和AI的疑難，歡迎一起交流！
延伸閱讀：