ChatGPT的基礎要素 – Token, Prompt, Completion

A surrealistic landscape featuring ChatGPT as the main elements.

 

一、Token：語言模型的基本單位

Token 是語言模型中表示詞彙或字符的基本單位。

 

– 1 個 token 約等於 4 個英文字符

– 1 個 token 約等於 3/4 個英文單字

– 100 個 tokens 約等於 75 個英文單字

或者

– 1-2 句話約等於 30 個 tokens

– 1 段落約等於 100 個 tokens

– 1,500 個中文字約等於 2048 個 tokens

 

在自然語言處理（NLP）領域，Token通常由一個或多個字符組成，例如單詞、標點符號或特殊符號。

在ChatGPT中，Token 用於構建文本輸入和輸出，作為模型學習和生成的基本元素。

(範例一)

 

為了理解Token的概念，可以將其視為文本的拼圖碎片。將這些碎片按照一定的規律排列組合，就能構成有意義的文本。

在ChatGPT中，每個Token都有一個對應的向量 (embeddings) 表示，這些向量可以捕捉Token之間的語義關係。

通過訓練過程，模型學會理解這些Token及其組合，從而能夠生成語句和段落。

(範例二)

 

二、Prompt：用戶的請求和問題

Prompt 是用戶向ChatGPT提出的請求或問題，通常是一個句子或一段文字。

Prompt 是模型生成回應的初始條件，它激發模型根據先前的學習經驗來生成相應的回答或建議。

Prompt 可以非常簡單，例如：“天氣如何？”；也可以很複雜，比如：“請幫我寫一篇關於全球暖化的文章。”

 

(不良prompt示範)

(優良prompt示範)

在設計Prompt時，應將其描述得越清晰、具體，模型生成的回應就越可能滿足用戶的需求。

有時候，可能需要嘗試幾次不同的Prompt，才能找到能產生理想回應的表述。

 

三、Completion：模型生成的回應

Completion 是ChatGPT根據給定的prompt生成的回應，通常是一段文本。它可以視為模型對用戶Prompt的回答或回應。

根據Prompt的具體要求，Completion 可能是一個簡單的句子，也可能是一篇完整的文章。

Completion 的生成過程涉及多個步驟，包括對Prompt的理解、選擇合適的Token以擴展回應內容，以及根據上下文確保語義的一致性。

在這個過程中，模型會根據機率分布從候選Token中選擇最合適的一個，並將其添加到已生成的文本中。

這個過程會持續進行，直到達到特定的終止條件，如生成指定數量的Token、遇到特殊終止符號等。

生成的Completion質量可能受到多種因素影響，如Prompt的明確度、模型訓練數據的質量和多樣性、以及生成策略的選擇。

對於某些情況，可能需要使用者嘗試多次或進一步修改Prompt，以獲得更滿意的Completion。

結語

了解 Token、Prompt和Completion之間的關係對於掌握ChatGPT的基本使用方法至關重要。

通過瞭解這些基本要素，您可以更有效地與模型互動，並獲得更好的生成結果。

在未來的應用中，ChatGPT有望在眾多領域發揮更大的作用，為人類創新與發展提供強大的支持。