Token在计算机中的含义

在当今AI技术领域，Token是一个频繁出现却又略显抽象的概念。它的官方中文译名叫“词元”。

你可以将其理解为大语言模型处理和理解文本的“乐高积木”或“基本度量衡”。简而言之，它是AI世界里构成所有语言表达的基石。

Token的核心特点

把握住以下四个关键特点，你就能基本理解Token的门道。

1. 最小处理单位

AI模型并非像人类一样整体理解句子。它必须先将文本“切碎”成一个个Token，再逐一处理。

• 中文示例：“我爱中国！”可能会被拆解为“我”、“爱”、“中国”、“！”四个Token。
• 英文示例：“apple”通常占1个Token，而“unstoppable”这样的长词可能被拆为“un”、“##stop”、“##able”等多个Token。

2. 按量计费的硬通货

几乎所有的商业化AI服务，其收费都依据输入和输出Token的总量计算。

这包括通义千问、文心一言及GPT系列等。计费依据是Token总数，而非简单的字数或提问次数。

3. 决定模型的“记忆力”长短

每个模型都有上下文窗口上限，例如8K、32K或128K Token。

对话长度一旦超过此限制，模型便会开始“遗忘”最早的内容。因此，Token数直接限定了模型单次对话的记忆容量。

4. 存在语言间的消耗差异

Token的切分方式导致不同语言的信息效率不同：

• 一个汉字通常对应1到2个Token。
• 一个英文单词平均对应约1个Token。

这意味着，表达相同内涵的内容，中文版本往往比英文版本多消耗30%到50%的Token。这是中英文对话成本存在差异的核心原因之一。

《夸克》非常好用的免费AI浏览器

下载APP查看