代理画质
01 · 开场
Context Window 的单位是 Token,不是字
GPT-5.2 的 40 万 context window 指 40 万个 Token;Token 与字、词的关系少有人讲清。
「它代表了模型一次能够处理的最大信息量」—— 00:03
00:18
03 / 19
代理画质
02 · 工作原理
模型只认数字:翻译官 Tokenizer
大模型本质是巨大的数学函数,输入输出全是数字;Tokenizer 站在人与模型之间,负责编码与解码两个环节。
「这个翻译官的名字就叫做 Tokenizer」—— 00:53
00:41
05 / 19
02 · 工作原理
编码环节:切分 + 映射
编码分两步:先把问题切成最小单位 Token(示例切出 4 个),再把每个 Token 映射为一一对应的 Token ID——硬币的正反面。
「第一步，切分」—— 01:30
01:36
06 / 19
02 · 工作原理
模型运算与解码环节
Token ID 列表交给模型运算,吐出的 Token ID 再由 Tokenizer 解码映射回文字;解码无需切分。切分与映射如何实现?这要从 Tokenizer 的训练说起。
「这次发挥作用的就是解码环节了」—— 02:17
02:33
07 / 19
03 · 训练过程
Tokenizer 是训练出来的:Unigram 与 BPE
训练远比大模型训练简单;Google 多用 Unigram,OpenAI 和 Anthropic 多用 BPE,本片以 BPE 演示。
「Tokenizer 其实是被训练出来的」—— 03:09
03:09
09 / 19
03 · 训练过程
词表初始化:单字入表,Token ID 只是编号
所有出现过的单字进词表,逐个分配 Token ID;Token ID 无语义,与 Embedding 无关,仅需保证一对一。
「它就是个编号而已」—— 04:20
04:14
10 / 19
03 · 训练过程
单字词表可用但低效:目标是词级 Token
单字词表已是简易 Tokenizer,但 9 字输入远慢于 4 词输入;把常见词收进词表才是最佳方案,方法是找规律。
「让这些常见的词作为 Token 才是最佳方案」—— 05:19
05:07
11 / 19
代理画质
03 · 训练过程
BPE 迭代合并:智能 → 人工 → 人工智能
扫描统计共现频率,最高者合并并同步更新词表与合并规则;合并产物可继续参与合并,训练完毕后核心组件即词表 + 合并规则。
「它的核心组件就是词表和合并规则」—— 07:34
07:31
12 / 19
04 · 使用过程
编码·映射与解码:查词表
映射即查词表取 Token ID(马克→35、喜欢→36);解码反向查表,36 映射回“喜欢”,全流程闭环。
「发现 36 对应的是“喜欢”这两个字」—— 09:17
09:05
15 / 19
05 · 换算关系
Tokenizer 是压缩机:9 字变 4 Token
常在一起的字被合成一个 Token,输入更少、训练与推理效率更高——回答了开头 Token ≠ 字的疑问。
「它还是一个压缩机」—— 09:41
09:31
17 / 19