一起动脑筋 · 先看一个小故事
女孩看回答一点点出现，以为模型一次只想一个完整的词。实际生成单位未必是词。
把过程摊开来看
- 已有内容当前上下文
- 计算分布下一 token 的可能性
- 选择得到一个 token
- 重复接入上下文继续
常见自回归语言模型逐步生成 token，并利用已经生成的内容继续计算。
一个 token 可能只是词的一部分；屏幕上的显示还可能经过缓冲，因此可见节奏不等于内部每一步。
前面若出现错误，后面可能沿着错误继续展开，所以长回答也需要核查。
轮到你来试一试
屏幕一次跳出一整句，能证明模型一次只进行了一次计算吗？
想好了吗？点开看解释
不能，显示可能把多个生成片段合并后呈现。
带走一个发现
常见自回归语言模型逐步生成 token，并利用已经生成的内容继续计算。
试着遮住上面的图，把每一步讲给家人听。如果某一步说不清楚，就回到那张卡片再看一遍。