一起动脑筋 · 先看一个小故事
机器人不能直接拿印在纸上的字做矩阵计算，先给文本片段编号，再转换成数值表示。
把过程摊开来看
- 文本原来的句子
- token切分后的小块
- 编号对应词表项目
- 向量一组可计算数值
文本通常先经分词得到 token 编号，再映射为向量等数值表示。
编号像词表索引，方便找到对应表示；向量用于后续计算。相邻编号不自动表示意义相近。
经过模型层层处理，表示会结合上下文发生变化。
轮到你来试一试
词表里两个词编号相邻，就说明它们意思相近吗？
想好了吗？点开看解释
不能。编号首先是标识，语义关系来自训练和表示，不是数字大小顺序。
带走一个发现
文本通常先经分词得到 token 编号，再映射为向量等数值表示。
试着遮住上面的图，把每一步讲给家人听。如果某一步说不清楚，就回到那张卡片再看一遍。