为什么同一个问题 AI 会给出不同答案?
生成过程可能从多个候选中选择,因此相同问题可以产生不同回答。
从数据、学习到大语言模型,理解 AI 为什么看起来越来越聪明。
共 13 篇文章
Token、预测下一个词、为什么 AI 能聊天。
生成过程可能从多个候选中选择,因此相同问题可以产生不同回答。
语言模型可能生成看似合理但错误的内容,常称为幻觉。
语言模型通过训练与上下文计算,学习语序、搭配和关系模式。
常见自回归语言模型逐步生成 token,并利用已经生成的内容继续计算。
AI 的“记忆”可能指当前上下文、应用保存的信息,或训练形成的参数知识,这些不是一回事。
语言模型把文字转成数值表示,在上下文中计算关系。
注意力机制通过计算,把不同位置的信息按权重组合。
聊天能力常在基础模型之上,通过指令示范和其他后续训练进一步改善。
大语言模型是通过大量语言等数据训练的模型,可处理和生成文本。