其中提到的第二个误解：「ChatGPT 是统计模型，所以它的一切认知都是来自于它的语料。」

我也有，并且当大家讨论ChatGPT的时候，经常会从这个基础数学原理的角度得出「当前的AI并没有质变」的结论。

我不知道有没有质变，但给我的感受，是产生了质变。

但让我更意外的是，原来学术界也不知道在这样基础的原理下，为什么产生如此意外的结果/能力。（就是目前处于它做到了但我们并不确切知道它为什么能做到的状态）-- 关于这一点，木遥附上了两个论文链接，一个来自Google，一个来自微软：

• What learning algorithm is in-context learning? Investigations with linear models
• Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers