大模型不是知识仓库，而是关系空间

以前我以为，大模型学习的是知识。

最近学 Transformer 和 GPT 多了一点之后，我越来越倾向于换一个 理解方式：

大模型最重要的产物不是知识，而是关系。

GPT 更像一个关于世界关系的高维空间，而不是一个存放事实的仓库。

词不是本体

最开始接触大模型时，我以为模型学习的是词。

后来发现，词只是入口。

对模型来说，这些东西最初只是 ID：

猫
狗
苹果
汽车

真正进入神经网络的是向量。

训练刚开始时，这些向量是随机的，没有任何意义。训练过程中，模型 不断调整这些向量的位置。

最后，一些关系开始在空间里出现：

猫接近狗
狗接近狼
苹果接近水果
汽车远离动物

Embedding 的本质不是给概念下定义。

它是在给概念找坐标。

对模型来说，一个概念是什么，并不主要取决于它的字典定义，而取决于 它位于整个关系网络中的什么位置。

意义来自关系

人类习惯用定义理解世界。

比如：

猫是一种哺乳动物。

但仔细想想，我们真正理解“猫”，并不是因为背下了这句话。我们理解 猫，是因为知道一片关系：

猫是动物
猫会抓老鼠
猫喜欢鱼
猫和老虎相似
猫经常作为宠物出现

当这些关系足够丰富时，“猫”这个概念自然就清楚了。

意义来自关系。

关系越丰富，意义越完整。

这让我想到《道德经》里的一句：

有无相生，难易相成，长短相形，高下相倾。

长和短不是独立存在的。

高和低也不是独立存在的。

一个概念的意义，来自它和其他概念之间的关系。从这个角度看，大模型 和《道德经》有一种有趣的共鸣：它们都把注意力从孤立对象，转向对象 之间的关系。

语言是关系的压缩

我越来越觉得，语言本身是一种压缩格式。

比如：

昨天下雨了。

这句话背后其实藏着很多结构：

空气中的水汽增加
云层形成
温度满足条件
水滴凝结
雨滴下落
地面变湿

这些都没有被写出来。

语言只保留了足够传递信息的部分。阅读的过程，很大程度上是在恢复 那些被压缩掉的关系。

所以人类理解一句话时，真正发生的事情不只是识别文字，而是重建文字 背后的关系结构。

一条语料是一个约束

过去我以为，训练数据是在向模型灌输知识。

现在我更愿意这样理解：

一条训练语料，本质上是对关系空间施加的一个约束。

比如：

猫追老鼠。

这不只是三个词。它表达的是一种关系：

猫 -> 追 -> 老鼠

再比如：

北京是中国的首都。

这句话把几个关系推入空间：

北京 <-> 中国
北京 <-> 首都
中国 <-> 首都

训练集中的每一句话，都像是在对模型说：

这些关系应该成立。

数十亿、数百亿、数万亿段文本，共同构成了一个巨大的关系约束系统。

训练是在寻找几何结构

这也改变了我对训练的理解。

训练不是向模型内部塞入知识。

训练是在寻找一个关系空间，让它尽可能满足最多的约束。

可以把它想象成一个巨大的弹簧网络。

如果训练数据中经常出现：

猫 和 狗

那么空间会倾向于让它们靠近。

如果训练数据中很少把两者放在一起：

猫 和 发动机

那么它们就可以保持较远距离。

训练过程就是不断调整所有点的位置，直到这个空间能同时满足海量关系 约束。

从这个角度看，一条训练语料不是简单增加一个知识点，而是在给这个 几何空间增加一个约束。

GPT 的训练，就是寻找一个能够把这些约束同时兜住的高维结构。

参数是解析度

这也让我重新理解参数。

很多人会问：

模型有多少参数？

我觉得参数数量并不直接对应模型“存了多少对象”。

它更像世界模型的解析度。

地图不会复制整个城市。地图保留的是位置、道路、距离、连接，以及 一些有用的失真。

模型也是这样。

参数越多，不是说整个世界被塞进了模型。参数越多，意味着模型能够 表达更细致的关系结构。

世界没有被装进 GPT。

GPT 装进去的是一张关于世界关系的地图。

随着参数增长，这张地图可以变得越来越精细。

我现在的位置

过去我认为：

大模型学习的是知识。

现在我更倾向于认为：

大模型学习的是关系。

知识只是关系网络中的局部表现。

语言是关系的压缩表达。

训练数据是关系约束。

训练过程是在寻找满足这些约束的高维空间。

参数决定这个空间能达到的解析度。

所以，大模型最重要的产物不是一个巨大的知识库。

而是一个关于世界关系的几何空间。

语言只是这个空间投射出来的影子。