上个月部门聚餐，12个人挤在一家川菜馆，菜单翻到第3页就开始吵架。有人要吃辣，有人胃疼，有人过敏，有人减肥。服务员站旁边等了10分钟，最后老板亲自出来点菜，5分钟搞定。
我突然就悟了。Transformer这玩意儿，本质上就是个超级点菜员。
事情要从3年前说起。那时候我刚开始接触AI大模型，什么GPT、BERT、T5，铺天盖地。每个技术文档开头都来一句“Transformer架构由Vaswani等人在2017年提出”。我看了不下50遍，每次看到第3行就开始走神。什么“自注意力机制”、“多头注意力”、“位置编码”，每个字都认识，连在一起就像外星语。
直到那天在川菜馆，看着老板怎么处理12个人的点菜需求，我才发现，Transformer干的活跟这位老板一模一样。
先说最核心的自注意力机制。你把它当成老板在问每桌客人“你到底想吃什么”。假设一桌坐了12个人，每个人的口味都不一样。老板不会傻到只问第一个人就下单，他会挨个问一遍，然后综合所有人的意见，决定这桌到底点什么菜。
Transformer处理一句话也是这么干的。比如“我今天吃了苹果”，它不会只看“苹果”这个词就瞎猜，它会看“我”、“今天”、“吃”、“了”、“苹果”这5个词，计算每个词跟其他词的关系强度。就像老板发现，虽然5个人都说随便，但第3个人偷偷说了句“别太辣”，第7个人摸了下胃，第9个人看了两眼减肥餐菜单。
老板把这些信息全部收集起来，给每个客人的偏好打个分。注意力分数高的，就重点照顾。Transformer也是，给每个词跟其他词的关联度打分，分数高的，就多分配一些权重。
然后是多头注意力。这个更好理解。老板一个人记不住12个人的口味怎么办？他叫来3个服务员，每人盯4个人。一个专门记谁不能吃辣，一个专门记谁要加香菜，一个专门记谁在减肥。最后3个人把信息汇总到老板这里，综合判断。这就是多头注意力。每个头关注不同的特征，最后拼在一起，比单打独斗强多了。
再说位置编码。这玩意儿以前我死活想不通。词的位置信息不是明摆着的吗？“我”在第1个，“吃”在第2个，写代码的时候用索引序号不就行了？问题是Transformer处理句子的时候，是把所有词同时丢进去并行计算的。并行计算的好处是快，坏处是失去了顺序感。就像老板问完12个人的口味，回到后厨，突然忘了第3个人是说“别放葱”还是“别放姜”。位置编码就是给每个词贴个坐标，告诉模型“我站在第3个位置，别搞混了”。
我试过最笨的办法理解位置编码。拿一张纸，写上一句话，然后把每个词剪成小纸条，打乱顺序再重新排列。如果没有位置信息，你根本不知道“苹果”是在“吃”前面还是后面。位置编码就是给每个小纸条背面写了个编号。
残差连接和层归一化，这两个概念当初把我折磨得够呛。后来发现，其实就是老板点完菜之后，让服务员再核对一遍。残差连接是“保留原始信息”，层归一化是“把信息标准化”。老板记了12个人的需求，写在小本本上，然后让服务员重新报一遍，看有没有漏掉或者记错的。层归一化就是把所有客人的需求统一格式，“辣度”都写成微辣、中辣、特辣，别有人写“一点点辣”有人写“稍微辣一下”。
前馈神经网络更简单。老板收集完所有信息，做出最终决策。12个人点了18个菜，后厨只有5个灶，先做哪个后做哪个，哪个菜可以拼一桌，哪个菜必须单独炒。前馈神经网络就是做这个的，把注意力机制提取出来的特征，进行非线性变换，让模型能学习更复杂的模式。
我花3年没搞懂的东西，一顿饭的时间就通了。后来我把这套比喻讲给同事听，那哥们儿听完沉默了10秒钟，说：“所以你点菜点了3年？”
不是，是我终于知道Transformer为什么能成为AI大模型的基石了。以前那些RNN、LSTM，就像只有一个服务员的小饭馆，客人点菜必须按顺序来，一个一个问。你说“我今天吃了苹果”，服务员听到“我”就记下来，听到“今天”再记，听到“吃了”再记，听到“苹果”再记。顺序不能乱，效率还低。一旦句子长了，前面的信息就忘了，就像服务员记完第50个客人，已经忘了第1个客人点了啥。
Transformer把整个流程并行化了。所有词同时处理，每个词都能看到上下文的全貌。就像老板站在大厅中间，12个客人的需求同时涌过来，他一次性全部处理。这效率，直接碾压RNN一个数量级。
当然，并行处理也有代价。计算量巨大，显存跟喝水一样。我训练过一次小模型，8张V100跑了3天，电费够我吃一个月火锅。但效果确实好，以前RNN处理1000个字的文本就开始丢信息，Transformer处理几万字跟玩似的。
现在你打开任何一个主流AI产品，背后都是Transformer。ChatGPT是，Claude是，Gemini是，国内的文心一言、通义千问、Kimi、智谱清言，全是。区别只是在Transformer的基础上做了各种魔改，有的加了MoE混合专家，有的改了注意力计算方式，有的优化了推理速度。
但骨架没变。自注意力、多头注意力、位置编码、残差连接、层归一化、前馈神经网络，这6个组件拼在一起，就是Transformer。
写到最后，想起一个事。上个月有个刚入行的算法工程师问我，学Transformer有没有捷径。我说有啊，找家川菜馆，点12个人的菜，看老板怎么操作。他以为我在开玩笑，我说我是认真的。
老板点菜的时候，就是一台活着的Transformer。只不过他输出的不是概率分布，而是一桌麻辣鲜香的菜。
📎 延伸阅读
看完这篇，如果你想：
- 直接拿工具 → 回复”13“，我把跨境获客工具包发给你
- 系统学习 → 点击菜单”AI训练营”，从0开始跑通AI变现