昨天我刷手机，看到一张图片，上面是一只猫蹲在键盘上，下面配了行字：“我看起来像是在工作吗？”然后我脑子里的第一反应是：这张图好笑，但要是让AI看懂这个梗，它得同时理解图片里的猫、键盘、人的表情，还有文字里的讽刺语气。这事儿，对AI来说曾经是天方夜谭，但现在，它们正在学会。
多模态这个词，拆开来说就是“多种模式”。人的眼睛、耳朵、嘴巴、手，每样东西接收信息的方式不一样，这就是不同的“模态”。以前AI特别偏科，有的只认文字，有的只看图片，有的只管听声音。就像你班上那个数学能考满分、但语文永远不及格的同学。多模态能力，就是让AI把这些技能打通，不再偏科。
举个例子。你拍了一张晚饭的照片发给朋友，朋友一看，说“哟，今晚吃火锅啊”。但AI要理解这个，它得先认出照片里红油锅底是火锅，还得明白“火锅”这俩字对应的意思，甚至能猜出你说“今晚真暖和”其实是在吐槽火锅烫嘴。这就是多模态的厉害之处——它不是简单的翻译或转码，而是把不同信息拼在一起，理解出背后的含义。
我去年试过用GPT-4V，就是那个能看图的多模态版本。我拍了张我家路由器背面全是密密麻麻的英文标签，直接扔给AI说“给我解释一下WiFi密码在哪”。它秒回我：“标注为‘Default Key’的那一行，后面8位字符就是密码，注意区分大小写。”这要是换作旧版AI，我得先把那行字打出来让它读，它还未必看得懂哪个是密码。这就像以前你给一个只会识字的人看一张有字的照片，他得先把字抄下来才能读，累不累？
多模态真正颠覆的地方在于，它让AI从“阅读器”变成了“观察者”。阅读器只能读你写下来的东西，而观察者能看到现实世界里的杂乱。比如你拍一张被弄乱的办公桌，问“我的钥匙在哪”，多模态AI能识别出桌面上哪些是笔、哪些是书、哪些是钥匙，甚至能告诉你“钥匙在蓝色水杯右边”。这活儿要是让纯文字AI干，你得先描述一遍“我桌上有个蓝色的杯子，旁边有堆文件，中间夹着串钥匙”，这描述本身就够累的。
我有个朋友做设计，他最近用多模态AI做方案，流程是这样的：他先手绘几个潦草的草图，拍照上传，然后跟AI说“把左边那张的配色改成类似日落的感觉”。AI能理解“日落”这个词对应的颜色范围，还能看明白他画的是云不是山，最后输出几个选项。这事儿放在三年前，得先找参考图、再调色板、再手动改，光沟通就得半天。现在他直接对着手机喊两嗓子，AI就干了。
当然，多模态也不是万能的。我试过让一个多模态AI识别我拍的路牌，结果它把“禁止左转”看成了“限速40”，因为路牌上有个40的数字。这就是典型的“模态打架”——AI太依赖某个模态的信息，忽略了其他模态的上下文。就像你听一个人说话，光听声音不看表情，容易误会他是在生气还是开玩笑。多模态AI也得学会平衡各个感官的信号，谁轻谁重，这事儿到现在还是个坑。
另外，多模态对算力的要求高得离谱。我查过资料，一个支持图像+文本的模型，参数量是纯文本模型的几倍甚至几十倍。这就像你让一个人同时学画画、弹琴、写文章，他得吃更多的饭、睡更多的觉才能撑住。所以我猜，未来多模态AI的普及，主要看硬件能不能跟上。我的老笔记本跑一个纯文本模型都得呼呼响，要是跑多模态，估计直接蓝屏。
说到底，多模态能力就是让AI更像人。人天生就是多模态的生物，我们看一部电影，同时处理画面、台词、配乐、字幕，还能理解剧情和情感。AI以前只能处理其中一条线，现在开始能串起来了。但别指望它马上就能像人一样灵活——我让它帮我订个外卖，它可能得先把我拍的外卖单图片、我的语音指令、还有历史订单数据拼在一起，才能决定是点麻辣烫还是沙拉。这中间任何一步出错，结果就是送错餐，或者更糟，它给你点了一份你不吃的香菜。
所以，多模态是个好玩意儿，但它还处在“会说话但还会摔跤”的阶段。我们普通人用它，就当多了个理解力还行的助手，别指望它能读心。该自己动手的还是得自己动手，比如关掉那个自动播放的视频广告——这事儿，估计AI还得再练几年。