← 硅火纪元 · 目录
上卷 · 真实史 · 第 8 章 / 35
2023
第 8 章 · 一周一个新模型

寒武纪大爆发

2023 年 3 月 14 日,圆周率日,下午一点。OpenAI 在 YouTube 直播了一场低调的发布:GPT-4。没有宏大口号,没有架构解释——关于参数量、关于是否用了 MoE,一律拒绝回答。直播结束时,他们展示了一张手绘草图——一个粗糙的网站线框——GPT-4 看完那张照片,吐出了一段可以运行的 HTML。

接下来是一连串考试成绩:美国律师资格模拟考试前 10%,SAT 阅读第 93 百分位,SAT 数学第 89 百分位,LSAT、GRE、多门 AP 考试名列前茅。 上一代 GPT-3.5 在模拟律考里的成绩是垫底的 10%,仅仅一年之差。这些不是 OpenAI 自己编的:OpenAI 聘请了律师出题、请了教育测试公司打分。数字摆在那儿,不容讨价还价。

这一天之前,大多数人对 ChatGPT 的震撼还停留在"能聊天"的层面。GPT-4 把那层印象一起拆了。它能读图,能查合同里的陷阱条款,能根据用户上传的冰箱照片写出当晚菜谱。开发者开始用一个新词描述它:multimodal——多模态。人类第一次意识到,未来的模型也许不是"会说话的程序",而是"会看、会听、会说、会想"的某种东西。

三月还没走完,又一个名字插进来了。

2023 年 3 月初,Anthropic 把 Claude 1 交给了早期合作伙伴。这家由 Dario 和 Daniela Amodei 兄妹于 2021 年从 OpenAI 出走创立的公司,用了快两年时间才端出第一款产品。用过 Claude 的人第一印象统一:它更克制、更守规矩、更愿意说"我不知道"。Anthropic 把这种性格命名为 Constitutional AI——先给模型一份由普世权利宣言、阿西莫夫三定律和公司内部原则混编的"宪法",再让模型自己批改自己。与 OpenAI 重度依赖人类标注员的 RLHF 路线相比,这条路径让模型更难被诱骗说出不该说的话。

4 个月后,2023 年 7 月 11 日,Anthropic 发布 Claude 2,第一次对公众开放。最抓眼球的不是它的成绩——尽管它在模拟律考多选部分拿到 76.5%,比 Claude 1.3 的 73 还高一截——而是那个未见过的数字:100,000 tokens 上下文窗口。用户可以一次塞进去 75,000 字,基本上是一本短篇小说或者一份上百页的技术白皮书。当时 ChatGPT 的 GPT-3.5 只能处理 16,000 tokens,连论文摘要都嫌长。长上下文的竞赛就此开打。

但 2023 年真正让行业进入"寒武纪"的事件,和最顶级模型无关。它发生在一个脏乱的匿名论坛。

2023 年 3 月 3 日,一位自称 llamanon 的用户在 4chan 的 /g/ 技术板发出一个种子链接。下载下来的是 Meta 刚刚做完、还没大规模发放的 LLaMA 系列权重——7B 直到 65B 全都在内。事件起因不复杂:Meta 在 2 月底开始以研究合作的方式给学术界放号,有人拿到之后把它丢上了种子网络。几小时后,这组权重就在 AI Twitter、Hacker News、Hugging Face 的讨论区同时出现。

Meta 在 3 月 6 日试图发 DMCA 下架,3 月 20 日再发一次,GitHub 配合删除了下游仓库。但权重是无法被追回的。 一旦几千份副本散落在世界各地的硬盘里,任何法律程序都追不回来。一位 Stanford 博士生那个周末花了六百美元在自己的一张消费级 GPU 上把 LLaMA 7B 微调出了一个"会聊天"的版本,起名 Alpaca。另一组斯坦福人做出了 Vicuna。紧接着是 KoalaOpenAssistantGPT4AllGuanaco……开源社区像一只被压抑太久的弹簧,突然松开了。

Meta 本来可能想严格限制 LLaMA 的去向。但看到社区的爆发后,扎克伯格做了一个后来被证明对 Meta 极其关键的决定:正面拥抱开源。 2023 年 7 月,LLaMA 2 正式带着商业许可证发布。开源和闭源两条路线在这一刻形成了僵持。

与此同时,在巴黎,三位从 Meta 和 DeepMind 出走的研究员——Arthur Mensch、Guillaume Lample、Timothée Lacroix——创立了 Mistral AI。9 月 27 日,这家欧洲小公司发布了只有 73 亿参数的 Mistral 7B,Apache 2.0 许可证,一个 BitTorrent magnet link 贴在推特上就完事。它在标准英文和代码基准上吊打所有开源 13B 以下模型,甚至和 Meta 34B 的 LLaMA 打平。一个月后他们又放出 Mixtral 8×7B,把稀疏 MoE 带进开源世界。欧洲第一次在这场竞赛里有了自己的名字。

2023 年的另一条主线是"AI 自己吓自己"。

3 月 28 日,距 GPT-4 发布两周,Future of Life Institute 发表了一封公开信:Pause Giant AI Experiments。签名者三万人,其中包括 Yoshua Bengio、Stuart Russell、Elon Musk、Steve Wozniak、Yuval Noah Harari。主张:立刻暂停所有"比 GPT-4 更强"的 AI 训练至少六个月。信里那句后来被反复引用:"我们是否应该让非人类智能最终胜过我们,取代我们?"——这个问题第一次出现在主流媒体的头条。

五月的两件事把气氛推向高点。5 月 1 日,Geoffrey Hinton 从 Google 辞职,75 岁。他在接受《纽约时报》采访时说了一段话,那段话传遍了全球:

这东西会不会比人更聪明——少数人相信,但我原本以为那是三十年到五十年以后的事。现在我不这么想了。

几天后,Sam Altman 出席美国参议院听证会,呼吁对 AI 进行"许可证"式监管。他坐在那儿看起来像一个试图帮监管机构给自己戴上手铐的奇怪年轻人。到年底,欧盟的动作终于到位——12 月 9 日,欧洲议会与理事会就 AI Act 达成政治协议,世界上第一部系统性 AI 法律初步成形,对"高风险"AI 划出十几条红线,要求基础模型公开训练数据摘要和技术文档。英国、美国、中国也都开始各自起草规则,但 EU 走在了最前面。

并非所有事都很严肃。2023 年 5 月 27 日,纽约律师 Steven Schwartz 因为在一份联邦法院的诉状里引用了六个"并不存在的案例"而被法官点名。Schwartz 是在职三十多年的老律师——他在接受问询时说的那句话后来成为经典:"我听说有这个新的网站,我误以为它是一个超级搜索引擎。" 那六个案例是 ChatGPT 编出来的。Schwartz 和同事被法官 Kevin Castel 裁定罚款 5,000 美元。这是幻觉(hallucination)第一次在美国司法系统里被正式盖章记录。

2023 年的尾巴留给了一场肥皂剧。11 月 17 日,周五下午,OpenAI 董事会在毫无预警的情况下解雇 Sam Altman。公告写得含糊:"他在与董事会的沟通中并不始终坦诚。" Mira Murati 被推上临时 CEO 的位置。三天之内,超过 700 名员工联名威胁集体跳槽去微软。投资方施压,Ilya Sutskever 公开表示后悔。11 月 22 日,仅仅五天之后,Altman 回归。新董事会重组:Bret Taylor、Larry Summers、Adam D'Angelo。

这出五天戏后来被称为 the blip。但它暴露了一件事:这家掌管着当时最强大 AI 系统的公司,自己的治理结构脆弱得像纸。它的创始故事里"我们是一家为人类服务的非营利机构"这句话,在资本和规模面前被撕成了两半。

回望 2023 年底,行业里真有人认真地说:我们可能已经越过了 AGI 的门槛,只是我们还没定义它。

那年的最后几个月,每周都有新模型。GPT-4、Claude 2、Bard、文心 4.0、通义千问、Mistral、LLaMA 2、Falcon、Yi、DeepSeek(这家公司这一年才第一次登场)……行业里的人已经记不清自己试过多少。寒武纪生命大爆发,只不过物种是人工智能。

前寒武纪留下来的常识,这一年开始失效。一年之前还有人争论"大模型会不会泡沫",到 2023 年底几乎没人再问这个问题。问题换成了:下一次爆发发生在哪里?