是什么让ChatGPT变得如此聪明？

admin

3月29日，由图灵奖得主Yoshua Bengio、特斯拉CEO马斯克、纽约大学名誉教授Gary Marcus、UC伯克利教授Stuart Russell等1000多人，在一封叫停GPT-4后续AI大模型的公开信上签名。

这封公开信指出，最近人工智能陷入了一场失控的竞赛，模型的创造者们没有办法理解、预测或可靠地控制自己创造的大模型，人类社会对其可能造成的影响也没有做好准备。因此，公开信呼吁，所有AI实验室应立即暂停训练比GPT-4更强大的AI模型，为期至少6个月。

一石激起千层浪，从各个AI群里的讨论来看，赞同和反对的人都为数不少。我们一直在关注大语言模型，所以对这封公开信中提到的“但是没有人能理解、预测或可靠地控制这些大模型，甚至模型的创造者也不能”颇有感触，我想这个论断背后的核心点之一，就是人类至今没有搞清楚大语言模型中的“涌现”（Emergent）现象到底是怎么回事？AI为什么一下子变得如此智能？

过去几十年来，AI能够在局部领域打败人类，比如围棋，但在大多数时候，AI都没那么聪明，比如你问它“李白喜欢用什么手机？”，它要么卡壳要么给出离谱回答。这是因为让AI掌握常识，并且能够融会贯通地运用这些常识、形成推理能力非常难，一直以来这都是巨大的难题。

但这次以ChatGPT为代表的一众大语言模型，突然突破了这个门槛，变得非常“聪明”。当然背后的原因有很多，比如自监督学习、Fine-tuning策略等等，但有一个重要的底层变化——大语言模型的“涌现”（Emergent）现象，就是说一些业界从未想象到的能力，例如基础的社会知识、上下文学习（ICL）、推理（CoT）等等，在训练参数和数据量超过一定数值后，这些能力突然出现了，令AI一下子变得非常智能。