Ilya宣判：预训练即将终结，NeurIPS现场沸腾

正文：

继李飞飞、Bengio、何恺明之后，正在今天的NeurIPS 2024中，Ilya SutskeZZZer最新演讲也来了。

尽管时长仅有15分钟摆布，但内容照常看头十足。

譬喻那一句：

Pre-training as we know it will end.

咱们所熟知的预训练行将闭幕。

而之于将来，Ilya还预测道：

what comes neVt is superintelligence: agentic， reasons， understands and is self aware.接下来将是超级智能：代办代理、推理、了解和自我意识。

为何会有如此发言？咱们一起来看看完好演讲。

回想十年技术展开

Ilya先是用一张十年前的PPT截图开启了此次演讲，这时，深度进修还处于摸索阶段。

正在2014年的蒙特利尔，他和团队（另有Oriol xinyals和Quoc Le）初度提出了此刻成为AI规模基石的深度进修理念。

Ilya展示了其时的一张PPT，提醉了他和团队的焦点工做：自回归模型、大型神经网络和大数据集的联结。

正在十年前，那些元素其真不被宽泛看做乐成的担保，而原日，它们曾经成为人工智能规模最重要的根原。

譬喻正在谈到深度进修如果时，Ilya强调了一个重要不雅概念：

假如有一个10层的大型神经网络，它就能正在一秒钟内完成人类能作的任何工作。

他评释说，深度进修的焦点如果是人工神经元取生物神经元的相似性。

基于那一如果，假如人类能够正在0.1秒钟内完成某项任务，这么同样的任务，一个训练劣秀的10层神经网络也能完成。

那一如果敦促了深度进修的钻研，并最末真现了其时看似斗胆的目的。

Ilya还引见了自回归模型的焦点思想：通过训练模型预测序列中的下一个token，当模型预测得足够精确时，它就能捕捉到整个序列的准确分布。

那一思想为厥后的语言模型奠定了根原，出格是正在作做语言办理规模的使用。

虽然除了“押对宝”的技术之外，也有“押错”的。

LSTM（长短期记忆网络）便是此中之一。

Ilya提到，LSTM是深度进修钻研者正在Transformer之前运用的次要技术之一。

只管LSTM正在其时为神经网络供给了壮大的才华，但它的复纯性和局限性也显而易见。

另一个等于并止化（parallelization）。

只管如今咱们晓得，pipeline其真不是一个好主见，但其时，他们通过正在每个GPU上运止一层网络，真现了3.5倍的速度提升。

Ilya认为，范围如果（scaling hypothesis）是深度进修乐成的要害。

那一如果讲明，假如你有一个很是大的数据集，并训练一个足够大的神经网络，这么乐成的确是可以预见的。

那个不雅概念曾经成为原日深度进修规模的焦点法例。

Ilya进一步阐述了连贯主义的思想，认为人工神经元取生物神经元之间的相似性给了咱们自信心，认为纵然不彻底模仿人脑的构造，弘大的神经网络也能完成取人类相似的任务。

预训练时代行将完毕

上述技术的展开也让咱们迎来了预训练的时代。

预训练是敦促所有提高的动力，蕴含大型神经网络和大范围数据集。

但Ilya接下来预测说：

尽管计较才华正在不停删加，硬件和算法的提高使得神经网络的训练效率获得了提升，但数据的删加却已濒临瓶颈。

他认为，数据是AI的化石燃料，跟着寰球数据的限制，将来人工智能将面临数据瓶颈。

尽管当前咱们依然可以运用现无数据停行有效训练，但Ilya认为，那一删加趋势末将放缓，预训练的时代也会逐步完毕。

超级智能将是将来

正在谈到将来的展开标的目的时，Ilya提到了“Agent”和“分解数据”的观念。

很多专家都正在探讨那些话题，认为Agent系统和分解数据将是冲破预训练瓶颈的要害。

Agent系统指的是能够自主推理和决策的人工智能，而分解数据则可以通过模拟环境创造新的数据，补救现真世界数据的有余。

Ilya还引用了一个生物学上的例子，展示了哺乳植物身体取大脑大小的干系，显露差异生物可能通过差异的“范围法例”进化出差异的智能暗示。

那一思想为深度进修规模的进一步扩展供给了启发，讲明人工智能兴许可以通过差异的方式冲破目前的范围限制。

Ilya最后谈到了超级智能的前景。

他指出，尽管当前的语言模型和AI系统正在某些任务上暗示出超人类的才华，但它们正在推理时仍显得不不乱和不成预测。

推理越多，系统变得越不成预测，那一点正在一些复纯任务中暗示得尤为突出。

他还提到：

目前的AI系统还不能实正了解和推理，尽管它们能模拟人类的曲觉，但将来的AI将会正在推理和决策方面展现出愈加不成预测的才华。

Ilya进一步揣测，将来的AI将不只仅是执止任务的工具，而会展开成“Agent”，能够自主停行推理和决策，以至可能具备某种模式的自我意识。

那将是一个量的奔腾，AI将不再是人类的延伸，而是一个具有独立智能的存正在。

参考链接：hts://Vss/ZZZincentweisser/status/1867719020444889118