继李飞飞、Bengio、何恺明之后，在昨天的 NeurIPS 2024 中，Ilya Sutskever 最新演讲也来了。

诚然时长仅有 15 分钟掌握，但执行依旧看头统统。

举例这一句：

Pre-training as we know it will end.

咱们所熟知的预教诲行将赶走。

而之于昔日，Ilya 还瞻望说念：

what comes next is superintelligence: agentic， reasons， understands and is self aware. 接下来将是超等智能：代理、推理、联结和自我相识。

为何会有如斯发言？咱们一齐来望望齐全演讲。

追念十年技艺发展

Ilya 先是用一张十年前的 PPT 截图开启了此次演讲，那时，深度学习还处于探索阶段。

在 2014 年的蒙特利尔，他和团队（还有 Oriol Vinyals 和 Quoc Le）初次建议了如今成为 AI 领域基石的深度学习理念。

Ilya 展示了那时的一张 PPT，揭示了他和团队的中枢职责：自回首模子、大型神经收集和大数据集的结合。

在十年前，这些元素并不被时常看作见效的保证，而今天，它们也曾成为东说念主工智能领域最蹙迫的基础。

举例在谈到深度学习假定时，Ilya 强调了一个蹙迫不雅点：

淌若有一个 10 层的大型神经收集，它就能在一秒钟内完成东说念主类能作念的任何事情。

他阐明注解说，深度学习的中枢假定是东说念主工神经元与生物神经元的相似性。

基于这一假定，淌若东说念主类梗概在 0.1 秒钟内完成某项任务，那么相同的任务，一个教诲清雅的 10 层神经收集也能完成。

这一假定鼓吹了深度学习的商酌，并最终齐备了那时看似斗胆的主张。

Ilya 还先容了自回首模子的中枢想想：通过教诲模子瞻望序列中的下一个 token，当模子瞻望得豪阔准确时，它就能捕捉到统共这个词序列的正确差别。

这一想想为自后的讲话模子奠定了基础，卓越是在天然讲话责罚领域的利用。

天然除了"押对宝"的技艺除外，也有"押错"的。

LSTM（黑白期系念收集）就是其中之一。

Ilya 提到，LSTM 是深度学习商酌者在 Transformer 之前使用的主要技艺之一。

尽管 LSTM 在那时为神经收集提供了坚忍的智商，但它的复杂性和局限性也了然于目。

另一个即是并行化（parallelization）。

尽管当今咱们知说念，pipeline 并不是一个好主意，但那时，他们通过在每个 GPU 上启动一层收集，齐备了 3.5 倍的速率培育。

Ilya 以为，界限假定（scaling hypothesis）是深度学习见效的关键。

这一假定标明，淌若你有一个十分大的数据集，并教诲一个豪阔大的神经收集，那么见效险些是不错猜测的。

这个不雅点也曾成为今天深度学习领域的中枢规定。

Ilya 进一步进展了伙同主义的想想，以为东说念主工神经元与生物神经元之间的相似性给了咱们信心，以为即使不完全师法东说念主脑的结构，宏大的神经收集也能完成与东说念主类相似的任务。

预教诲时期行将收尾

上述技艺的发展也让咱们迎来了预教诲的时期。

预教诲是鼓吹统共越过的能源，包括大型神经收集和大界限数据集。

但 Ilya 接下来瞻望说：

诚然计较智商在不休增长，硬件和算法的越过使得神经收集的教诲后果取得了培育，但数据的增长却已接近瓶颈。

他以为，数据是 AI 的化石燃料，跟着群众数据的箝制，昔日东说念主工智能将濒临数据瓶颈。

诚然现时咱们仍然不错使用现存数据进行灵验教诲，但 Ilya 以为，这一增长趋势终将放缓，预教诲的时期也会安靖收尾。

超等智能将是昔日

在谈到昔日的发展标的时，Ilya 提到了" Agent "和"合成数据"的认识。

好多群众王人在商量这些话题，以为 Agent 系统和合成数据将是冲破预教诲瓶颈的关键。

Agent 系统指的是梗概自主推理和有野心的东说念主工智能，而合成数据则不错通过模拟环境创造新的数据，弥补现实天下数据的不及。

Ilya 还援用了一个生物学上的例子，展示了哺乳动物体格与大脑大小的筹备，知道不同生物可能通过不同的"界限规定"进化出不同的智能施展。

这一想想为深度学习领域的进一步推广提供了启示，标明东说念主工智能也许不错通过不同的方法冲破咫尺的界限箝制。

Ilya 终末谈到了超等智能的远景。

他指出，诚然现时的讲话模子和 AI 系统在某些任务上施展出超东说念主类的智商，但它们在推理时仍显得不踏实和不可瞻望。

推理越多，系统变得越不可瞻望，这极少在一些复杂任务中施展得尤为杰出。

他还提到：

咫尺的 AI 系统还弗成信得过联结和推理，诚然它们能模拟东说念主类的直观，但昔日的 AI 将会在推理和有野心方面展现出愈加不可瞻望的智商。

Ilya 进一步推断，昔日的 AI 将不单是是实施任务的器具，而会发展成" Agent "，梗概自主进行推理和有野心，致使可能具备某种体式的自我相识。

这将是一个质的飞跃，AI 将不再是东说念主类的延长，而是一个具有寂寥智能的存在。

参考衔接：https://x.com/vincentweisser/status/1867719020444889118

本文来自微信公众号：量子位世界杯体育，作家：金磊