国庆日快乐！每个人都从Sora 2的震惊中恢复过来吗？几天前，我写了一篇文章，其中包含有关访谈的最新观点，内容涉及理查德·萨顿（Richard Sutton）的强化冠军，他认为当今大型且流行的语言模型是“死胡同”。其要点是LLMS体系结构缺乏不断从工作中学习的能力。攀登如何都没有关系，他们仍然可以模仿人类数据，而不是通过与世界直接互动来了解世界并实现目标。老人是老人说他是古典主义者，这是老人作为伟大的上帝和先驱的想法。有关更多信息，请参见我们的上一篇文章。今天，Andrej Karpathy的老师分享了他对萨顿意见的看法。总的来说，喀尔帕蒂同意萨顿对当前的LLM调查的批评，并考虑到老年人的意见很有趣且鼓舞人心，但是当前的LLM就像是REAL承诺。 karpathy详细解释了这一点，并提出了一个光谱器。当今的研究不是创造“动物”，而是称“鬼魂”。要获取有关如何理解“动物”和“鬼魂”的信息，让我们看一下下面的分解。哈哈·安德烈·卡尔帕蒂（Haha Andrej Kalpati）首先指出了背景。萨顿（Sutton）的“咬合课”已成为Vanguardia LLM圈子的“圣经”。研究人员经常讨论一种方法或想法是“用痛苦的课程绘制的”（也就是说，随着计算机功率的增加，方法可以自然受益），并将其用作确定其有效还是值得追求的基础。背后的基本假设是LLM本身就是“痛苦教训”的一个很好的例子。这是关于查看LLM量表方法。当计算机功率处于Thex轴时，性能指示器将增长到右上角。然而，有趣的是，作为理论的捍卫者，萨顿本人不确定LLM是否真的符合“痛苦的教训”。萨顿一世S在大型数据集中训练。他说这些数据本质上是人类数据。换句话说，它具有两个特征。 1）人类产生。 2）数量有限。如果没有数据，您会怎么做？如何避免人类的偏见？这很有趣。相信“比特班”课程的LLM研究人员似乎已经被“比特兰特课”的作者拍打在萨顿的“经典”愿景中。从某种意义上说，德瓦克什（代表LLM研究人员的意见）和萨顿说了一点。萨顿（Sutton）考虑了完全不同的建筑，LLM打破了许多原则，萨顿（Sutton）称自己为古典主义者，唤起了“儿童机器”的艾伦·图林（Alan Turing）原始结构的概念，该系统可以通过与经验世界的动态互动来学习。有了这个概念，没有一个很好的培训阶段来模仿Web内容。也没有受到监控调整以指出动物磨损中不存在萨顿D（这是一个微妙但正确的视力。动物可以观察示威，但其行为并未直接被其他动物强迫或远程控制）。萨顿还突出了关键点。即使我们只是在调整强化学习之前先在知识之前观察知识之前的初始化，但这种方法被人类偏见“污染”，并从根本上偏离轨道。 Alphago拍摄的（我从未见过人类国际象棋游戏），并以人为象棋游戏初始化的Alphago击败了Alphago。在萨顿的世界观中，与人工智能有关的一切都来自加强学习多的与世界的相互作用。奖励功能在环境的一部分出现，部分是固有的，例如与世界模型中预测质量有关的因素。代理商在测试期间不断学习，而不是一次培训。总的来说，萨顿比我们与动物王国所拥有的更多相比，我们更关心我们的共同点E与他们不同。他说：“如果我们了解松鼠，我们几乎结束了。” karpathy视图：在训练之前，我们的进化持续了。喀尔帕西首先分享了他的观点。他认为萨顿的批评并非不合理。最新一代的LLM无疑是一个非常复杂的产品，每个阶段都充满了人类的参与：基本概念（以前训练的数据）是人类文本，人类数据计划的精细数据以及增强学习环境的组合也由人类工程师调整。 Pyou可以拥有真正的单打，干净的“一键”，这些单击“苦涩的课程”完全对齐，并自动从纯体验中学习。那么有这样的算法吗？ Karpathy提到了两个通常用来证明其潜力的例子。首先是Alphazero的成功。它完全从头开始，学会了在没有人类监督的情况下去。但是，GO环境太简单且封闭，这使得与混乱的真实相比困难世界。算法和分类学本质上是一个更困难的ICT手指游戏。第二个例子是像松鼠一样的动物。 Karpathy亲自保留了他对此的态度。这是因为动物以与行业中真正使用的计算过程和局限性截然不同的方式发生。动物大脑在出生时远非白纸条。首先，通常来自学习的许多事情似乎是“成熟”。其次，即使显然属于“学习”而不是“成熟”的部分也类似于基于强大的预设的“调整”。他举了一个例子：小斑马在稀树草原中跑步，可以在几分钟内追逐母亲。这是感官运动的一项非常复杂的任务，而Karpathy认为，绝对不可能成为“白色斑块”的动物大脑，并且其数十亿个参数，其强大的初始化信息是在DNA的ATCG序列中编码的，并通过进化“外部Loops”进行了训练。如果是溶剂人T将肌肉作为随机初始化的增强学习策略移动，此类比需要很多参数。我们不能再生进化。强化学习）：这正是最先进的LLM研究所称为“鬼魂”而不是创造“动物”的作用。 karpathy，我们仍然必须受到启发。 LLM代理商仍然缺乏许多有力的想法，这些想法可以从动物智能中学到。同时，尽管“痛苦的课程”仍然正确，但认为它是值得追求的柏拉图的理想，而不是在现实世界中必须实现的目标。这导致了我们当前的状况。坦率地说，Karpathy说，LLM对今天的Avant -Garde的调查不是在于创造“动物”，而是要呼唤鬼魂。 “幽灵”可以看作是智能空间中完全不同的生物。它们被人性混合在一起，被人类完全折断。地下工程。它们是不完整的复制品，统计删除人类文件的倾向，尽管与许多以前的方法相比，可以考虑考虑“苦涩的课程”的柏拉图产品，“真实的”课程。这可能不是一个毫无疑问的问题，但这只是智能空间中初始化的一个问题，但与动物不同，这些动物与动物的区别不大，但它仍然很有用，这使得它变得更加有用，这使得它变得更加有用。作为鸟类，飞机终于得出的结论是，萨顿的播客对LLM研究人员说话是真实的，并且可能会沉浸在剥削模式下。我正在玩游戏，文化等。这需要使用想象力。
特殊声明：先前的内容（包括照片和视频（如果有），如有）已由网络自我媒体平台的用户收费和发布。该平台仅提供信息存储服务。
注意：以前的内容（如果您有照片或视频）将由SilverSocial Networks表单的NetEase Hao的用户收费和发布，并且仅提供信息存储服务。
Andrej Karpathy对强化学习的父亲萨顿做出了回应。
