提出「苦涩教训」的 Richard Sutton 再谈 LLM 扩展:算力本身不足以实现智能
图灵奖得主 Richard Sutton 近日发帖称,单靠原始算力不足以实现智能,AI 科学仍需更聪明的新方法,且「远未完成」。他此前曾批评单纯扩展大语言模型的局限,主张智能体通过世界模型持续学习。AI 研究者 Jerry Tworek 则指出,投入训练的算力越多,算法就越重要,而 Transformer 扩展的暂时成功与对「苦涩教训」的误读「奖励黑客」了整整一代科学家。
图灵奖得主 Richard Sutton 近日发帖称,单靠原始算力不足以实现智能,AI 科学仍需更聪明的新方法,且「远未完成」。他此前曾批评单纯扩展大语言模型的局限,主张智能体通过世界模型持续学习。AI 研究者 Jerry Tworek 则指出,投入训练的算力越多,算法就越重要,而 Transformer 扩展的暂时成功与对「苦涩教训」的误读「奖励黑客」了整整一代科学家。
Berkeley AI Research 梳理了并行推理领域进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开多少并发线程以及如何协调。文章对比了自一致性、Best-of-N、Tree/Graph of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!