The Decoder· Matthias Bastian·· 2 天前AI 评分45
提出「苦涩教训」的 Richard Sutton 再谈 LLM 扩展:算力本身不足以实现智能
The inventor of the bitter lesson has a bitter lesson for LLM scaling enthusiasts
AI 导读
图灵奖得主 Richard Sutton 近日发帖称,单靠原始算力不足以实现智能,AI 科学仍需更聪明的新方法,且「远未完成」。他此前曾批评单纯扩展大语言模型的局限,主张智能体通过世界模型持续学习。AI 研究者 Jerry Tworek 则指出,投入训练的算力越多,算法就越重要,而 Transformer 扩展的暂时成功与对「苦涩教训」的误读「奖励黑客」了整整一代科学家。
来源:The Decoder · the-decoder.com