Anthropic 的 Fable 5.2 在 Remote Labor Index 上完成 41.3% 真实自由职业任务
Anthropic 新模型 Fable 5.2 在 Scale Labs 与 CAIS 的 Remote Labor Index 上以 41.3% 的成绩居首,该基准衡量 AI 智能体完成真实自由职业项目并达到客户可接受质量的比例。
推荐理由:Remote Labor Index 用真实自由职业项目衡量智能体完成度,并给出各模型排名与失败原因。
Anthropic 新模型 Fable 5.2 在 Scale Labs 与 CAIS 的 Remote Labor Index 上以 41.3% 的成绩居首,该基准衡量 AI 智能体完成真实自由职业项目并达到客户可接受质量的比例。
推荐理由:Remote Labor Index 用真实自由职业项目衡量智能体完成度,并给出各模型排名与失败原因。
Meta AI 发布小模型 Muse Ember,主打复杂推理执行和智能体日常重复工作,包括工具调用、编码子任务、路由、抽取和长文档解析。短提示词下定价与 GPT-6 Luna、Claude Haiku 5.5 相同,为每百万输入 token 0.10 美元、输出 0.50 美元,但超过 200k 输入 token 后价格升至 0.30/1.50 美元。
Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2,官方称二者在几乎所有评测能力上都比 Opus 5.5 更进一步,Fable 5.2 在 Artificial Analysis 智能指数 v5 上以 65 分重回第一。
Anthropic 发布 Claude Fable 5.2 和 Claude Mythos 5.2,两者共享同一模型底座,在 Artificial Analysis 的 Index v5 最高算力档以 65 分排名第一,领先 Gemini 4 Carbon 5 分、Claude Opus 5.5 6 分。
推荐理由:文章给出新模型在第三方基准与内部安全测试上的具体分数和成本对比,可据此判断其能力位置与代价。
Latent Space 与 Handshake AI 的 Garrett Lord 及团队做了一期联合播客,讨论前沿实验室在采购什么数据。
来自阿里巴巴和几所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,基于真实用户改动请求测试十个模型。表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务完全正确,Claude Opus 5 和 Qwen3.8-Max 紧随其后,Grok 4.6 垫底。
Anthropic Institute 研究员 Andy Hall 在 Substack 发文,复现并扩展了 METR 的研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否在智能体日志中找出人类审核者标记的异常行为。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验科学的能力。该基准聚焦智能体在真实实验场景中的表现,而非仅考察知识问答。
Latent Space 的 AINews 汇总了 11 月 2 日至 3 日的 AI 动态,重点回应了此前“权重空间编程”报道的争议,承认部分说法呈现得过于乐观,但指出该结果已被多个独立复现。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布构建 219 个公开 PR 语料,覆盖 19 种语言。
推荐理由:GitHub 公开了基准的构建方法、评分规则和人工一致性数据,读者可据此判断 AI 代码审查评测的可信度。