阿里等团队发布 Co-Design Bench:编码智能体仅完整完成约四分之一任务
来自阿里巴巴和几所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,基于真实用户改动请求测试十个模型。表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务完全正确,Claude Opus 5 和 Qwen3.8-Max 紧随其后,Grok 4.6 垫底。
来自阿里巴巴和几所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,基于真实用户改动请求测试十个模型。表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务完全正确,Claude Opus 5 和 Qwen3.8-Max 紧随其后,Grok 4.6 垫底。
Anthropic Institute 研究员 Andy Hall 在 Substack 发文,复现并扩展了 METR 的研究,测试 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash 能否在智能体日志中找出人类审核者标记的异常行为。
OpenAI 推出 BioBasicsBench,一个包含 100 项任务的基准,用于衡量 AI 智能体解读原始实验数据和处理日常湿实验科学的能力。该基准聚焦智能体在真实实验场景中的表现,而非仅考察知识问答。
微软构建 Industry Evaluation Data Generation Platform,用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布构建 219 个公开 PR 语料,覆盖 19 种语言。
推荐理由:GitHub 公开了基准的构建方法、评分规则和人工一致性数据,读者可据此判断 AI 代码审查评测的可信度。