阿里等团队发布 Co-Design Bench:编码智能体仅完整完成约四分之一任务
来自阿里巴巴和几所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,基于真实用户改动请求测试十个模型。表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务完全正确,Claude Opus 5 和 Qwen3.8-Max 紧随其后,Grok 4.6 垫底。
来自阿里巴巴和几所亚洲高校的研究者构建了编码智能体基准 Co-Design Bench,基于真实用户改动请求测试十个模型。表现最好的 GPT-6 Astra 平均满足约 70% 的任务要求,但仅 26.4% 的任务完全正确,Claude Opus 5 和 Qwen3.8-Max 紧随其后,Grok 4.6 垫底。
微软研究院联合 GitHub Next 推出研究原型 PDD Kit,在 Chopin 规划环境中把开发者意图转成 Verus 形式化规约,再用证明约束智能体生成的代码。
GitHub 发布 AI 代码审查开放基准 ReviewBench,基于 1.039 亿个 GitHub PR 的分布构建 219 个公开 PR 语料,覆盖 19 种语言。
推荐理由:GitHub 公开了基准的构建方法、评分规则和人工一致性数据,读者可据此判断 AI 代码审查评测的可信度。