GitHub Blog · AI & ML· Michelle Zhou·· 2 天前精选AI 评分75
GitHub推出ReviewBench开放基准评测AI代码审查
ReviewBench: An open benchmark for AI code review
AI 导读
GitHub推出开放的AI代码审查离线基准ReviewBench,用于评估和比较代码审查智能体。基准包含219个来自187个公开开源许可仓库的PR,覆盖19种语言,其语言和仓库规模分布参照103.9M个GitHub PR;资深工程师复核结果的一致率为96.6%。GitHub称,在一项Copilot代码审查实验中,ReviewBench的离线预测与线上A/B测试变化方向一致。
推荐理由
ReviewBench结合真实PR分布、多来源标注和专家复核构建评测基准,并用离线结果与生产实验对照,为比较代码审查智能体提供了可复现的方法。
来源:GitHub Blog · AI & ML · github.blog