跳到正文
千机 API
原文
GitHub Blog · AI & ML· Michelle Zhou·· 2 天前精选AI 评分75

GitHub推出ReviewBench开放基准评测AI代码审查

ReviewBench: An open benchmark for AI code review

AI 导读

GitHub推出开放的AI代码审查离线基准ReviewBench,用于评估和比较代码审查智能体。基准包含219个来自187个公开开源许可仓库的PR,覆盖19种语言,其语言和仓库规模分布参照103.9M个GitHub PR;资深工程师复核结果的一致率为96.6%。GitHub称,在一项Copilot代码审查实验中,ReviewBench的离线预测与线上A/B测试变化方向一致。

推荐理由

ReviewBench结合真实PR分布、多来源标注和专家复核构建评测基准,并用离线结果与生产实验对照,为比较代码审查智能体提供了可复现的方法。

来源:GitHub Blog · AI & ML · github.blog