ソフトウェアエンジニアリングエージェントの効率的ベンチマーク手法 PTA-IRT

arXiv cs.AI ・ 2026-09-01

原題: Efficient SWE Agent Benchmarking via Trajectory-Aware Evaluation

AI による要約

ソフトウェアエンジニアリングエージェントのベンチマーク評価を効率化する手法 PTA-IRT を提案する。従来の評価法は合否のみを扱うが、PTA-IRT は実行履歴（探索したコンテキスト・編集・解決経路）を活用し、低予算でも高精度なスコア・ランキング回復を実現する。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.AI）をご確認ください。