商用 LLM API 移行時の集計スコアが隠す個別項目の後退

arXiv cs.CL ・ 2026-08-18

原題: What Aggregate Scores Miss: Measuring Item-Level Regressions in Commercial LLM API Migrations

AI による要約

GPT-5.4 から GPT-5.6 への API 移行で、900項目のベンチマークを50回ずつ実行し、信頼できる改善と後退を分類した。集計スコアでは隠れていたが、9つの移行セル全てで信頼できる後退が確認された。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.CL）をご確認ください。