VAKRA：実ツール利用ポリシー下でのマルチホップ推論能力を評価するベンチマーク

arXiv cs.AI ・ 2026-08-12

原題: VAKRA: Evaluating Multi-Hop Reasoning Across APIs and Retrieval Under Tool-Use Policies

AI による要約

企業向けAIエージェントの評価のため、62ドメイン・8,000超の実行可能APIを含むベンチマーク「VAKRA」が公開された。実際のライブAPIに対するツール呼び出しを実行して検証した結果、最先端モデルであっても単一ホップタスクで正解率70.4%にとどまる課題が浮き彫りとなった。

この要約は当サイトの AI が生成したものです。正確な内容は元記事（arXiv cs.AI）をご確認ください。