アドバーサリアルな高速ドメイン: AI科学者の能力をベンチマークするためのテストベッド
arXiv cs.MA ・ 2026-08-04
原題: Adversarial Fast-Moving Real-World Domains as Test Beds for Benchmarking AI Scientist Capabilities
AI による要約
AI科学者の新しいアイデアを生成する能力を評価することは非常に難しい。既存のベンチマークは、科学的推論と研究の複製を評価する進歩を遂げてきたが、合成タスクや過去のターゲットに依存することが多い。複雑でアドバーサリアルで迅速に変化する現実世界のドメインが、AI科学者の能力を評価するための実用的な解決策を提供できるという仮説を提案する。専門家が独立して観察可能な出力を生成するドメインは、科学的推論、独創性、仮説の生成を評価するためのベンチマークを提供できる。F1とマジック：ザ・ギャザリングという2つの異なるドメインを使用して、このフレームワークを実例化する。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.MA）をご確認ください。