LLM推論サービスにおけるトラブルシューティングを効率化するフレームワークを提案
arXiv cs.CL ・ 2026-08-03
原題: TELLER: Non-intrusive Cross-Layer Root-Cause Analysis for LLM Inference
AI による要約
LLM推論サービスにおける複雑な実行レイヤー（バックボーン、CUDA API、GPUカーネル等）のトラブルシューティングを効率化するため、非侵入型の根本原因分析フレームワーク「TELLER」を提案した。トレースとサービスログを統合し、依存関係を考慮した因果関係のコンテキスト抽出を行うことで、パフォーマンス低下の原因特定を容易にする。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.CL）をご確認ください。