LittleLearner: 米国小学校範囲に学習を制限した5B言語モデル
arXiv cs.AI ・ 2026-08-13
原題: LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure
AI による要約
知識獲得のプロセスを厳密に研究するため、米国小学5年生までのカリキュラムに限定した880億トークンの事前学習コーパスLITTLECURRICULUMを構築した。このコーパスのみでゼロから50億パラメータのLLMであるLITTLELEARNERを学習させている。明確な知識境界を持つサンドボックス環境として、モデルの学習過程の解明に活用できる。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（arXiv cs.AI）をご確認ください。