PythonとWikitextに最適化した700Mモデルを18Bトークンで事前学習
r/LocalLLaMA ・ 2026-07-29
原題: I pre-trained a 700m on 18B tokens optimized for Python and Wikitext | TheOneWhoWill/Shibai-700M-Base · Hugging Face
AI による要約
TheOneWhoWill氏は、PythonとWikitextに最適化された700Mパラメータのモデルを事前学習しました。このモデルは、Qwen 3 0.6BやQwen 3.5 0.8Bほどの性能ではないかもしれませんが、まだ一定の性能を持っています。TheOneWhoWill氏は、このモデルをさらに5億トークンのデータで事前学習する予定です。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（r/LocalLLaMA）をご確認ください。