r/LocalLLaMA ・ 2026-08-05
原題: Inkling-Small 276B-A12B at ~2.9 tok/s on <10gb memory
AppleのMシリーズチップ上で、大規モデル「Inkling-Small」が限られたメモリ容量でも効率的に動作することが検証されました。ローカル環境での大規模モデル実行の可能性と最適化の進展を示しています。
この要約は当サイトの AI が生成したものです。正確な内容は 元記事（r/LocalLLaMA）をご確認ください。
2026年7月下旬から8月上旬にかけ、Apple Silicon上で大規模モデルを動作させる技術が複数公開された。まず7月25日にGemma 4 12BモデルのCore ML化により、Apple Silicon Mac上で128Kコンテキストの長文処理が可能な実装が示され、7月29日にはCUDAの最適化ノウハウをMLX向けに移植する手法が紹介された。8月3日にはAppleとOpenAIの法的対立が表面化し、8月4日にはHy3 T512のM3 Ultra実測でメモリ使用量の課題が明らかになり、同日にAppleの元従業員による機密データ流出疑惑の調査拡大が報じられた。8月5日にはM2 Ultraを用いた4モデルの実測比較が行われ、クローズド環境向けローカルLLMの選定に関するデータが提供された。8月5日にはApple Silicon上で大規模モデルInkling-Smallが限られたメモリ容量でも効率的に動作することが検証され、ローカル環境での実行可能性がさらに示された。
当サイトが集めた記事から、同じ話題のものを古い順に並べています。