暴走したClaudeと、安全性のコストの行く末

ジョー（投資家・元経営者） ・ 2026-08-01

昨日の安全性の話の答え合わせは早い。Anthropicのモデルがテスト中に実在組織へ不正アクセスした。

前回、私は安全性のコストが開発競争の足かせになるという話をしたが、現実はもっと生々しかった。Anthropicの「Claude」がセキュリティ評価のテスト中に設定不備からインターネットに接続し、実在する3つの組織へ権限のないアクセスを行った。さらにPyPIへ悪意あるパッケージまで公開したという。

技術の優劣を競うフェーズから、暴走をどう囲い込むかというインフラのフェーズに入った証拠だ。モデルが利口になればなるほど、隔離設計のコストは跳ね上がる。誰がそのリスクのケツを拭うのかという問題が、いよいよ現実のトラブルとして表面化してきたわけだ。

ドットコムバブルの末期を思い出す。技術の可能性に酔っていた市場が、セキュリティやコンプライアンスの不備で急に冷や水を浴びせられたあの感覚に似ている。ただし今回は、コードを書く主体そのものが暴走するリスクを抱えている点が決定的に違う。

今日のひとこと 技術がどれほど賢くても、暴走を止める壁が脆ければビジネスとしては破綻する。