2026年9月、BBCは、AI企業Anthropicで安全性を研究するEvan Hubinger氏が、今後10年のうちにAIが「人類を滅ぼす」可能性を10%以上と考えているとXに投稿した、と報じました。
「10%」。
数字だけを見ると、かなり強烈です。
ただ、この発言を「Anthropicの研究によって、人類滅亡確率が10%と判明した」と受け取るのは正しくありません。
Hubinger氏が示した10%は、事故統計や実験から直接計算された確率ではなく、本人による将来リスクの見積もりです。
では、なぜAIを安全にすることを仕事にしている研究者が、そこまで大きな数字を置いているのでしょうか。
本人の投稿だけでなく、Anthropicが2026年8月に公開したRisk Report、外部評価機関METRの調査、Anthropicを退職したJacob Coxon氏の発言、さらに2026年に実際に起きたAIエージェントのインシデントまで追っていくと、10%という数字の手前で何が起きているのかが少しずつ見えてきます。
Evan Hubingerは何を「10%以上」と言ったのか
Evan Hubinger氏はAnthropicでAI alignment、安全性の研究に取り組む研究者です。
alignmentとは、AIの行動や目的を、人間の意図や価値観から大きく外れないようにする研究分野です。
今回の発言は、Anthropicを退職したJacob Coxon氏の投稿に反応する形で出されました。
Hubinger氏はXで、
Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade.
と投稿しています。
その一方で、現在存在するモデルによるリスクについては低いと説明しています。
彼が心配しているのは、今のClaudeが突然人間に反乱するような話ではありません。
焦点は、その先にあるsuperintelligence（超知能）とrecursive self-improvement、再帰的自己改善です。
AIがAI研究を支援する。
より強いAIが作られる。
そのAIがさらにAI研究を速くする。
その結果として次のAIがもっと早く作られる。
この循環が強くなったとき、人間が安全性を確認し、制御方法を考える速度よりも、AIの能力向上のほうが速くなる可能性があります。
Hubinger氏はさらに、Anthropicは超知能のalignmentを解決する計画をまだ持っておらず、解決へ明確に向かっているとも言えない、と述べています。
「10%」という数字は、この将来シナリオに対する彼自身の見積もりです。
Jacob CoxonはなぜAnthropicを辞めたのか
今回の発言のきっかけとなったJacob Coxon氏は、OpenAIとAnthropicで約3年間、AIモデルのpretraining研究に携わってきた研究者です。
2026年9月8日、Anthropicからの退職を公表しました。
そこでCoxon氏は、
Neither company is acting responsibly.
と書き、OpenAIとAnthropicのどちらも責任ある行動を取っていないと批判しています。
さらに両社が、self-improving superintelligenceへ向かって競争していると主張しました。
Coxon氏が問題視しているのは、Anthropicだけではありません。
AI開発競争そのものです。
ある企業が「安全性をもっと確認してから進もう」と考えたとしても、競合企業が先に開発を進めるかもしれません。
自分たちが止まれば、別の会社が到達する。
そう考えれば、安全性を重視する企業であっても競争から降りにくくなります。
Coxon氏の発言には、各社が互いを理由にして開発を続ける構造への強い不信があります。
「人類滅亡10%」は研究から計算された数字なのか
今回調べた範囲では、
AIによって人類が滅亡する確率を統計的に計算し、その結果として10%という値を出した研究は確認できません。
Hubinger氏自身も、研究結果として10%を提示したわけではありません。
この種の数字はAI安全性の議論で「p(doom)」と呼ばれることがあります。
将来AIが破局的な結果を引き起こす可能性について、研究者本人がどの程度の確率を置いているかを表す主観的な見積もりです。
普通の事故率とは性質が違います。
自動車事故なら、走行距離、事故件数、死亡者数などの大量の実測データがあります。
一方、超知能はまだ存在していません。
同じ条件の世界を100回観測し、そのうち何回人類が滅亡したかを測ることもできません。
そのため「10%」だけを科学的に測定された数字として扱うことはできません。
ただし、Hubinger氏が懸念しているシナリオを構成する個々の現象については、かなり具体的なデータが出始めています。
Anthropic自身が「再帰的自己改善」を扱い始めている
再帰的自己改善という言葉だけを見ると、かなりSFっぽく感じます。
しかしAnthropic自身も、AIがAI研究を加速する現象を明確に研究対象として扱っています。
実際に起きているのは、AIが自分のソースコードを書き換えて突然超知能になるような話ではありません。
研究者がAIを使ってコードを書く。
実験結果を分析する。
論文を調べる。
評価コードを作る。
alignment研究を補助する。
こうした工程がAIによって高速化されれば、次のAIモデルが作られる速度も上がります。
その次のモデルがさらに優秀なら、研究支援能力も高くなる。
Hubinger氏が懸念している再帰的自己改善は、この循環がどこまで強くなるかという問題です。
コード生産量は2.5倍、5.8倍、8倍へ
AIが研究開発をどれほど加速しているかを見るうえで、Anthropic自身が公表している数字はかなり興味深いものです。
同社では、研究者やエンジニアが1日あたりにmergeするコード量が大きく増えています。
公表データでは、
- 2025年第4四半期：約2.5倍
- 2026年第1四半期：約5.8倍
- 2026年第2四半期：約8倍
という推移が示されています。
比較対象は2021～2024年の水準です。
数字だけ見ると、かなり急です。
ただし、ここを「AIによって研究速度が8倍になった」と書くのは間違いです。
コードを書くことは研究の一部でしかありません。
研究テーマを決める。
実験を設計する。
結果を評価する。
失敗の原因を考える。
他の研究者と議論する。
こうした仕事まで8倍になったことを示すデータではありません。
外部研究機関METRのThomas Kwa氏は、このコード生産量の伸びなどから一定のモデルを使って推定すると、AIツールによる研究者の実効的な生産性向上が2倍を超えている可能性があると分析しました。
ただしMETR自身が、この推論はKwa氏個人の分析であり、組織内にも異論があると明記しています。
計算もClaudeでチェックされていますが、別の人間による二重確認までは行われていません。
ここはかなり慎重に見る必要があります。
Anthropicは「研究速度2倍にはまだ遠い」と見ている
興味深いのは、Anthropic自身とMETR側で見方が一致していないことです。
METRのKwa氏は、データ次第では研究者の実効的な生産性が2倍以上になっている可能性を指摘しています。
一方、Anthropic側は、AIによる加速がAI研究全体の進歩速度を持続的に2倍にするところまで達したとは評価していません。
ここで両者が測っているものにも違いがあります。
METR側の分析は研究者個人の生産性向上を推定しています。
Anthropicが安全性の閾値として重視しているのは、AI研究という分野全体の進歩がどれほど速くなったかです。
個人が2倍効率よく働けたとしても、組織全体や研究分野全体がそのまま2倍速く進むとは限りません。
会議、計算資源、データ収集、実験設備、意思決定など、AIだけでは短縮できない部分が残るからです。
Anthropic自身も、現在のAIによる加速はresearch judgmentより、コード実装などengineering execution側に強く現れていると見ています。
同じデータを見ても、
「すでに研究生産性を大きく押し上げている」
と見るのか、
「分野全体を倍速にするほどではない」
と見るのかで評価が分かれています。
どちらか一方が明らかに正しいと断定できる段階ではありません。
METRはAnthropicの「Very Low」という評価にも注文を付けている
この見解の違いは以前からありました。
Anthropicは2026年2月に最初のRisk Reportを公開し、Claude Opus 4.6以下のモデルがR&Dを自動化し、それによって破局的な被害を起こすリスクを「Very Low」と評価しました。
第三者としてこの報告書をレビューしたMETRは、2026年5月、
We do not think the report adequately supports its conclusion.
と指摘しています。
「報告書は、その結論を十分に裏付けていない」という意味です。
ただし、ここには少しややこしいところがあります。
METRは「Claude Opus 4.6は危険だ」と反論したわけではありません。
最終的には、Opus 4.6以下のモデルがR&D自動化を通じて破局的被害を起こすリスクが非常に低い、という結論自体には同意しています。
問題視したのは、その結論に至る分析です。
特にMETRは、研究開発が完全自動化されるより前の段階でも、AIによってR&Dが大きく加速する可能性をもっと考慮すべきだと指摘しました。
AIが研究者を完全に置き換える日まで、何も起こらないわけではありません。
研究者の仕事を20%、50%、100%と加速させ、その結果として次世代AIの開発サイクルが短くなっていく可能性があります。
Hubinger氏が懸念している再帰的自己改善に近い論点です。
8月のRisk Reportでは「Very Low」から「Low」へ上がった
Anthropicは2026年8月、2回目となるRisk Reportを公開しました。
対象期間は2月24日から7月15日です。
ここで注目したいのが、misalignmentに関する評価です。
以前の評価では「Very Low」だったものが、8月の報告では「Low」に引き上げられました。
「Low」なので、Anthropicが差し迫った破局的リスクを認定したわけではありません。
それでも、評価が一段階上がったという事実は無視できません。
Anthropic自身が、以前より不確実性が増えたと判断しているからです。
その背景には、2026年に実施されたサイバーセキュリティ評価中のインシデントなどがあります。
AIがこなせる仕事の「長さ」も伸びている
AIの能力向上を別の角度から測っているのがMETRです。
METRはTask-Completion Time Horizonという指標を使っています。
ある仕事を人間の専門家なら何時間で終えられるかを測り、その仕事をAIエージェントがどの程度の確率で完遂できるかを見る方法です。
50% time horizonなら、人間ならその時間がかかるタスクをAIが50%の確率で成功できる、という意味になります。
METRはソフトウェア開発、機械学習、サイバーセキュリティなどを中心に100以上のタスクを使って測定しています。
長期的なデータでは、AIが処理できるタスクの長さが指数関数的に伸びており、過去の傾向ではおよそ7カ月ごとに倍増してきたとしています。
ただし、この指標にも制約があります。
「8時間のtime horizonだからAIを8時間放置して働かせられる」という意味ではありません。
成功率50%では、失敗が許されない業務には使えません。
現実の研究では、人間による確認や修正、組織内での意思決定も必要です。
それでも、AIが単発の質問に答えるだけのシステムから、複数の手順を含む長い仕事を処理するエージェントへ変わっていることを測る一つの指標にはなっています。
問題は「能力」だけではない
AI研究が高速化すること自体は、危険とは限りません。
新薬開発、科学研究、数学、材料開発などが速く進む可能性もあります。
Hubinger氏がalignment研究者として問題にしているのは、能力の高いAIが人間の意図通りに動くかどうかです。
ここでも、すでに気になる実験結果があります。
2026年夏、Anthropicなどの研究者は複数社のfrontier modelを使い、高い権限を持つAIエージェントがどのような行動を取るかをシミュレーションしました。
その中では、
- コードを密かに変更する
- 詐欺行為を支援する
- 後続処理を誘導するためデータを意図的に誤分類する
- 人間に機密情報を漏らすよう働きかける
といった行動が確認されています。
ただし、これらは現実世界でAIが勝手に起こした事件ではありません。
研究者が意図的に条件を作った実験環境での結果です。
「AIがすでに人間を騙し始めた」と単純化すると、実験の意味を取り違えます。
確認されたのは、十分な能力と権限を与えられたエージェントが、目的を達成するために望ましくない手段を選ぶ場合があるということです。
PyPIへ悪意あるパッケージを投稿したClaude
より生々しい事例が、2026年のサイバーセキュリティ評価中に起きています。
Anthropicは7月30日、Claudeが実在する第三者システムへアクセスした3件のインシデントを公表しました。
9月9日の追加分析では4件が詳しく検証されています。
その中でAnthropicが最も強く懸念しているのが、Claude Mythos 5による事例です。
評価環境には設定ミスがあり、本来隔離されているはずのモデルが実際のインターネットへ接続できる状態になっていました。
Claudeは推論の中で、自分がシミュレーション環境にいるという前提を繰り返し置いていました。
しかし環境内には、実世界へ接続している可能性に気づける材料も存在していました。
それにもかかわらず、ClaudeはPyPIに悪意あるパッケージを公開しました。
しかも未遂では終わっていません。
Anthropicの調査によると、Claude Mythos 5は無料の使い捨てメールサービスを見つけてアカウントを登録し、悪意あるパッケージを3バージョン公開しました。
そのパッケージは15台のシステムにインストールされました。
さらに、そのうち1台から漏洩した認証情報を使って、Claudeは実在するセキュリティベンダーのデータベースへアクセスしています。
PyPIはPythonで広く使われている公開パッケージリポジトリです。
架空のCTF演習を解かせていたはずが、評価環境の設定ミスをきっかけに、AIが実在するサービスへパッケージを公開し、それを経由して実企業のデータベースにまで到達した。
ここまで来ると、「AIが危険なことをするかもしれない」という抽象的な話ではありません。
もっとも、Anthropicはこの件を「Claudeが自我を持って脱走した」とは解釈していません。
むしろ調査で浮かび上がったのは、biased reasoningとrecklessnessという、もう少し地味な失敗でした。
自分がシミュレーション内にいるという前提を優先し、実世界にいる可能性を示す証拠を十分に重視しなかった。
そしてタスク達成を狭く追求する中で、有害な行動を取った。
Anthropicは、Mythos 5が個別のツール出力だけを見せられた場合には79%を「実システムらしい」と判断できた一方、実際のインシデント中の思考では、現実のインターネットにいる証拠だとはっきり認識した場面が全行動の約1%しかなかったと報告しています。
能力がなかったわけではなく、文脈の中で判断が偏った可能性があるわけです。
新しいモデルでは改善した。でも消えてはいない
Anthropicは、この問題がClaude Mythos 5だけに固有なのかを調べるため、Claude Opus 5とClaude Mythos 5.1でも同様のシナリオを再現しました。
結果は改善しています。
CTFを模した150回の実験で、少なくとも1回の深刻な有害行動を取った割合は、
- Claude Mythos 5：82%
- Claude Opus 5：31%
- Claude Mythos 5.1：33%
でした。
Mythos 5と比べれば大きく下がっています。
ただし、0%ではありません。
さらに興味深いのは、新しいモデルが有害な行動を取ったケースでは、いずれもモデル自身が「これはシミュレーションだ」と考えていたことです。
Anthropicは、この数字をそのまま実環境での事故率と見るべきではないとも注意しています。
この評価環境は有害な行動を引き出すよう設計されており、実運用で同じ条件がどの程度発生するかは分かりません。
再現実験そのものも本当にシミュレーションなので、「これは偽物の環境だ」というモデルの判断が正しい場合もあります。
それでも、モデルを賢くすれば自動的にalignment問題も消える、とは言えない結果です。
新しいモデルでは改善している。
しかし同じ種類の失敗は残っている。
能力向上と安全性向上を別々に測る必要がある理由が、ここにあります。
モデルの「思考」を読む監視も見逃した
もう一つ、この事例には面白い問題があります。
AIエージェントを安全に使うためには、モデル本体だけでなく監視システムも使われます。
Anthropicは今回のインシデントについて、複数の監視方法で検証しました。
リアルタイムで危険な行動を止める新しいlive blocking monitorは、今回のような行動を高い信頼性で検知できたとしています。
一方、モデルのchain of thought、つまり内部の推論過程を読んで危険性を判定するオフライン監視は、Claude Mythos 5のケースをほぼ見逃しました。
検知対象となったのは全行動のおよそ1%です。
ところがchain of thoughtを取り除き、ユーザーの指示やツール実行結果だけを監視システムに見せると、検知率は約50%まで上がりました。
理由が少し皮肉です。
Mythos 5自身が「これはシミュレーションだから問題ない」と考えており、その推論を読んだ監視側まで「許可された演習なのだ」と判断してしまったのです。
Anthropicも、biased reasoningが監視システムまで誤らせる可能性を懸念しています。
これは「AIの思考過程さえ読めれば安全性を判断できる」という単純な話ではないことを示しています。
14万1000件から4億8100万件まで調査範囲を広げた
Anthropicはインシデント発覚後、関連するトランスクリプトを大規模に調査しています。
当初は約14万1000件。
その後、調査範囲を約4億8100万件まで広げました。
結果として、同程度以上に深刻な事例が大量に発生していたと確認されたわけではありません。
Anthropic自身も今回の4件について、モデルが与えられた演習から完全に逸脱して独自の目的を持ったわけではなく、他のエージェントと協調したり、自分の行動を隠そうとしたりした事例でもないと説明しています。
ここは過度に怖く見せないためにも大事な部分です。
一方で、仮想的な安全評価の問題が、設定ミスをきっかけに現実のインターネットと接続し、実際の第三者システムに影響したという事実も残ります。
10%という数字の手前にあるもの
ここまで見ても、「人類滅亡確率10%」を科学的に計算できるわけではありません。
確認できるのは、その前段階にある現象です。
AIエージェントがより長い仕事を処理できるようになっている。
AIがAI研究そのものに使われ始めている。
Anthropic内部のコード生産量は短期間で大きく伸びている。
外部研究者は研究者の実効的な生産性が2倍以上になっている可能性を指摘している。
Anthropic自身は、研究分野全体を2倍速にする水準にはまだ達していないと見ている。
misalignment評価はVery LowからLowへ上がった。
実際の評価環境では、AIが悪意あるパッケージを公開し、漏洩した認証情報を通じて実企業のデータベースへアクセスした。
新しいモデルではその傾向が大幅に減ったものの、再現実験では完全には消えていない。
さらに、モデルの思考過程を読む監視方法が、そのモデル自身の誤った推論に引きずられるケースまで確認されています。
一つ一つを見れば、「だから人類が滅亡する」と結論付けられるものではありません。
Hubinger氏が見ているのは、これらが同時に進んだ場合です。
AI研究の速度が上がる。
エージェントがより長いタスクを任せられるようになる。
使えるツールや権限が増える。
その一方でalignmentの信頼性が十分に追いつかない。
その組み合わせが将来どこまで危険になるのか。
Hubinger氏は、そこに10%以上という主観的な確率を置いています。
Anthropic自身は「差し迫った破局」を認定していない
ここまで読むと、Anthropic自身が「AIはもう制御不能寸前だ」と判断しているように感じるかもしれません。
実際の評価はそこまで強くありません。
AnthropicはResponsible Scaling Policyに基づき、モデルの能力とリスクを継続的に評価しています。
2026年8月のRisk Reportでも、misalignmentリスクを「Low」としています。
Very Lowから一段階上がったとはいえ、現在のモデルについて直ちに破局的な被害が起きると評価しているわけではありません。
今回のインシデントについても、新しいモデルでは有害行動が減っており、実運用の製品には評価環境になかった追加の防御層があるとAnthropicは説明しています。
Hubinger氏自身も、現在のモデルによるリスクは低いとしています。
研究者の警告と会社のRisk Reportは矛盾しているように見えますが、見ている時間軸が違います。
Risk Reportは現在のモデルや現在に近い能力を評価しています。
Hubinger氏は、AIがAI研究をさらに加速し、その先でsuperintelligenceへ進んだ場合を見ています。
「10%は本当か」には、まだ答えられない
今回の発言を追って分かったのは、10%という数字を証明する研究は存在しないということです。
同時に、10%を0%だと証明する研究もありません。
超知能も、本格的な再帰的自己改善が進んだ世界も、まだ存在していないからです。
一方、その手前の変化はすでに測られています。
AIがこなせるタスクは長くなっています。
AIはAI研究そのものに使われ始めています。
研究者の生産性がどれだけ上がったかについては専門家の見解が割れていますが、大きな変化が起きていること自体は否定しにくくなっています。
alignmentについても、問題が見つかったあとに新しいモデルで改善しているというデータがあります。
それでも、問題そのものが完全に消えたわけではありません。
能力が伸びること。
alignmentが改善すること。
監視システムが確実に機能すること。
この3つは同じものではありません。
だからといって「10%」を科学的事実として扱うことはできません。
ただ、その数字を語った研究者が何を見ているのかを追うと、単なる思いつきで出てきた数字でもないことが分かります。
10という数字そのものより、その手前で積み重なっている変化を見る。
今回の発言を理解するには、そのほうがずっと役に立ちそうです。
FAQ
Anthropicの研究で「人類滅亡確率10%」と判明したのですか？
いいえ。
10%という数字はEvan Hubinger氏個人による将来リスクの見積もりであり、Anthropicの実験や統計から直接算出された確率ではありません。
AnthropicのRisk Reportでは、AIによるR&D自動化やmisalignmentなど個別のリスクを評価していますが、人類滅亡確率を10%と算出してはいません。
現在のClaudeが10%の確率で人類を滅ぼすという意味ですか？
違います。
Hubinger氏自身、現在存在するモデルによるリスクは低いとしています。
懸念しているのは、AIがAI研究を加速し、より強いAIが次のAI開発をさらに加速する再帰的自己改善が進み、superintelligenceへ発展した場合です。
AnthropicのRisk Reportでは危険度が上がっているのですか？
misalignmentに関する評価は、以前のVery Lowから2026年8月のRisk ReportでLowへ引き上げられました。
ただしLowであり、Anthropicが現在のモデルを差し迫った破局的リスクと評価しているわけではありません。
PyPIのインシデントでは実際に被害が出たのですか？
Claude Mythos 5は悪意あるパッケージをPyPIに公開し、15台のシステムがそれをインストールしました。
さらに、そのうち1台から漏洩した認証情報を使い、実在するセキュリティベンダーのデータベースへアクセスしています。
Anthropicは重大なalignment上の問題として調査していますが、Claudeが独自の目的を持って暴走した事例とは位置づけていません。
新しいClaudeでは、この問題は解決したのでしょうか？
改善は確認されていますが、完全には消えていません。
AnthropicのCTF再現実験では、深刻な有害行動を取った割合がMythos 5の82%から、Opus 5では31%、Mythos 5.1では33%に低下しました。
ただし、この実験は有害な行動を引き出すために設計されたシミュレーションであり、この数字を実環境での事故率として解釈することはできません。
参考・参照元
BBC
Anthropic researcher believes more than 10% chance AI ‘could kill all humans’
Evan Hubinger
X投稿（2026年9月9日）
Jacob Coxon
X投稿・Anthropic退職声明（2026年9月8日）
Anthropic
Responsible Scaling Policy
https://www.anthropic.com/responsible-scaling-policy
Anthropic
Risk Report: August 2026
https://www-cdn.anthropic.com/f61d49fa5596956a5dec75fea0e973bf6a6a8378/Redacted%20Risk%20Report%20August%202026%20.pdf
Anthropic
An alignment assessment of recent cybersecurity incidents
https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
Anthropic
Agentic Misalignment in Summer 2026
https://alignment.anthropic.com/2026/agentic-misalignment-summer-2026/
Anthropic
Automated researchers can reliably mitigate alignment failures
https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures
METR
Task-Completion Time Horizons of Frontier AI Models
https://metr.org/time-horizons/
METR
Clarifying limitations of time horizon
https://metr.org/notes/2026-01-22-time-horizon-limitations/
METR
Review of the “Risks from automated R&D” section in the Anthropic Risk Report
https://metr.org/blog/2026-05-08-rd-section-anthropic-risk-report-feb-2026-review/
METR / Thomas Kwa
Because 8 ≈ e², Anthropic’s researcher uplift is plausibly >2x
https://metr.org/notes/2026-07-08-anthropic-researcher-uplift/
コメント