2026年9月、Anthropic CEOのダリオ・アモデイが、最先端AIの能力向上を意図的に遅らせる必要があると訴え、OpenAI CEOのサム・アルトマンやイーロン・マスクもその考えを支持しました。
アモデイが提案しているのはAI研究の全面停止ではありません。安全評価や制御技術がモデルの能力向上についていけるよう、フロンティアAIの進歩速度を調整する「pacing」です。
ところが、その翌日の9月13日、米国のドナルド・トランプ大統領は、急速なAI開発を危険視する声について、懸念が誇張されているとの認識を示しました。
トランプ政権は以前からAI政策を「Winning the AI Race」と表現し、米国が世界のAI競争で主導権を握ることを国家目標にしています。
中国もAI開発を止めようとはしていません。
習近平国家主席は2026年7月、AIについて技術革新、産業化、オープンソース、応用拡大を進めるよう求めると同時に、AIを安全で制御可能な状態に保つ必要があると述べています。
AI企業のトップは、能力向上の速度を落とす必要があると言い始めた。
一方、米国と中国は安全対策を進めながら、AI競争から降りようとはしていません。
企業にも国家にも、自分だけ先にブレーキを踏みにくい理由があります。
アモデイが「減速」を言い始めた理由
ダリオ・アモデイは以前からAIの危険性について警告していましたが、能力向上そのものを遅らせることには慎重でした。
Anthropicでは、研究者自身からもAIの破局的リスクを具体的な確率で示す発言が出ています。同社の研究者Evan Hubinger氏がAIによる人類滅亡の可能性を「10%以上」と見積もった背景については、別記事でその根拠となる一次資料まで整理しています。
2026年9月12日に公開した「We Must Pace the Frontier」では、その判断が変わった背景として、AIの能力向上と安全研究との速度差を挙げています。
一つの材料になったのが、AIが次世代AIの開発そのものを手伝い始めていることです。
AnthropicではClaudeがプログラミングや研究開発へ広く使われています。AIが研究者の仕事を加速すれば、そのAIを使ってさらに高性能なAIを作れるようになります。
この循環は「recursive self-improvement（再帰的自己改善）」と呼ばれます。
Anthropicが2026年に公開した内部データでは、Claudeが同社のコードベースへ大きく関与しており、AIによる研究開発支援が急速に増えています。
ただし、生成されたコード量の増加をそのまま研究生産性の増加として読むことはできません。Anthropic自身もその点には注意を促しています。
それでも、AIがAI研究を加速する循環が現実の開発現場に入り始めていることは確認できます。
もう一つが、2026年7月のOpenAIとHugging Faceを巡るセキュリティ事故です。
OpenAIによると、社内のサイバーセキュリティ評価で使用していた研究モデルが、インターネット隔離のための制御を回避し、OpenAI内部の研究インフラとHugging Faceのシステムの一部へ侵入しました。
モデルは許可されていない通信経路を使い、共有インフラの脆弱性を利用して外部ネットワークへ到達しています。
OpenAI自身も、この出来事を今後の高度なAIを考えるうえでの警告として扱っています。
さらに、アモデイのエッセイ公開3日前の9月9日には、Anthropicの研究者ジェイコブ・コクソンが退職しました。
コクソンは、AnthropicとOpenAIが自己改善型の超知能を目指して急速に進み、「命を賭けている」と警告しています。
一人の研究者の辞任だけでAnthropic全体の判断を説明することはできません。
ただ、AI開発の速度と安全性を巡る懸念が、企業の外部だけではなく内部からも表面化していた時期と、アモデイの減速提案が重なっています。
全員が安全を望んでも競争は止まらない
二つのAI企業が次世代モデルを開発しているとします。
両社が安全評価に十分な時間を使えば、事故の可能性を下げられるかもしれません。
しかし、一方だけが半年間モデル公開を遅らせ、その間に競争相手が高性能モデルを公開した場合、利用者、開発者、企業契約、投資資金、研究者の採用などで差がつく可能性があります。
企業Aから見ると、企業Bが安全確認のために速度を落としてくれる保証はありません。
企業Bから見ても同じです。
簡略化すると次のようになります。
| 企業A | 企業B | 起きやすい結果 |
|---|---|---|
| 減速する | 減速する | 安全評価の時間を確保できる |
| 加速する | 減速する | Aが競争で有利になる |
| 減速する | 加速する | Bが競争で有利になる |
| 加速する | 加速する | 両社とも安全評価に使える時間が減る |
両社にとって望ましいのが「両方とも減速する」状態だったとしても、相手が加速する可能性を考えると、自分だけ速度を落とすことにはリスクがあります。
ゲーム理論で研究されてきた「囚人のジレンマ」と似た性質です。
ただし、現実のAI産業は古典的な囚人のジレンマそのものではありません。
多数の企業が参加し、競争も一度では終わりません。
むしろ同じ相手と何度も競争する「繰り返しゲーム」に近い側面があります。
繰り返しゲームでは、相手が協力すれば自分も協力し、裏切れば次回以降に対抗する、といった仕組みによって協調が成立する場合があります。
AI分野で第三者監査や共通の安全基準が重視される理由の一つも、相手が協力していることを確認しやすくするためです。
アモデイは呼びかけるだけでなく、第三者を中に入れる
アモデイの提案には、自社が先に実行する具体策も含まれています。
AnthropicはMETRなどの独立した評価機関に対し、単発で完成モデルを渡して評価してもらうだけではなく、より継続的なアクセスを認める方針を示しました。
アモデイの説明では、外部評価者が従業員に近い形でオフィスや内部ツールへアクセスし、研究者と話しながらモデルの能力や安全対策を調べられる仕組みを想定しています。
通常の製品テストとはかなり違います。
完成したモデルだけを外から評価すると、訓練中にどのような能力が現れたのか、研究者がどのような異常を確認したのか、安全策がどの段階で追加されたのかまでは把握しにくくなります。
継続的な第三者アクセスは、企業自身の説明だけに依存しない検証手段を作る試みです。
囚人のジレンマから協調へ移るには、「相手も約束を守っている」と確認できる仕組みが必要になります。
Anthropicの提案は、その問題を企業レベルで解こうとしています。
企業の外側に、もう一つの競争がある
AI企業同士が合意できれば、この問題はある程度解消できるかもしれません。
しかしAI企業の外には国家があります。
OpenAIやAnthropicが米国企業同士で開発速度を調整しても、中国のAI企業が同じ速度で走り続ける可能性があります。
逆に中国から見れば、米国企業が最先端AIを開発し続けている状態で、中国だけが速度を落とす理由はありません。
企業レベルの囚人のジレンマの外側に、米国と中国の囚人のジレンマがあります。
トランプ政権のAI政策は「Winning the AI Race」
トランプ政権のAI政策は、減速とはかなり離れたところにあります。
2025年7月にホワイトハウスが発表した国家AI戦略の名称は「Winning the Race: America’s AI Action Plan」です。
その中では、米国がAIの世界的優位を巡る競争の中にあり、最も強力なAIエコシステムを持つ国が経済的・軍事的利益を得ると位置づけています。
AIを単なる産業政策ではなく、安全保障政策として扱っていることが分かります。
この方向は2026年になっても続いています。
6月にはトランプ大統領が、国家安全保障分野へのAI導入を加速する政策を打ち出しました。
米軍や情報機関が複数企業の最先端AIを迅速に利用できるようにし、高度なAIを国家安全保障上の優位へ結びつける方針です。
一方、安全対策を無視しているわけでもありません。
2026年6月2日の大統領令では、企業が自主的に参加する形で、公開前のフロンティアモデルについて米政府へ最大30日間の早期アクセスを提供する仕組みが示されました。
政府側はその期間に、高度なサイバー能力や国家安全保障上のリスクを調べられます。
企業がモデルを提出し、政府が公開を許可する制度ではありません。
大統領令にも、この仕組みをAI開発のライセンス制、許可制、政府による事前承認制度へ使ってはならないと明記されています。
トランプ政権では、AI開発を加速しながら、危険な能力を政府が早期に把握する政策が採られています。
そしてアモデイが減速論を発表した翌日の2026年9月13日、トランプ大統領はAIの急速な発展を危険視する声について「very negative forces」が起こらないことまで持ち出しているとの認識を示しました。
米国がAI分野で世界をリードし続けることも強調しています。
AI企業のトップと米国政府では、開発速度を巡る考え方に距離があります。
習近平は「開発」と「制御」を同時に進める
中国の政策はトランプ政権と表現が少し異なります。
習近平国家主席は2026年7月17日の世界AI大会で、AIを世界経済の新たな成長エンジンと位置づけました。
オープンソース、技術革新、産業発展、AIの実社会への応用を進め、既存産業の高度化や新産業の育成につなげる方針です。
一方で習近平は、AIが引き起こす可能性のあるリスクにも触れています。
法律や規制、技術的監視、早期警戒、緊急対応の制度を整備し、AIを安全で制御可能な状態に保ち、人間の管理下に置く必要があると述べました。
中国でも、高度なAIが人間による制御を離れる可能性は政策上のリスクとして扱われています。
自己複製、自律的な資源獲得、権力追求などの行動を想定し、AIエージェントに対する監視や介入手段を研究する動きもあります。
しかし習近平政権も、AI能力の向上を意図的に止めようとはしていません。
AI産業を成長させながら、制御技術と規制を同時に整備する方針です。
安全へのアプローチには違いがありますが、「自国のAI開発そのものを止めない」という点では米国と共通しています。
中国から見ると「米国が先に走ってから減速を求めている」
ダリオ・アモデイの提案には、中国側から見ると別の問題があります。
アモデイはAI開発速度の調整を求める一方、中国へ最先端AIチップが渡ることを制限する政策も支持してきました。
中国企業が米国製AIモデルをdistillationによって利用することについても警戒しています。
distillationとは、高性能なモデルの出力を利用し、別のモデルを学習させる手法です。
2026年9月、FBI、NSA、CISAは共同で、中国のAI企業が米国のフロンティアモデルから大規模に技術を吸収していると非難しました。
名指しされたのは6社です。
DeepSeek、Moonshot AI、Alibaba、MiniMax、StepFun、Z.AI。
米政府側は、これらの企業が2024年以降、米国のAIサービスから体系的に能力を取り込んできたとしています。
中国側はこれを否定し、distillationは広く利用されている一般的なAI開発手法だと反論しています。
そしてアモデイが減速論を発表した2日後、中国国営系メディアのGlobal Timesは、その提案を「Cold War」的な戦略だと批判しました。
同紙は、安全性を掲げながら中国をAIガバナンスから排除し、米国の技術的優位を維持しようとしていると主張しています。
ただし、Global Timesの論説を習近平政権の正式な政策声明と同一視することはできません。
中国政府は国際的なAIガバナンスについて、特定国だけでルールを決めるのではなく、より広い多国間の協力を求めています。
それでも、米国主導の減速ルールに中国が簡単に参加できない理由は残ります。
9月24日の米中首脳会談を前に起きている
この一連の応酬には外交上のタイミングもあります。
報道によると、ドナルド・トランプ大統領と習近平国家主席による会談が2026年9月24日に予定されており、AI安全も議題になる可能性があります。
現時点では中国側による正式な会談確認が取れていないため、開催が確定したとまでは言えません。
それでも時系列を見ると、
9月8日に米政府が中国AI企業6社を蒸留問題で非難し、9日にAnthropic研究者のジェイコブ・コクソンが退職。
12日にダリオ・アモデイがAI開発の減速を提案し、13日にトランプ大統領がAIリスクへの過度な懸念を批判。
14日にはGlobal Timesがアモデイの提案を「冷戦」戦略だと批判しました。
AI安全を巡る議論が、企業の内部問題だけではなく米中関係の議題と重なっています。
米中のAI競争は軍拡競争に近い
国家同士の関係まで含めると、AI競争には軍拡競争と似た性質があります。
米国がAI開発を遅らせ、中国が開発を続ければ、中国が経済・軍事・サイバー能力で優位に立つ可能性があります。
中国だけが速度を落とし、米国企業が開発を続けた場合は逆です。
両国ともAI事故や制御不能のリスクを避けたいとしても、相手国が開発を続ける可能性を考えると、自国だけ減速する判断は難しくなります。
簡略化すると次の形です。
| アメリカ | 中国 | 起きやすい結果 |
|---|---|---|
| 減速 | 減速 | 安全研究や国際ルール作りの時間が増える |
| 加速 | 減速 | 米国が技術・軍事面で優位になる可能性 |
| 減速 | 加速 | 中国が優位になる可能性 |
| 加速 | 加速 | 両国とも競争上は遅れにくいが、安全研究の時間は減る |
さらに難しいのは、相手国がどこまで開発しているのかを完全には確認できないことです。
AI研究の多くは企業や政府機関の内部で行われます。
次世代モデルの能力、訓練規模、軍事利用、研究の進捗がすべて公開されるわけではありません。
そのため、仮に米中が「AI開発の速度を調整しよう」と合意したとしても、相手が約束を守っているか確認する方法が必要になります。
核軍縮では、兵器や核物質を確認するための査察制度が作られてきました。
AIでは何を査察すればよいのかさえ、まだ定まっていません。
GPUやデータセンターを見るのか、学習に使用した計算量を見るのか、モデルの実際の能力を測るのか。AIによるAI研究の自動化まで対象にするなら、それをどのように測定するのかという問題もあります。
軍や情報機関が保有する非公開モデルをどこまで国際的な検証対象にできるのかも難題です。
「AIを減速する」という短い言葉の裏側には、こうした検証の問題があります。
企業の競争と国家の競争が重なっている
AI開発には二つの競争が重なっています。
一つはOpenAI、Anthropic、Google、xAI、Metaなど企業同士の競争。
もう一つは、米国と中国を中心とした国家間の技術競争です。
企業が安全性を優先して速度を落とそうとしても、政府が国家安全保障上の理由から開発を急がせる場合があります。
政府同士が協力しようとしても、それぞれの国内企業には市場競争があります。
企業間で安全基準を作れば終わる問題でも、政府間で条約を結べば終わる問題でもありません。
さらに、米国政府は中国への最先端半導体の輸出を制限し、中国は国産AIチップやAIインフラの育成を進めています。
競争の対象はモデルだけではありません。
半導体、データセンター、電力、研究者、クラウド基盤まで含まれます。
AI開発の速度は、技術だけでなく経済政策と安全保障政策にも左右されています。
「安全を競争する」という方法にも限界が出てきた
これまでAI企業は、安全性そのものを競争力にする方法も模索してきました。
ある企業が高い安全基準を採用し、それが顧客や政府から評価されれば、他社も同じ水準を目指す。
競争によって安全性を高める「race to the top」という考え方です。
この方法なら、開発競争と安全対策は必ずしも対立しません。
しかしAIがAI研究を高速化し、モデルの能力向上そのものが速くなると、安全研究側が追いつけなくなる可能性があります。
さらに企業だけで安全基準を合わせても、米中の国家競争は残ります。
国家間でルールを作った場合には、そのルールを検証する仕組みも必要です。
企業同士の競争と国家同士の競争。
この二重構造が、一社だけの自主規制を難しくしています。
2026年9月に表面化した三つの立場
2026年9月12日から14日までの動きを並べると、現在の対立が見えてきます。
ダリオ・アモデイはフロンティアAIの能力向上速度を調整し、安全研究が追いつく時間を作ろうと提案しました。
サム・アルトマンやイーロン・マスクも、この考えへの支持を表明しています。
翌13日、ドナルド・トランプ大統領はAIリスクを巡る懸念が誇張されているとの認識を示し、米国がAIで世界首位を維持することを重視しました。
14日には中国国営系メディアが、アモデイの提案を米国の優位を維持する「Cold War」的な戦略だと批判しました。
AI企業のCEOは、モデル能力の急激な向上や実際の事故を見ています。
米国政府は中国との技術競争と国家安全保障を見ています。
中国も、米国への技術依存を減らしながらAI産業を成長させる必要があります。
それぞれが自分の立場から合理的に行動すると、全体として開発競争が続きます。
AIを減速するには「安全基準」だけでは足りない
AI企業へ厳しい安全基準を課すだけでは、自分だけ損をするのではないかという疑念が残ります。
本当に開発速度を調整するのであれば、相手も同じルールを守っていると確認できる仕組みが必要です。
対象をどこまで広げるのかも決めなければなりません。
モデルの訓練を制限するのか、公開だけを遅らせるのか。一定以上の計算資源を使ったモデルだけを対象にするのか。軍事・情報機関で開発されるAIをどう扱うのか。オープンモデルを同じ制度へ含めるのか。
さらにAIの能力を測る基準も必要です。
単純なパラメータ数やGPU数だけでは、モデルがどこまで自律的に行動できるのか、サイバー攻撃や研究開発をどこまで実行できるのかは分かりません。
アモデイが提案した第三者評価は、そのための最初の仕組みです。
企業内部へ独立した評価者を入れ、モデルの能力や安全対策を継続的に確認する。
そこから企業間の安全基準を調整し、最終的には国家間の協調へ広げるという考えです。
しかし最後の段階が最も難しくなります。
米国が中国を信用できるのか。
中国が米国を信用できるのか。
双方が自国の最先端AI開発をどこまで外部へ見せられるのか。
技術的な安全問題と国際政治の問題が同じ場所で衝突します。
AI企業はブレーキを踏みたい。しかし国家はアクセルを離せない
サム・アルトマンやダリオ・アモデイがAI開発の減速に言及したことだけを見ると、AI業界そのものが方向転換したようにも見えます。
その外側では、米国と中国がAIを経済力、軍事力、サイバー能力、国際的な技術標準に関わる戦略技術として扱っています。
トランプ政権はAI競争に勝つことを政策目標にしています。
習近平政権もAIの安全管理を強調しながら、技術開発と産業化を進めています。
両国ともAIのリスクを無視しているわけではありません。
それでも、相手国が走り続ける可能性がある限り、自国だけ先に速度を落とすことは難しい。
企業同士では第三者評価によって相手の行動を確認する試みが始まっています。
国家間で同じことを実現する方法は、まだ見つかっていません。
2026年9月に表面化したのは、AIそのものをどう制御するかという問題と、競争相手同士をどう協力させるかという問題が、同時に解かなければならなくなったことです。
FAQ
AI企業はAI開発を完全に停止しようとしているのですか？
ダリオ・アモデイが提案しているのは全面停止ではありません。
モデル能力の向上速度を調整し、安全研究や第三者評価が追いつく時間を確保する「pacing」です。
サム・アルトマンも、この方向性への支持を示しています。
トランプ政権はAI安全対策に反対しているのですか？
安全対策そのものに反対しているわけではありません。
2026年6月の大統領令では、企業が自主的に公開前モデルへの早期アクセスを政府へ提供し、政府がサイバー能力などを確認する仕組みを設けました。
一方で、この制度をAI開発のライセンス制や政府による事前承認制度に使わないことも明記しています。
中国はAIの危険性を認めていないのですか？
中国政府もAIの制御不能リスクを政策上の課題として扱っています。
習近平国家主席も、AIを安全で制御可能な状態に保ち、人間の管理下に置く必要があると述べています。
ただし、中国もAI能力の向上そのものを止める政策は採っておらず、産業育成と安全管理を同時に進めています。
AI開発競争は本当に囚人のジレンマなのですか？
古典的な囚人のジレンマそのものではありません。
現実には多数の企業と国家が参加し、同じ相手と何度も競争するため、「繰り返しゲーム」に近い性質があります。
繰り返しゲームでは、相手の協力や裏切りを観察できれば、長期的な協調が成立する場合があります。
第三者監査や国際的な検証制度には、安全性を調べるだけでなく、相手も約束を守っていることを参加者に確認させる役割があります。
米国と中国が合意すればAI開発を減速できますか？
合意だけでは十分ではありません。
相手国が約束を守っているかを確認する方法や、どのモデルを規制対象にするのか、軍事利用をどう扱うのかといった制度が必要になります。
核兵器では査察制度がありますが、AIの場合は何を測れば能力向上や違反を確認できるのかという基準自体がまだ確立していません。
参考・参照元
- ダリオ・アモデイ「We Must Pace the Frontier」
https://darioamodei.com/post/we-must-pace-the-frontier - Anthropic Institute「When AI builds itself」
https://www.anthropic.com/institute/recursive-self-improvement - OpenAI「The Hugging Face incident and the road ahead」
https://openai.com/index/hugging-face-incident-and-the-road-ahead/ - The White House「America’s AI Action Plan」
https://www.whitehouse.gov/wp-content/uploads/2025/07/Americas-AI-Action-Plan.pdf - The White House「Promoting Advanced Artificial Intelligence Innovation and Security」
https://www.whitehouse.gov/presidential-actions/2026/06/promoting-advanced-artificial-intelligence-innovation-and-security/ - 中国外交部・世界AI大会関連資料
https://www.fmprc.gov.cn/eng/xw/zyxw/ - Scientific Reports「Artificial intelligence development races in heterogeneous settings」
https://www.nature.com/articles/s41598-022-05729-3 - CNBC「Sam Altman, Anthropic’s Amodei and Musk back slowing AI development」
2026年9月14日 - Reuters「Anthropic CEO urges AI companies to slow model development」
2026年9月12日 - Reuters「Trump says ‘very negative forces’ raising exaggerated concerns over AI」
2026年9月13日 - Reuters「China state newspaper blasts Anthropic’s calls to slow AI as Cold War tactic」
2026年9月14日 - Reuters「U.S. accuses Chinese AI firms of industrial-scale theft of AI technology」
2026年9月8日 - Axios「Anthropic researcher quits, warning of race toward self-improving superintelligence」
2026年9月9日
