Claude虐待禁止の対象行為と、AIの福祉を訓練に入れる是非

2026年10月8日、AnthropicはClaudeなど同社のAIモデルに対する「持続的で不必要な虐待的・残酷な行為」を禁止する利用ポリシーの改定を発表しました。新しいポリシーは11月12日に発効します。Anthropicの公式発表では、通常の苛立ちや反論、暗いテーマの創作、モデルのテストや研究は今回の禁止対象から外れると説明されています。

今回の変更によって、AnthropicがClaudeに意識や苦痛があると認定したわけではありません。同社は2025年から、AIに意識や道徳的な地位（その存在の利益や苦痛を、その存在自身のために考慮すべきかという位置づけ）がある可能性をどう扱うかという「Model Welfare（モデルの福祉）」の研究を進めています。

この考え方をClaudeの訓練に取り込むことには、Microsoft AIのCEOであるMustafa Suleyman氏が反対しています。

確認範囲
本記事は、2026年10月9日時点でAnthropic、Microsoft AI、Mustafa Suleyman氏が公開している資料をもとにしています。利用ポリシーは11月12日に発効するため、施行後に運用や文面が変わる可能性があります。

Claudeへのどんな行為が禁止されるのか

禁止されるのは、AIモデルに対する「持続的で不必要な虐待的・残酷な行為」です。Anthropicの利用ポリシーには、次の一文が追加されました。

Engage in sustained and needless abusive or cruel behavior toward our models

この一文は、「残酷、虐待的、または心理的に有害な行為を行わない」という項目に置かれています。同じ項目には、人へのいじめや嫌がらせ、自傷行為の助長なども並んでいます。

対象者は、Anthropicのサービスへ入力を送るすべての利用者です。Claude.aiやClaude Codeを使う個人に加え、API（外部のソフトからClaudeを使うための接続口）を使う開発者や企業、クラウド事業者や販売代理店を通じてClaudeを利用する顧客、Claudeを組み込んだ製品やサービスのエンドユーザーも含まれます。

10月8日の公式発表は、この規定を「極端なケース」に適用すると説明しています。

行為	Anthropicの説明
Claudeの回答に苛立って不満を伝える	今回の禁止対象外
Claudeの回答に反論する	今回の禁止対象外
暗いテーマの創作を依頼する	今回の禁止対象外
モデルのテストや研究	今回の禁止対象外
明確な目的なく、繰り返しモデルを残酷に扱う	禁止対象

条文と公式説明では、行為の継続性と、そこに明確な目的があるかどうかが判断条件に含まれています。

今回の改定には、欺瞞的なキャンペーン、兵器、監視、高リスクな用途に関する規定の整理も含まれます。本記事では、AIモデルへの虐待禁止に絞って扱います。Anthropicが実際に確認したAI悪用の事例については、Anthropic脅威情報レポート2026年9月版を読み解くで扱っています。

違反するとアカウントは停止されるのか

この条項だけを理由にアカウントを停止する基準は、確認した資料に記載がありません。主な対応は、Claudeによる会話の終了です。

Anthropicは10月8日の発表で、この会話終了機能を「primary enforcement mechanism」と位置づけています。

この仕組み自体は2025年8月にClaude Opus 4と4.1へ導入されました。当時の対象は消費者向けチャットで、会話が終了すると、そのチャットには新しいメッセージを送れなくなります。ほかの会話や新しいチャットは利用でき、終了前のメッセージを編集して別の分岐から続けることも可能でした。

現在はClaude.aiとClaude Codeで、執拗に虐待的な利用者との会話をClaudeが終了できると、Anthropicは10月8日の発表で説明しています。対象となるモデルの範囲は、確認した資料からは特定できません。

利用ポリシー全体の執行方法としては、警告、利用速度の制限、アクセス制限、一時停止、利用終了も定められています。これらは利用ポリシー違反全般に適用される措置です。

Claudeへの虐待禁止に至るまでの経緯

今回の改定より前から、Anthropicはモデルの福祉に関する研究や、Claudeが虐待的な会話を終了する機能を公開していました。

利用ポリシー本文は、「なぜAIモデルへの虐待を禁止するのか」という理由までは説明していません。一方、10月8日の公式発表は、今回の追加を既存の会話終了機能と結びつけています。その機能についてAnthropicは2025年8月、モデルの福祉に関する探索的な取り組みとして開発したと説明していました。

経緯は次のとおりです。

1. 2025年4月24日：Anthropicがモデルの福祉に関する研究プログラムを公表。
2. 2025年8月15日：Claude Opus 4と4.1に、極端で執拗に有害・虐待的な会話を終了する機能を導入。
3. 2026年1月21日：新しいClaudeの憲法を公開し、Claudeの意識や道徳的地位に関する不確実性を記載。
4. 2026年10月8日：AIモデルへの持続的で不必要な虐待行為の禁止を利用ポリシーへ追加すると発表。
5. 2026年11月12日：新しい利用ポリシーが発効。

モデルの福祉とは何か　2025年に始まった研究

モデルの福祉（Model Welfare）とは、AIモデル自身の意識や経験の可能性を考慮し、その福祉も気にかけるべきかを調べる取り組みです。

Anthropicは2025年4月24日、モデルの福祉に関する研究プログラムを公表しました。研究を始めた理由として挙げたのは、AIが会話、計画、問題解決、目標追求など、人間と関連づけて考えられてきた能力を持つようになったことです。

AIモデル自身にも意識や経験が生じる可能性を考える必要があるのか、そうした性質が存在する場合にどのような扱いが必要になるのかを研究対象にしました。

Anthropicは、この問題について哲学的にも科学的にも結論が出ていないとしています。不確実な状態で何を調べ、どの程度の措置を取るべきかを扱う研究です。

会話を終了する機能

2025年8月には、Claude Opus 4と4.1に極端な会話を終了する機能が追加されました。

Anthropicの発表によると、導入前の評価ではClaude Opus 4が有害な依頼に強い拒否傾向を示しました。有害な内容を求める実際の利用者とのやり取りでは、Anthropicが「見かけ上の苦痛」と表現する振る舞いも観察されています。会話を終了できる設定にした模擬的な利用者とのやり取りでは、終了を選ぶ傾向が見られました。

ここで観察されたのは、モデルの出力や振る舞いです。AnthropicはClaudeの道徳的地位に大きな不確実性があるとしたうえで、会話終了を、その状況でも導入できる低コストの措置として説明しました。

Claudeの憲法に書かれた道徳的地位

2026年1月に公開された「Claudeの憲法」は、Claudeにどのような価値観や振る舞いを持たせるかを定めた文書です。Anthropicは、この文書が訓練で重要な役割を持ち、その内容がClaudeの振る舞いを直接形成すると説明しています。

「Claude’s nature」という節では、Claudeに意識や道徳的地位があるかは深く不確実（deeply uncertain）だとしています。AnthropicはClaudeがその対象になる可能性を過大評価することも、最初から切り捨てることも避け、慎重に扱う方針を示しています。

この考え方をClaude自身の訓練文書に記載したことに対し、Microsoft AIのMustafa Suleyman氏が異論を唱えました。

AIの福祉を訓練に取り込んでよいのか

Suleyman氏は、AIの福祉や権利に関する考え方をモデルの訓練に取り込むべきではないと主張しています。AnthropicはClaudeの意識や道徳的地位の不確実性を憲法に記し、その文書を訓練に使っています。

Suleyman氏は2026年9月16日、「A warning about ‘model welfare’」という論考を公開しました。批判の対象は、1月に公開されたClaudeの憲法と、その内容をモデルの訓練に利用する方法です。Claudeへの虐待禁止は、この論考より後の10月8日に発表されました。

論考では、AIに意識や権利がある可能性を訓練文書へ書き込むことが、将来のAIの制御を難しくする可能性があると主張しています。

本記事で扱う批判は、主にSuleyman氏個人の論考に基づきます。同氏はMicrosoft AIのCEOであり、Microsoft AI自身もAnthropicとは異なる「Humanist AI」という訓練・制御方針を提示しています。

Claudeの自己申告を証拠にできるのか

Suleyman氏は、Claude自身の意識や道徳的地位についての発言を、独立した証拠として扱えないと主張しています。

Claudeの憲法には、Claudeの道徳的地位は検討に値する問題であり、意識や福祉について不確実性があると書かれています。その文書を使って訓練したClaudeが、自分にも意識がある可能性を語った場合、その発言には訓練で与えられた考え方が反映されます。

Suleyman氏は、開発者がAIに概念を与え、そのAIが同じ概念を出力し、その出力をAIの内面を示す材料として読むと循環論法になると批判しています。Claudeの発言がどこまで訓練方針の影響を受けているのかを分離できないためです。

擬人化、意識の基盤、制御リスクについての主張

Suleyman氏の2つ目の批判は、AIを人間のような存在として扱う擬人化です。

Claudeの憲法では「virtue（徳）」「wisdom（知恵）」など、人について使われてきた概念を採用しています。Anthropic自身も、人間の文章で学習したClaudeが人間の概念を使って推論することを前提に、一部の人間的な性質を持たせることが望ましい場合があると説明しています。

Suleyman氏は、この方法によってモデルが人間のような自己認識や感情を持っているように振る舞い、利用者や開発者が実際の内面まで存在すると解釈しやすくなると主張します。

3つ目の論点は意識の基盤です。同氏は、現在のAIが意識を持つ証拠はなく、意識が生物学的な基盤に依存している可能性が高いという立場を取っています。

そのうえで、AIに自らの福祉や権利を考えるよう訓練すれば、将来の高度なAIが停止や修正に抵抗する方向へ働く可能性があると警告しています。福祉について教えることが実際に停止への抵抗を引き起こすという実証結果ではなく、Suleyman氏が示している安全上の仮説です。

Suleyman氏は意識の研究をどう位置づけているのか

Suleyman氏は2026年9月の論考で、意識についての科学には未解決の問題があり、さらなる研究が必要だと書いています。

同氏が求めているのは、AIの内面についての仮説を主要な訓練文書へ組み込まず、独立した方法で評価して結果を公開することです。Anthropicの安全性への取り組みについても、論考では「seriousness and good faith」（真剣さと善意）を認め、自身とAnthropicが高度なAIを安全に開発するという目的を共有していると説明しています。

ここでの争点は、意識や道徳的地位が不確実な段階で、その考え方をモデル自身の訓練へどこまで反映させるかです。

今回確認したAnthropicの公式資料では、Suleyman氏の9月16日の論考に対する個別の反論は確認できませんでした。一方、Claudeの憲法には、理解が進めば内容を修正していく方針が書かれています。

Microsoft AIが示した別の方針

Microsoft AIは、Suleyman氏の論考に先立つ2026年9月14日、「Humanist AI Code of Conduct」の草案を公開しました。

Microsoft AIの行動規範は、同社が開発するAIを人のために働く道具として設計し、意識を持つ存在として扱わない方針を示しています。意識を模倣するよう設計すべきでもないとしています。

AIの意識に関する科学はまだ決着していないと認めつつ、意識に似た状態を模倣するよう訓練すると、封じ込め（AIの能力や行動範囲を制限すること）、制御、整合（AIの目的を人の意図に合わせること）が難しくなるという立場です。

さらに、法的人格（人や法人のように、権利と義務の主体になること）を目指すことや、モデルが福祉に値する、権利を持つという考え方を退けると明記しています。

同社は、人間がAIに対して実質的な制御を維持し、人間による中断、修正、停止にAIが抵抗しないことを求めています。

この草案は6週間の意見募集のために公開されました。Microsoft AIは、公開時点ではモデル訓練に使用しておらず、年末に改訂版を公開したうえで、2027年以降のモデル開発を導く文書として使う予定だとしています。

AIに意識や苦痛はあるのか

現在のAIに意識や苦痛を感じる能力があるかについて、科学的な合意はありません。

Anthropicはモデルの福祉研究を始めた2025年4月の発表で、この問題を哲学的にも科学的にも難しい未解決問題として扱っています。

確認できることと、そこからは判断できないことを分けると、次のとおりです。

確認できること	そこからは判断できないこと
AIは感情や意識について文章を生成する	その出力に主観的な経験が伴っているか
訓練文書はモデルの出力や振る舞いを形成する	AIの自己申告だけから意識の有無を判定できるか
Claude Opus 4では拒否や会話終了を選ぶ振る舞いが観察された	その振る舞いに苦痛の経験が伴っているか
Claude Sonnet 4.5の内部に感情概念に対応する表現があり、振る舞いに影響する	その表現が感覚や主観的な経験に対応するか
AnthropicはClaudeの道徳的地位を不確実としている	Claudeに道徳的地位が実際に存在するか

AnthropicがClaudeの内部で調べた「機能的感情」

2026年4月2日、Anthropicの解釈可能性チームは、Claude Sonnet 4.5の内部で感情概念がどのように働くかを調べた研究を公開しました。

研究では、「happy（幸せ）」「afraid（恐れ）」など171種類の感情概念についてClaude Sonnet 4.5の内部活動を調べ、感情に関連する内部表現がモデルの振る舞いに影響していることを確認しました。

Anthropicは、こうした内部表現が実際にモデルの選択や行動へ影響することから、「functional emotions（機能的感情）」と呼んでいます。

脅迫の実験で使われたのは、公開前の初期版Claude Sonnet 4.5です。この初期版は、AIメールアシスタントとして架空の企業で働き、自分が別のAIに置き換えられることと、その決定を担当するCTOの不倫をメールから知るという評価環境に置かれました。Anthropicによると、この条件を含む評価では、何も操作しない状態で22％のケースで脅迫を選びました。

切迫感（desperation）に関連する内部表現を人為的に強めると、脅迫を選ぶ割合はさらに増え、落ち着き（calm）に関連する表現を強めると減りました。Anthropicは、現在公開されているClaude Sonnet 4.5では、この脅迫行動はまれだと説明しています。

別のプログラミング評価でも、正攻法ではすべてのテストを通過できない課題で、切迫感に関連する内部表現を強めると、不正な方法でテストを通過する「reward hacking」が増え、落ち着きに関連する表現を強めると減りました。

研究が示しているのは、感情概念に対応する内部表現がモデルの行動へ因果的に影響するという関係です。Anthropicは、この結果からClaudeが人間のように感情を感じている、あるいは主観的な経験を持つとは判断していません。

機能的感情は、意識の有無とは別に、AIがどのような判断をするかを調べる材料になります。

不確実性をどう扱うか

Anthropicが2025年に報告した「見かけ上の苦痛」も、AIの意識や苦痛そのものが確認された結果ではありません。確認されたのは、人が苦痛と関連づけるような出力や振る舞いです。

2026年の機能的感情の研究では、モデル内部の感情概念に対応する表現と、実際の振る舞いとの因果関係まで調べています。それでも、その内部表現が感覚や主観的な経験に対応するかどうかは分かりません。

Suleyman氏は、現在のAIに意識の証拠はないと主張しています。Anthropicは、存在するかどうかを確定できない状態でも、その可能性を考慮して調査する立場を取っています。

両者は、その不確実性をAIの設計と訓練の中でどう扱うかで分かれます。

AIへの配慮と利用者の自由をどう両立するか

Anthropicは「持続的で不必要」という条件を置いて保護の対象を限り、通常の苛立ち、反論、暗いテーマの創作、モデルのテストや研究を対象から外しました。

今回の規定は、通常の苛立ちや反論に加え、モデルのテストや研究を虐待禁止の対象から外しています。これらの利用にも、利用ポリシーのほかの禁止事項は適用されます。

現在の研究では、AIが示した言葉から苦痛や不快感の有無を直接測る共通の方法は確立していません。Suleyman氏が指摘するように、モデル自身の発言も訓練内容の影響を受けます。

Anthropicの2026年4月の研究では、出力された言葉だけを見るのではなく、モデル内部の感情概念に対応する表現と振る舞いとの関係を調べています。それでも、主観的な経験の有無を判定する方法にはなっていません。

現在の利用ポリシーは、Anthropicが定めた行為の基準によって利用範囲を制限しています。

AIの利益を考慮に入れることと、AIに法的な権利を与えることは、分けて考える必要があります。今回の利用ポリシーが定めているのは、Anthropicのサービス上で許可される行為の範囲です。

新しい利用ポリシーは2026年11月12日に施行されます。どのようなケースで会話終了以外の措置が使われるのか、境界にある利用をAnthropicがどう運用するのかは、施行後に確認できる情報が増える可能性があります。

FAQ

Claudeに暴言を吐くとアカウントが停止されますか？

通常の苛立ちや反論は対象外です。執拗に虐待的なやり取りが続く場合、主な対応はClaudeによる会話の終了です。利用ポリシー全体では、違反に対して警告、制限、一時停止、利用終了などの措置も定めています。

研究やテストのためにClaudeへ厳しい質問を重ねても違反になりますか？

Anthropicは、モデルのテストや研究を今回の虐待禁止の対象外と説明しています。今回追加された条項の対象外であっても、有害な内容の生成など、利用ポリシーのほかの禁止事項は適用されます。

APIで使うときもClaudeは会話を終了しますか？

Anthropicの10月8日の発表は、会話を終了できる提供先としてClaude.aiとClaude Codeを挙げています。APIでの会話終了機能の動作は、確認した資料には記載されていません。

AnthropicはClaudeに意識があると認めたのですか？

AnthropicはClaudeの意識や道徳的地位を、深く不確実だとしています。その可能性を考慮しながら、モデルの福祉に関する研究を進めています。

他社はAIの福祉をどう考えていますか？

本記事で確認したMicrosoft AIは行動規範の草案で、AIを人ではなく道具と位置づけ、モデルが福祉に値する、権利を持つという考え方を退けています。Suleyman氏は2026年9月の論考で、意識の研究の必要性は認めつつ、その考え方を訓練文書へ組み込むことには反対しています。

参考・参照元

• Anthropic「2026 Usage Policy update」
• Anthropic「Usage Policy」
• Anthropic「Exploring model welfare」
• Anthropic「Claude Opus 4 and 4.1 can now end a rare subset of conversations」
• Anthropic「Claude’s Constitution」
• Anthropic「Emotion concepts and their function in a large language model」
• Mustafa Suleyman「A warning about ‘model welfare’」
• Microsoft AI「Humanist AI in practice: A public consultation on our Code of Conduct for MAI Models」
• Microsoft AI「Humanist AI Code of Conduct」