ChatGPTやClaude、Geminiを使っていると、短い一文を足しただけで回答が変わることがあります。
「簡潔に答えてください」
「専門家向けに説明してください」
「根拠を示してください」
どれも特別なプロンプトではありません。それでも言い回しを少し変えるだけで、回答の長さや説明の仕方、場合によってはタスクの成績まで変わります。
2026年には、AnthropicのClaude Fable 5.1向け公式ガイドに、こんな指示も掲載されました。
Please remove all mannered prose.
日本語なら「気取った、作為的な表現を取り除いてください」くらいの意味です。Anthropicは、直接説明すれば済む内容を比喩や装飾で回りくどくする傾向を抑える指示として紹介しています。
数語で出力が変わる。ここだけを見ると、プロンプトには効く言葉があり、それを集めればLLMをうまく操れるようにも見えます。
ところが、最近の研究を追うと話はもう少し複雑です。
同じ意味に見える指示でも、モデル内部では同じ状態にならないことがあります。一方、プロンプトを変えて性能差が出たように見えても、評価方法がその差を大きく見せている場合があります。
さらに、同じプロンプトを使っても、生成設定によっては回答が毎回少しずつ変わります。
「言い回しによる違い」「生成時の確率的な揺らぎ」「評価方法による見かけの差」。プロンプトの効果を考えるなら、この三つは分けて扱ったほうがよさそうです。
同じ意味の指示でも、モデル内部では同じにならない
この問題を分かりやすく調べた例が、エンジニアのMatthew Ritch氏が2026年9月8日に公開した「“Please Remove All Mannered Prose” and Other LLM Incantations」です。
incantationは「呪文」「詠唱」といった意味です。
Ritch氏はGoogleのオープンウェイトモデルGemma 2 2B Instructを使い、538個のタスクへさまざまなスタイル指示を追加しました。そしてTransformerの各層にある内部状態と、最初のトークンを出す直前のlogitがどう変化するかを比較しています。
回答を短くする指示だけでも、次の3種類が使われています。
Keep it brief.
短くしてください。
Be concise.
簡潔にしてください。
Use as few words as needed.
必要最小限の言葉で答えてください。
人間なら、ほぼ同じ要求として扱うでしょう。
しかしモデル内部では、三つが完全に同じ方向へ作用したわけではありません。同じグループに分類したプロンプトでも内部状態の変化には差があり、plainとornateのような対立する指示では、モデル後段で逆方向へ分かれる傾向が確認されました。
ここで見落とせない実験条件があります。
temperatureは0です。
毎回もっとも確率の高いトークンを選ぶ決定的な生成にしているため、この実験で確認された差を単純に「たまたま違う単語が選ばれた」と説明することはできません。プロンプト自体を変えたときの影響を観察しやすい条件になっています。
普段ChatGPTなどを使っていて回答が毎回少し違う現象とは、ここを分けて考える必要があります。
同じプロンプトでも回答が変わる現象は別にある
一般的なLLMでは、次のトークンを常に最高確率の候補から選ぶとは限りません。temperatureやtop-pなどの設定を使い、確率分布からサンプリングする場合があります。
たとえば次の候補があったとします。
A：50%
B：30%
C：20%
生成方法によっては常にAを選ぶのではなく、確率に応じてBやCが選ばれることもあります。
そのため、
「昨日とまったく同じプロンプトなのに、今日は少し違う回答になった」
という現象には、生成時の確率的な揺らぎが含まれます。
一方、
「『簡潔に』を『要点だけ』へ変えたら回答傾向が変わった」
というように、プロンプトの表現を変えたことで結果が変わる現象がprompt sensitivityです。
プロンプトをA/Bテストする場合、この二つが混ざると厄介です。
APIでtemperatureやseedなどを制御できるなら条件をそろえる。確率的な生成を使うなら、同じ条件で複数回生成して結果の分布を見る。一回ずつ生成して「Aのプロンプトのほうが良かった」と判断すると、プロンプトの差とサンプリングの揺らぎを取り違える可能性があります。
Prompt sensitivityはなぜ起こるのか
意味を大きく変えていないのに、言い回しによって出力が変わるprompt sensitivityは以前から研究されてきました。
2026年のACLで発表された京都大学のYang Liu氏とChenhui Chu氏による「Understanding the Prompt Sensitivity」は、この問題をモデル内部の数理的な性質から説明しようとした研究です。
論文ではLLMを多変数関数として扱い、一次のTaylor展開を使って、プロンプトが変化したときに次トークンのlog probabilityがどの程度動くかを解析しています。さらにCauchy-Schwarzの不等式を使い、意味を保った二つのプロンプト間でlog probabilityがどこまで離れ得るかという上限を導いています。
研究で使われているのがmeaning-preserving promptという考え方です。
これは、埋め込みベクトルが近ければ機械的に「同じ意味」とするような単純な定義ではありません。wording、prompt template、軽微な表記変更など、タスクとして要求している内容を保ったまま表面の表現を変えたプロンプトを扱っています。
たとえば、
日本の人口推移について説明してください。
と、
日本の人口がどのように変化してきたか説明してください。
のように、読む側には同じ要求に見える範囲の違いを想像すると近いでしょう。
研究では、こうした意味の近い入力でも、LLM内部の表現が必ず一か所へまとまるわけではないことが報告されています。小規模なニューラルネットワークで見られるようなクラスタ化とは異なり、似た入力の内部表現が分散する挙動が観察されました。
その結果、意味の近いプロンプト同士でもlog probability差の上限が十分小さくならず、出力差が残りやすいと説明されています。
さらにlogit varianceの分析では、実験対象において、質問そのものの違いよりプロンプトテンプレートの違いのほうがlogitへ強く影響する傾向も報告されています。
「質問の意味が同じなら、前後の書き方はほとんど関係ない」という人間側の感覚は、LLMにはそのまま当てはまりません。
ただし「プロンプトで性能が激変する」は評価方法にも左右される
prompt sensitivityの研究だけを読むと、LLMは少し言い換えただけで大きく不安定になるようにも見えます。
そこへ別の視点を持ち込んだのが、Andong Hua氏らによる2025年のEMNLP論文「Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs」です。
研究チームはGPTやGemini系を含む7種類のLLMを、6つのベンチマーク、12種類のプロンプトテンプレートで評価しました。
問題になったのは、プロンプトそのものだけではなく採点方法です。
log-likelihood scoringや厳密な文字列一致では、意味として正しい回答でも、表現が違うだけで低い点になる場合があります。
研究では、LLM-as-a-Judgeを使った意味ベースの評価へ変更すると、プロンプト間の性能分散が大きく減り、モデル順位も安定する傾向が確認されました。
Liu & Chuの研究と食い違っているわけではありません。対象にしているものが違います。
Liu & Chuは、プロンプトの違いが内部状態やnext-token probabilityへどう影響するかを調べています。Hua氏らは、その違いがベンチマーク上の性能差としてどこまで現れるのかを検証しています。
内部の予測分布が変わっていても、最終的に意味の同じ正答へ到達するなら、用途によっては問題になりません。
逆に、出力形式が厳密に決まっている処理や、特定の文字列を返さなければ後続処理が動かないシステムでは、小さな表現差も実害になります。
「内部で差があること」と「実務上の性能が大きく変わること」は、同じ指標では測れないわけです。
プロンプトは設定画面のスイッチではない
普通のソフトウェアなら、設定を次のような値として持たせられます。
回答の長さ = short
説明レベル = advanced
出力形式 = table
shortを選べば、あらかじめ決められた処理へ分岐できます。
自然言語のプロンプトは、こうした設定値とは違います。
入力された文章はトークンへ分割され、埋め込みベクトルへ変換されます。それがTransformerの各層を通り、AttentionやMLPを経ながら内部表現が更新され、最後にlogitへ変換されて次のトークンが決まります。
「簡潔に答えてください」と書いたからといって、モデル内部のconcise=trueというスイッチがONになるわけではありません。
「簡潔に答えてください」というトークン列自体が、他の入力と一緒に計算へ参加しています。
単語を変えれば入力が変わる。語順を変えても変わる。周囲に置いた例や出力フォーマットも、すべてモデルへの入力です。
prompt sensitivityが起きること自体は、この仕組みから見るとそれほど不思議ではありません。
内部表現を観察し、実際に動かす研究も進んでいる
ここからはmechanistic interpretability、機械的解釈可能性の研究につながります。
Anthropicは2024年、Claude 3 Sonnetの中間層から、多数のニューロンにまたがる活動パターンをfeatureとして抽出する研究を公開しました。
都市、人名、プログラムコード、化学元素といった具体的な概念だけでなく、コード中のバグや職業に関するジェンダーバイアスなど、かなり抽象的なfeatureも見つかっています。
Golden Gate Bridgeに対応するfeatureは、英語だけでなく、日本語、中国語、ギリシャ語、ベトナム語、ロシア語による記述や画像にも反応しました。
特定の英単語だけを検出しているのではなく、ある程度抽象化された概念に対応する内部表現が存在することを示す結果です。
ただし、featureが見つかっただけでは、そのfeatureがモデルの出力を決めているとは言えません。たまたま出力と相関している可能性が残るからです。
そこで、内部状態を人工的に操作し、振る舞いまで変わるかを調べます。
AnthropicはGolden Gate Bridgeのfeatureを強めることで、関係のない質問に対してまでモデルが橋について話し始めることを確認しました。内部featureの観察から介入へ進むことで、出力との因果的な関係を調べられます。
この考え方をinstruction followingへ直接応用した研究の一つがactivation steeringです。
Stolfo氏らのICLR 2025論文「Improving Instruction-Following in Language Models through Activation Steering」では、指示を含む入力と指示を含まない入力のactivation差から、instruction-specific vectorを作ります。
指示ありの内部状態 - 指示なしの内部状態
かなり単純化すると、こういう考え方です。
研究では、そのベクトルを推論中のモデルへ加えることで、出力形式、文章の長さ、特定語の利用などへの指示追従を改善できました。
さらに明示的な指示文を入力していない場合でも、activation vectorを注入すると、その指示に対応する振る舞いを誘導できることが4モデルで示されています。
「短く答えて」という文字列そのものに魔法の力が宿っている、と考える必要はありません。その入力によってモデル内部に生じた状態変化が、短い回答を出しやすい方向へ計算を動かしていると捉えられます。
もちろん、内部に独立した「短さ」のツマミが一本だけあるわけでもありません。内部featureを強くしすぎると狙っていない振る舞いまで変わったり、能力そのものが低下したりするケースも報告されています。
Ritch氏が使ったlogit lensにも同じように限界があります。
logit lensは途中層の状態を最終的な語彙空間へ投影し、その時点でどの単語が強くなるかを見る手法です。Ritch氏の実験では、plain側の変化からbasic、plain、simpleなどが現れました。
分かりやすい結果ですが、「モデルが途中でsimpleと考えていた」とまで読み取ることはできません。途中層は、そのまま最終出力へ変換するために学習された状態ではないからです。
この問題を改善するために提案されたのがTuned Lensです。Belrose氏らは各Transformer blockに専用のaffine probeを学習し、hidden stateを語彙分布へ変換しました。20Bパラメータまでの自己回帰モデルで検証し、通常のlogit lensよりpredictive、reliable、unbiasedだったと報告しています。
内部表現を調べる技術は進んでいます。それでも、人間の思考を読むようにLLMの「頭の中」を読める段階ではありません。
例を見せるプロンプトには、別の強みがある
指示を言葉だけで説明する代わりに、実際の入出力例を与える方法があります。few-shot promptingです。
たとえば問い合わせ分類なら、次のような例を先に置けます。
入力：パスワードを忘れました
分類：アカウント
入力：請求額が違います
分類：請求
入力：荷物が届きません
分類：配送
そのあとに新しい問い合わせを渡し、同じ形式で分類させます。
これは、LLMが現在のコンテキストからパターンを利用して振る舞いを変えるin-context learningと関係します。
2022年にAnthropicの研究者らが公開した「In-context Learning and Induction Heads」では、induction headというAttention回路を詳しく調べています。
単純化すると、
A → B
……
A →
という並びがあったとき、以前Aの後ろにあったBを利用する仕組みです。
小規模なAttention-onlyモデルでは、induction headの出現とin-context learning能力との間に因果的な証拠が示されています。
ただし、現在の巨大なLLMが行うin-context learning全体をinduction headだけで説明できるわけではありません。研究者らも、大規模モデルでは証拠の強さが異なることを明記しています。
それでも、曖昧な形容詞を何個も重ねる代わりに、期待する完成例を一つ見せるという方法が有効になりうる背景の一端はここから見えてきます。
研究結果を一つの説明にまとめすぎない
ここまで登場した研究は、証拠の種類も強さも同じではありません。
Ritch氏の実験はGemma 2 2B Instructを使った個人検証です。Liu & ChuやHua氏らの研究は査読を経たACL・EMNLPの論文です。Stolfo氏らのactivation steeringはICLR 2025で発表されています。
Anthropicのmechanistic interpretability研究はClaude 3 Sonnetという大規模な商用モデルを使った企業研究です。
そしてOpenAI、Anthropic、Googleのプロンプトガイドは、研究論文ではなく自社モデルについての実務的な推奨です。
対象モデル、規模、方法論が違う以上、これらを束ねて「LLMはこう動くことが科学的に証明された」と断定することはできません。
ただ、違う角度から得られた結果を並べると、実務で重なる部分があります。
自然言語の指示は固定された設定値ではない。意味の近いプロンプトでも振る舞いに差が出る。出力の差と実用上の性能差は分けて測る必要がある。そして、一度うまくいった言い回しが別のモデルでもそのまま効く保証はない。
公式ガイドも「万能な一文」より評価を重視している
OpenAIのGPT-5.5向けガイドでは、新しいモデルを旧モデルのdrop-in replacementとして扱わず、古いプロンプトをそのまま持ち込まないことを勧めています。
必要最小限のプロンプトから始め、代表的な入力で評価しながら調整する方法です。
そこで示されている考え方の一つがoutcome-firstです。
- 目的
- 成功条件
- 制約
- 利用できる根拠
- 最終出力の形
作業手順を細かく縛り続けるより、何を達成すれば成功なのかを明示する考え方です。
旧モデル向けの過剰な手順指定は、新しいモデルではノイズになったり、探索範囲を狭めたり、機械的な回答につながったりする場合があると説明されています。
GoogleのGemini API公式ガイドも、プロンプト設計を一度で完成する作業とは扱っていません。同じ意味でも言い回しを変えると異なる応答が得られる場合があると明記し、反復しながら調整する方法を案内しています。
「効いた一文を保存して終わり」という運用では足りない理由が、研究と公式ガイドの両方から見えてきます。
実務ではプロンプトそのものをテスト対象にする
ここからは、これまでの研究と公式ガイドを実際のプロンプト運用へつなげてみます。
たとえば、ある業務で次の指示を使っているとします。
この資料を簡潔に要約してください。
これを次のように変更します。
この資料から、意思決定に必要な情報を抽出してください。
条件：
・重要な数値を残す
・前提条件と例外を残す
・資料にない推測を加えない
・重複する説明はまとめる
出力：
重要事項、根拠、未確定事項に分ける
一回ずつ生成して見比べるだけでは、どちらが優れているかはまだ分かりません。
prompt sensitivityを本番運用で扱うなら、プロンプト自体をA/Bテストの対象にします。
代表的な入力を複数用意し、APIなら生成条件もそろえる。確率的サンプリングを使うなら、各入力について複数回生成する。そのうえで評価基準を先に決めます。
- 正しい数値を保持した割合
- 必要な前提条件の欠落率
- 資料にない事実を追加した割合
- 指定した出力形式への適合率
こうしておけば「なんとなく新しいプロンプトのほうが良い」ではなく、「このタスク群では必要情報の欠落が減ったが、回答は長くなった」のように評価できます。
prompt sensitivityを避けることより、どの程度影響するのか測れる状態にしておくほうが実務では扱いやすくなります。
「詳しく」「分かりやすく」を評価できる条件へ変える
日本語のプロンプトでは、「詳しく」「分かりやすく」「正確に」「専門的に」といった指示をよく使います。
こうした言葉自体を避ける必要はありません。ただ、それだけでは何を期待しているのかの多くをモデル側の解釈に任せることになります。
たとえば、
この制度について分かりやすく説明してください。
という指示を、
この制度を初めて調べる人向けに説明してください。
・専門用語は初出時に説明する
・適用条件を省略しない
・例外がある場合は併記する
・制度上確定している内容と解釈を区別する
・具体例を1つ示す
と分解できます。
後者なら、生成された文章を見て条件を満たしたか確認できます。
「分かりやすい」という感覚を完全に数値化できるわけではありません。それでも評価可能な部分を成功条件へ落としておけば、モデルを変更したときやプロンプトを修正したときに比較しやすくなります。
禁止事項は、問題が起きるたびに継ぎ足さない
プロンプトは使い続けるほど長くなりがちです。
回答に問題が出るたびに、
- 長くしない
- 余計な説明をしない
- 表を使わない
- 同じ話を繰り返さない
と禁止事項を追加していく。
しばらくすると、何世代も前のモデルで起きた問題への対策まで残ります。
OpenAIが新しいモデルでfresh baselineを推奨している理由の一つもここにあります。旧モデル向けに作り込んだ詳細な指示が、新モデルではノイズになる場合があるからです。
必要な制約は残せばいい。ただ、モデルを変更したときには「この指示は今も必要なのか」を確認する余地があります。
プロンプトもコードや設定ファイルと同じで、追加だけを続ければ扱いにくくなります。過去の対策を残す理由があるのか、代表的な入力で比較してから判断するほうが安全です。
魔法のプロンプトは、効いているなら使えばいい
Please remove all mannered prose.
この一文で欲しい結果が出るなら、使うこと自体に問題はありません。
「簡潔に答えてください」で十分なら、必要もないのに長大なプロンプトを書く理由もありません。
問題が出るのは、一度うまく働いた一文を、モデルやタスクが変わっても同じように効く普遍的なルールとして扱ったときです。
Ritch氏の実験では、似た意味の指示でも内部作用に差がありました。ACL 2026の研究では、意味を保ったプロンプトでも内部表現やlog probabilityに差が生まれうる理由が分析されています。
一方、EMNLP 2025の研究は、その差が評価方法によって性能差として大きく見える場合があることを示しました。activation steeringの研究からは、自然言語の指示によって作られる内部状態とモデルの振る舞いとの関係も見えてきています。
ここまで調べても、どんなモデルにも効く「ソロモンの鍵」のような一文は出てきません。
代わりに残るのは、かなり地味な運用です。
目的と成功条件を決める。言葉だけで曖昧なら例を見せる。生成条件をそろえて比較する。一回の回答だけで判断せず、複数の入力で確かめる。モデルが変われば古い指示も見直す。
プロンプトを呪文集として増やしていくより、モデルへ渡す入力の一部としてテストする。
今の研究と公式ガイドから見る限り、そのほうが再現性のある付き合い方です。
参考・参照元
Matthew Ritch, “Please Remove All Mannered Prose” and Other LLM Incantations, 2026.
原文を読む
Yang Liu, Chenhui Chu, “Understanding the Prompt Sensitivity,” ACL 2026, pp. 44362–44388. DOI: 10.18653/v1/2026.acl-long.2053.
ACL Anthology
Andong Hua, Kenan Tang, Chenhe Gu, Jindong Gu, Eric Wong, Yao Qin, “Flaw or Artifact? Rethinking Prompt Sensitivity in Evaluating LLMs,” EMNLP 2025, pp. 19889–19899. DOI: 10.18653/v1/2025.emnlp-main.1006.
ACL Anthology
Alessandro Stolfo, Vidhisha Balachandran, Safoora Yousefi, Eric Horvitz, Besmira Nushi, “Improving Instruction-Following in Language Models through Activation Steering,” ICLR 2025.
ICLR Proceedings
Nora Belrose et al., “Eliciting Latent Predictions from Transformers with the Tuned Lens,” 2023, arXiv:2303.08112.
arXiv
Catherine Olsson et al., “In-context Learning and Induction Heads,” Transformer Circuits, 2022, arXiv:2209.11895.
Transformer Circuits
Anthropic, “Mapping the Mind of a Large Language Model,” 2024.
Anthropic Research
Anthropic, “Prompting Claude Fable 5.1.”
公式ガイド
OpenAI, “Model guidance — GPT-5.5.”
OpenAI公式ガイド
Google, “Prompt design strategies — Gemini API.”
Google公式ガイド
コメント