生成AIサービスも乱立し、乱世の様相を呈してきましたね。

そんな中で各社AIも精度が向上し、ここ１〜２年で、かなりの精度になってきたように思います。

私も日常的にAIを利用するようになってきましたが、今の生成AIって、文脈によってどの程度出力に差が生じるんですかね？

思い立ったら吉日。ということで、Geminiを使って、早速ABテスト（比較テスト）をしてみました。

効果的とされるプロンプト作成のコツ

プロンプトとは、生成AIに指示する際の命令文のことですが、テストの前にどんなプロンプトが効果的とされているか、Googleが公式で提供しているGeminiのプロンプトガイドを確認してみましょう。

Gemini for Google Workspace Prompting Guide 101 (PDF)

プロンプト作成の４つの主要要素

ざっくり言うと、プロンプトを正確に出力するには下記の4つが重要だと言われています。

• ペルソナ: 誰がプロンプトを使用するか。（例：あなたはプロのマーケターです。）
• タスク: 何をする必要があるか。（例：効果的に事業内容を訴求するため対象地域の人口調査をしてください。）
• コンテキスト: どのような背景情報が必要か。（例：対象地域は日本。20-40代の女性を対象にしてください。）
• フォーマット: 出力の形式。（例：回答はスプレッドシートにまとめて出力してください。）

この要素をなるべく具体的に、繰り返しブラッシュアップするといい回答が得られる、とのこと。

これを元にテストしてみましょう。

検証環境

• 検証日：2026年2月6日
• 調査ツール：Gemini Pro
• ※ファクトチェックはせず、単純に出力した内容で比較します。

ABテスト

では調査のテーマですが、「たけのこの里」をテーマに検証してみましょう。

まずは普通に一文のプロンプト（ワンショットプロンプト）の場合。

「たけのこの里」とはなんですか？

▼ 回答

一文でも結構詳細に出るものですね。

では次に、先ほどの主要要素4つを踏まえたプロンプト（一旦ここではフレームワークとします）の場合。

あなたはプロのリサーチャーです。 「たけのこの里」がどういうものなのか調査をして回答を出力してください。 日本の男性が理解しやすい内容で回答お願いします。 出力は文章でお願いします。

▼ 回答

「男性」「分かりやすく」というコンテキストを加えたことで、調査報告書のような様相に。 内容の構成はほぼ一緒なものの、シンプルな一文プロンプトと比較すると、論理的に各項目を説明している感じですね。

また、どちらかというと詳細化した方は、質問者がたけのこの里に興味を持つような言い回しをしていて、たけのこの里を対象にリサーチした回答をしていることが伺えます。

じゃあ次はもうちょっと込み入ったテーマで調査してみます。 もうすぐ選挙なので、投票の参考として各政党の情報でも聞いてみましょう。 たけのこの里と比べて、複数の事柄を比較する必要のある要望です。

まずは一文プロンプト。

「もうすぐ選挙なので、投票の参考として各政党の情報を教えてください。」

▼ 回答

続いていきましょう。

あなたはプロのリサーチャーです。 日本の各政党の情報を教えてください。 投票の際、参考になりそうな情報を、各政党ごとにまとめて出力ください。 出力はスプレッドシート形式でお願いします。

▼ 回答

一文の方は居住地区の内容も踏まえながら、選挙投票についての助言をしてくれています。

一方フレームワークの方は、地域は加味せず、単純な調査結果として出力しています。投票の際の助言も「投票先を決めるための3つの視点」として、vs構図で簡潔にまとめてくれていますね。

結論

思いの外、一文のプロンプトでも、多くの情報を出力してくれることが印象に残りました。 また、このくらいの内容だと、フレームワークを使った場合とそうでない場合で、そこまで差を感じなかったように思います。 特に役割についてはどこに反映されているのか分かりにくいですね。果たしてプロのリサーチャーだったのか、、、。

別の機会にさらに込み入った題目で比較してみようかな。 そのうち込み入りすぎて、際限なくなりそう。

ではでは。