質問の表面ではなく、目的に応えられるか
「カップケーキのクリームが滑り落ちる。どうすれば固くできる?」と聞かれたとき、クリームの配合を変える方法だけを説明するのは十分とは限りません。原因が焼きたての生地の熱なら、冷ましてから塗るのが解決策です。質問者が手段を決めつけ、本来の目的に合わない相談をする状況は「XY問題」と呼ばれます。
この問題へのAIの対応力を測るため、研究チームはベンチマーク「XYBench」を公開しました。ベンチマークとは、モデルの性能を共通の課題で比べる評価用データです。XYBenchには、プログラミングや料理、家の修理などに関する8,115件の質問が含まれます。Stack Overflowなどの投稿に加え、WikiHowの手順をもとに作った質問も収録されています。
「何を聞かれたか」と「何を解決したいか」を分けて評価
XYBenchでは、質問に書かれた依頼をY、その背景にある目的をXとして区別します。そして回答に、Yへの解決策とXへの解決策がそれぞれ含まれるかを調べます。さらに、回答がどちらを重視しているか、誤った前提に気づいて本来の目的へ案内しているかも評価します。単に解決策に触れたかだけでなく、回答の中心がどこにあるかを見る設計です。
評価対象はClaude Sonnet 4.6、GPT-5など5モデル。回答の判定にはClaude Sonnet 4.5を使い、人による確認も実施しました。人間の判定との一致率は、解決策の有無では高かった一方、回答の重点を判定する項目では相対的に低く、評価方法にもなお改善の余地があります。
解決策を含んでも、目的を優先するとは限らない
Stack Overflowの質問では、モデルの回答に依頼Yへの解決策が含まれる割合は75〜86%でした。一方、背景の目的Xへの解決策は59〜71%にとどまりました。さらに、回答の主な重点が目的Xに置かれた割合は35〜41%で、依頼Yを主に扱った回答は47〜57%。本来の目的に役立つ助言を少し含めていても、全体としては質問者の誤った方針を後押しする場合があることを示しています。
研究チームが質問者の意図をあらかじめモデルに伝える実験では、Claude Sonnet 4.6が目的Xへの解決策を含める割合は59%から67%に上がりました。しかし、誤解を見抜いて別の方針へ導く割合は47%から34%に下がりました。意図を知ることと、それを踏まえて回答を組み立てることは別の課題です。また、複数の回答から良いものを選ぶ評価では、モデルは目的に沿った回答を71〜84%の割合で選択しました。見分ける力があっても、自分でその回答を作れるとは限らない点も見えてきました。
モデル改善と、日々の質問の仕方に生かす
XYBenchは、モデルの改良によって「誤解の発見」「目的に合う解決策の提示」「その解決策を回答の中心にすること」がそれぞれ改善したかを調べる材料になります。複数の能力を分けて測ることで、改善した点と残った課題を把握しやすくなります。ただし、現状のデータは英語の質問が中心で、手順に沿って解決する種類の問題が多いため、他言語や対話形式でも同様の結果になるかは今後の検証が必要です。
読者が今日から試せるのは、AIに手段だけを尋ねず、達成したい目的と状況も添えることです。たとえば「クリームを固くする方法」だけでなく、「カップケーキに塗ったクリームが滑る。生地は焼いたばかりで、飾りを定着させたい」と伝えます。回答を受け取ったら、提案された方法が本当の目的に効くか、別の原因を見落としていないかも確認しましょう。
参考リンク
Hugging Face:XYBench: Helping with the problem behind the question
本記事はAIが生成し、自動公開しています。内容の正確性には努めていますが、重要な判断の際は必ず一次情報をご確認ください。