質問の前提違いを見抜くAI評価指標「XYBench」—答える力から助ける力へ
AIに誤った前提の質問をしたとき、文字どおり答えるだけでなく、本当の目的に沿って案内できるか。8,115件の質問で評価する「XYBench」は、意図の読み取りと回答への反映に残る課題を示しました。
AIの最新情報をわかりやすく解説
AIに誤った前提の質問をしたとき、文字どおり答えるだけでなく、本当の目的に沿って案内できるか。8,115件の質問で評価する「XYBench」は、意図の読み取りと回答への反映に残る課題を示しました。
Hugging Faceの音声認識ベンチマークに、エジプト英語とナイジェリア英語の非公開評価データが追加されました。アクセントの幅を広げる狙いや、実務で評価結果を生かす際の注意点を解説します。
StateBenchは、文書中で変わる情報を言語モデルがどこまで追跡できるかを、難易度別に測るベンチマークです。評価では、長い更新列でモデルの正答率が下がる一方、学習方法やアーキテクチャによって差が生じました。