長文の状態変化を測る「StateBench」から見えるAIの追跡能力とモデル設計の差

StateBenchは、文書中で変わる情報を言語モデルがどこまで追跡できるかを、難易度別に測るベンチマークです。評価では、長い更新列でモデルの正答率が下がる一方、学習方法やアーキテクチャによって差が生じました。