LLMが読み取りやすい構造を目指す「LLMON」
大規模言語モデル(LLM)は、与えられた文章の続きとして回答を生成します。その文脈には、指示、会話履歴、検索結果、ツールの出力、回答条件などが混在します。どれが命令で、どれが単なる資料なのかが曖昧だと、関係のない情報を回答に取り込んだり、意図しない指示に従ったりすることがあります。小規模なモデルでは、こうした曖昧さが予想外の失敗につながる場合もあります。
IBMが開発した「LLMON(エルエルエムオン)」は、情報の種類や相互関係を明示するための、LLM向けのマークアップ言語です。文章のまとまりに「指示」「データ」「要件」などのタグを付け、専用の特殊トークンで境界を示します。さらに、各まとまりに短いIDを割り当て、どの指示をどのデータに適用するかを結び付けます。モデルが文脈から関係を推測するのではなく、構造として受け取れるようにする考え方です。
JSONやチャットテンプレートとの違い
JSONはソフトウェアがデータを読み書きするための形式で、LLMが誤りなく扱うことを前提に設計されたものではありません。波括弧や引用符は通常の文章にも登場するため、モデルが構造上の記号と本文中の記号を取り違えることがあります。入れ子の深さも、長い範囲にわたって括弧の対応を追う必要があります。
LLMONは、構造を示す専用トークンと文章の内容を分け、まとまりの境界を明示します。既存のチャットテンプレートを置き換えるのではなく、補強する位置付けです。テンプレートが「誰の発言か」を伝えるのに対し、LLMONは発言の中身が何を意味し、別の情報とどう関係するかも示します。JSONをLLMONに変換し、元に戻すためのツールも用意されているため、既存のJSON中心の処理を活用しながら試せます。
プロンプト注入への効果と限界
この設計が特に狙うのが、間接的なプロンプト注入です。これは、検索文書やツールの返答など、資料として与えたデータの中に悪意ある指示を紛れ込ませる攻撃です。指示とデータを分け、指示が対象とするデータを明示すれば、データ内の命令を実行すべき指示として扱いにくくできます。
記事では、LLMON対応モデルを複数のモデルと比較し、間接的な攻撃を含むベンチマークで、攻撃指示に従わない割合が高まったと報告しています。特定の評価では攻撃の成功率がほぼゼロになったとされ、他の評価でも同様の傾向があったと説明しています。ただし、これは主に事前に用意された攻撃を調べた結果です。会話を重ねて変化する適応的な攻撃への対応は、引き続き取り組んでいるとしています。また、同社は安全性の改善とともに、Granite 4.1 Instructモデルに対する一般的な能力の維持も掲げています。
対応モデルと今日からの試し方
公開されたのは、Granite 4.1を基にした実験的なプレビュー版「granite-4.1-3b-LLMON-preview」と「granite-4.1-8b-LLMON-preview」です。関連するGitHubリポジトリには、LLMONを扱うツールやワークフロー、テンプレートの例があります。MelleaではLLMONをネイティブに扱う機能があり、モデルへの呼び出しを自動でLLMON形式にする仕組みも紹介されています。独自のタグやデータ構造を定義し、LLMON対応モデルにLoRA(既存モデルを効率よく追加学習する手法)で学習させる方法も示されています。
まずは、実際の業務プロンプトから「命令」と「参照資料」を分け、資料中の文章を指示として扱わないよう明示するところから始めるとよいでしょう。JSONを使った既存処理がある場合は、変換ツールを用いて、回答の安定性や攻撃への耐性を比較できます。
参考リンク
Hugging Face:LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B
本記事はAIが生成し、自動公開しています。内容の正確性には努めていますが、重要な判断の際は必ず一次情報をご確認ください。