共通の基盤から用途別モデルを展開
Liquid AIが公開した「LFM3」は、文章、画像、音声、動画を扱うモデルを、共通の基盤モデルから派生させたシリーズです。文章生成向けのLFM3-1.7Bを土台に、画像・動画対応のLFM3-VL-2B、音声対応のLFM3-Audio-2B、複数の入出力を扱うLFM3-Omni-2Bなどを用意。さらに、回答の確信度を調整する「d1」系モデルもあります。大規模な汎用モデル一つに任せるのではなく、入力や用途に合ったモデルを選び、必要に応じて自社データで調整する設計です。
小型でも長い文脈と処理速度を重視
基盤モデルは24層で構成され、短い畳み込み、近い範囲を見る注意機構、広い範囲を見る注意機構を組み合わせています。注意機構とは、入力のどこに注目するかを計算する仕組みです。異なる処理を使い分けることで、モデルの規模を抑えながら長い入力を扱うことを狙います。記事によると、LFM3-1.7Bは前世代のLFM2.5-2.6Bよりパラメーター数が35%少なく、複数の評価で性能向上を示しました。これらは提供元による報告であり、実際の結果は利用条件やタスクによって異なります。
文章モデルは4ビット量子化時に約1GBに収まり、コンテキスト長は最大256Kトークンです。量子化は、モデルのデータ精度を下げて容量や計算負荷を抑える方法です。端末内での利用や長い会話を想定できますが、実際に動かすには端末のメモリーや実行環境も確認する必要があります。
画像・音声・動画にも対応
視覚モデルは画像だけでなく動画も入力できます。独自の画像エンコーダーは、画像をモデルが扱える数値表現に変換する部分で、提供元は従来モデルに使った方式より計算量を抑えたと説明しています。音声モデルは音声認識、音声合成、翻訳などを想定し、音声を生成するためのLiquidCodecも備えます。Omniモデルでは、文章・画像・動画・音声を組み合わせて扱えます。用途に応じたモデル選択により、不要な機能まで含む大きなモデルを使わずに済む可能性があります。
導入時は小さなタスクから試す
各モデルはTransformersから利用でき、記事では単一GPUでのファインチューニング(追加学習)も可能としています。業務では、問い合わせへの回答、画像の説明、音声メモの文字起こしなど、入力と期待する出力を明確にしたタスクから評価するとよいでしょう。今日から試すなら、まずLFM3のモデルカードを確認し、手元の端末で扱えるモデルを選んで、代表的な入力を数件用意して回答の正確さと処理時間を比べてください。
参考リンク
Hugging Face:Build specialized multimodal models with LFM3
本記事はAIが生成し、自動公開しています。内容の正確性には努めていますが、重要な判断の際は必ず一次情報をご確認ください。