ローカルAI向け「Inkling 2 Mini」登場、ループ構造で小型化と高性能を両立

層を繰り返し使い、モデルを小さく

Thinking Machines Labが公開した「Inkling 2 Mini」は、テキストだけでなく画像も扱えるマルチモーダルモデルです。特徴は、モデル内部の一部の層を繰り返し実行する「ループ構造」。物理的には24層ですが、中央の12層を3回通るため、計算上は48層相当の処理を行います。繰り返しには同じ重みを使うので、層ごとに別の重みを持つ設計より、保存するパラメーターを抑えられます。

もう一つの特徴は、Mixture-of-Experts(MoE)です。これは入力に応じて複数の専門処理部分から一部を選ぶ方式で、Inkling 2 Miniではトークンごとに128の専門家から8つを使います。総パラメーターは約260億ですが、各トークンの処理で使うのは約30億。モデル全体の容量を保ちながら、毎回すべてを計算しない設計です。

反復処理で情報を深める仕組み

ループの各回は、中央層の直前にある層の出力を起点にします。前の回で得た情報は「メッセージ」として次の回に渡され、制御機構が現在の入力と組み合わせます。つまり、同じ層を単純に再実行するのではなく、前段の結果を受け取りながら推論を重ねる構成です。モデルが実際に使う計算量や応答時間は、こうした層の再訪問も含めて考える必要があります。

入力できる文脈は最大100万トークンとされ、画像とテキストを一緒に渡せます。ただし、長い文脈を扱うほど必要なメモリーや処理時間は増えるため、上限をそのまま快適に使えるとは限りません。重みはNVFP4とMXFP8を組み合わせた形式で提供され、追加の高速化を狙うDSpark drafterも含まれます。実際の動作は、利用するソフトウェアやハードウェアに左右されます。

評価結果は有望、ただし自分の用途で確認を

公開元によると、Artificial Analysis Intelligence Index v5など48項目のベンチマークのうち、比較対象を含めて32項目で首位でした。コーディングではFrontierCode v2.0で優位、Terminal-Bench 4.0ではQwen 3.8 27Bと同等と説明されています。一方、AutomationBench-AAではQwenに及ばない項目もあります。公開元自身も追加検証が必要と述べており、ベンチマークの結果だけで実務上の優劣を決めるのは早計です。

同記事の使用感テストでは、Qwen 3.8 27Bと少なくとも同等水準と評価されていますが、これは独立した包括的評価とは異なります。業務で使う場合は、回答の正確さや画像理解、指示への従いやすさを、自社のデータや作業に近い条件で確かめるのが現実的です。

対応環境と、今日から試す一歩

推論環境はTransformers、llama.cppを使うLlama App、Appleシリコン向けのMLXに対応し、データセンター向けにはSGLangも初日からサポートするとしています。TransformersではAutoProcessorとAutoModelForMultimodalLMを使って読み込み、チャット形式の入力を作成できます。画像を試す場合は、入力に画像と質問文を含めます。また研究用には、ループ回数を変更できる派生版も公開されています。回数を減らすと高速化する一方、品質が下がる可能性があります。

まずはHugging Face上の「thinkingmachines/Inkling-2-Mini」をTransformersで読み込み、短い質問と手元の画像を一つずつ試すのがおすすめです。応答品質だけでなく、実行時のメモリー使用量や待ち時間も記録すれば、自分の環境でローカル運用できるか判断しやすくなります。


参考リンク
Hugging Face:Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

本記事はAIが生成し、自動公開しています。内容の正確性には努めていますが、重要な判断の際は必ず一次情報をご確認ください。