モデルを「使う環境」に合わせて調整
AIエージェントの性能は、基盤モデルだけで決まりません。ツールを呼び出し、結果を受け取り、次の行動を決める実行環境も重要です。この環境は「ハーネス」と呼ばれます。モデルは一般的な能力を高めるよう学習されているため、特定のハーネスや業務に最適化されているとは限りません。そこで、基盤モデルの重みを固定したまま、ハーネスごとに追加学習したLoRAアダプターを組み合わせるのが「ハーネスアダプター」です。LoRAは、モデル全体を再学習せず、追加の小さな重みで振る舞いを調整する手法です。
実際のハーネス内で強化学習
Hugging Faceの実験では、Qwen3.8-27Bを対象に、Pi、OpenCode、Hermes Agentそれぞれの環境でアダプターを学習しました。特徴は、学習用に簡略化したエージェントを使うのではなく、実際に使うハーネスを動かし、その入出力を記録して学習に反映した点です。OpenEnvとHarborを介してタスクを実行し、TRLのAsyncGRPOTrainerで強化学習を行います。GRPOは、複数の回答を比較して、よりよい行動を選びやすくする学習方法です。データ作成や学習はHugging Face Hub上のJobsで進められる構成になっています。
正解を判定できるタスクづくりが鍵
学習タスクは、Hub上のSWE-smithやSWE-Gymに加え、Tasksmithで作成したものを利用しました。実際のコード修正に近い課題を集めるだけでなく、検証の厳しさにも重点を置いています。OpenEnvの検証では、正解の修正が高い報酬を得ること、何もしない場合は低いこと、既知の誤答を誤って合格させないこと、同じ試行で結果が再現することなどを確認しました。さらに、基盤モデルで解けてしまう簡単な課題を避けるため、難易度も確認します。誤った判定器や簡単すぎる課題で学習すると、望ましくない行動を覚えるおそれがあるためです。
精度と効率を両立できるか
記事によると、Piを使ったTerminal-Bench 2.1では、基盤モデルの成功率が39%、タスク当たりの平均トークン数が約2,900でした。Pi向けアダプターを加えると、pass@1(1回の試行で正解する割合)は55%となり、平均トークン数は約1,500に減りました。著者らは、推論を短くし、ツール呼び出しを減らしながら、初回の成功率を高めた結果と説明しています。また、3つのハーネス向けアダプターを統合した「スーパーアダプター」も作成し、各環境で利用できる形にしました。ただし、モデルが何を学んだのか、別のタスクや環境でも同じ効果が出るのかは、引き続き検証が必要です。自社で試すなら、まず対象業務を絞り、正解・誤答を確実に見分けるテスト課題を少数用意して、現在の成功率とトークン消費を測るところから始めるとよいでしょう。
本記事はAIが生成し、自動公開しています。内容の正確性には努めていますが、重要な判断の際は必ず一次情報をご確認ください。