少数の長い課題でエージェント能力を強化
RadixArkは、Qwen3.8-27Bをベースに強化学習で追加訓練した「DaisyRose-27B」を公開しました。強化学習とは、モデルの回答や行動を評価し、より望ましい結果につながるよう学習させる方法です。今回の特徴は、長い手順を要するエージェント向け課題に重点を置いたこと。約1,200件の選抜タスクを使い、144基のH200 GPUで訓練したとしています。モデルの構造や256Kトークンの文脈長などはベースモデルを引き継ぎ、重みはApache 2.0ライセンスで公開されています。
ベンチマークで見えた改善
報告された評価では、ターミナル上での作業能力を測るTerminal-Bench 4.1のpass@1が、Qwen3.8-27Bの5.6%から12.0%に上昇しました。pass@1は、1回の試行で正解に到達する割合を示す指標です。Terminal-Bench 2.1やソフトウェア修正を評価するSWE Bench Pro v2、指示追従を測るIFBenchなどでも、元モデルを上回っています。ただし、数値は各評価でBF16版とFP8版のうち高い方を採用したものです。評価条件によって結果は変わり得るため、用途に合った課題での検証が欠かせません。
訓練と実行環境を一体で改善
性能向上を支えたのはモデルだけではありません。課題は、元モデルが間違えやすい点を狙い、複数段階の推論やツール操作を必要とするよう設計されました。各タスクは最大1.5時間、100回超のツール呼び出しなどを含み、意図した問題を解かなくても合格できる設計になっていないか、人手で確認したといいます。
学習には、RadixArkの強化学習フレームワークMilesを使用。エージェントが課題に取り組む処理と、モデルを更新する処理を並行させます。同社によれば、自社基盤ではGPUの計算能力のうち有効な学習に使われた割合(MFU)が37%で、比較対象のオープンソース訓練器の16%を上回りました。これをもとに、同等の訓練に必要なGPU時間を57%削減できたと説明しています。これは同社の環境での比較であり、別のモデルや構成でも同じ差が出るとは限りません。
試す際は自分の業務タスクで評価
課題を動かすサンドボックス(隔離された実行環境)も整備され、プロジェクトでは約94万4,000回の起動を実施。クラウド費用は一般的なサンドボックスサービスを使う場合より約80%低かったと報告されています。利用者はBF16、FP8、NVFP4の各チェックポイントを取得でき、推論サーバーにはSGLangが推奨されています。モデルは既定で回答前の推論を行い、APIでは推論内容と最終回答を別々に受け取れます。まず今日試すなら、実際の業務から小さなコード修正や情報整理の課題を一つ選び、元モデルとDaisyRose-27Bに同じ条件で解かせ、成功率と所要時間を記録してみましょう。
参考リンク
Hugging Face:DaisyRose-27B: Pushing the Frontier of Post-Training Efficiency
本記事はAIが生成し、自動公開しています。内容の正確性には努めていますが、重要な判断の際は必ず一次情報をご確認ください。