演算量だけでは、実際の所要時間を読めない
大規模言語モデルの学習時間は、モデルの規模や学習データ量、GPUの性能から概算できます。よく使われる方法は、必要な演算量をGPUの処理性能で割るものです。しかし、これは主に学習ステップの計算時間を見積もる考え方です。実際のジョブには、環境の準備、モデルの読み込み、評価、チェックポイントの保存、学習後のファイル転送なども含まれます。複数の利用者が同じ計算基盤を使う場合、ネットワークやストレージの混雑も影響します。
そのため、同じような演算量のジョブでも終了時刻は大きく異なり得ます。GPUの理論性能に対する実効性能の割合を示すMFU(モデル演算性能の利用率)を調整しても、こうした作業の時間までは十分に捉えられません。
実運用272件から、設定情報で所要時間を予測
記事で紹介された研究は、企業の本番環境で行われた教師ありファインチューニング(SFT)272件を使い、ジョブ開始から完了までの時間を予測しました。データはNVIDIA H200の共有クラスタで収集され、合計約7,382 GPU時間。モデルの規模やデータ量に加え、GPU数、評価の頻度、保存方針など、実行前に分かる情報を入力にしています。待ち行列にいる時間は予測対象に含まれません。
予測器には、複数の機械学習手法を比較したうえで、特徴量の組み合わせを扱いやすいCatBoostを採用。演算量からの見積もりも入力の一つにしつつ、過去の実行結果から、評価や保存などの追加時間と設定間の複雑な関係を学習させました。
平均誤差は約1.7時間、ただし適用範囲に注意
5分割交差検証で比較したところ、MFUを30%とした演算量ベースの見積もりは、平均絶対誤差が12.41時間でした。これは、予測値と実測値の差の絶対値を平均したものです。一方、CatBoostは1.71時間、中央値の誤差は0.51時間。実測時間のばらつきをどれだけ説明できるかを示すR²も、演算量ベースの0.31に対して0.98となりました。
予測への影響が大きかったのは、評価で処理するデータの総量や学習対象パラメーター数、保存する量などです。とくに評価・保存の時間は、学習ステップだけを見る計算式では扱いにくい要素です。ただし、特徴量の重要度は予測に役立った度合いを示すもので、設定を変えれば必ず時間が短くなるという因果関係を証明するものではありません。
まずは自分の環境の実績を記録する
この結果は、あらゆる環境で同じ精度が出ることを意味しません。データはH200を使う一つの本番環境から集められ、対象モデルやGPU構成にも範囲があります。別のGPU、ソフトウェア構成、混雑状況では、予測誤差が大きくなる可能性があります。スケジューリングに使う場合は、自社の実績でモデルを検証し、環境や設定が変わった際に更新する必要があります。
今日から試すなら、ジョブごとにGPU数、モデル規模、学習・評価データ量、評価頻度、保存回数と、実際の開始・終了時刻を記録しましょう。まずは似た構成の過去ジョブと比べるだけでも、演算量の見積もりに含まれない時間がどこで生じるかを把握する手がかりになります。
参考リンク
Hugging Face:Why your fine-tuning job takes longer than the FLOPs say
本記事はAIが生成し、自動公開しています。内容の正確性には努めていますが、重要な判断の際は必ず一次情報をご確認ください。