3D生成モデルを自社データに適応するTRELLIS.2微調整ガイド

汎用モデルを用途に合わせて調整

3D生成モデルは、画像から立体物を作れます。一方、家具や靴など特定の用途では、全体の見た目が自然でも、寸法や細部の形状が十分でないことがあります。今回Hugging Faceが公開したのは、TRELLIS.2を手持ちの3Dデータに合わせて微調整するためのスクリプトとコンテナです。クラウドのHugging Face Jobsでも、Dockerを使って自分の環境でも実行できます。

解説では、Google Scanned Objects(GSO)の靴188点を使い、生成した靴のソール形状を改善できるかを検証します。狙いは、モデル全体を作り直すことではなく、用途に関係する箇所を選んで調整すること。TRELLIS.2が形状や素材を別々の段階で生成する仕組みを踏まえ、どの部分を学習させるかを判断します。

形状を段階的に作るTRELLIS.2

TRELLIS.2は、入力画像の背景を除去し、画像特徴を抽出した後、おおまかな構造、細かな形状、素材・色を順に生成します。内部では「O-Voxel」という表面中心の疎なボクセル表現を使い、最後にテクスチャ付きメッシュとして書き出します。ボクセルは3次元空間の小さな区画、疎な表現は物体のない領域を省いて計算する方法です。

この段階分けが、微調整の設計に役立ちます。粗い構造を予測するモデルと、詳細な形状を作るモデルが形を左右するため、記事ではこの2つにLoRAを追加します。LoRAは、元の重みを固定したまま小さな追加パラメーターを学習する手法です。素材を扱うモデルは変更せず、既存の色や質感の能力を保ちます。

学習させる範囲を選ぶ理由

データセットが靴188点と小規模なため、モデル全体を更新するよりLoRAが適しています。記事の設定では、2つの生成モデルを合わせて約930万個のアダプター・パラメーターを学習します。アダプターとは、元モデルに追加して調整する小さな部品です。対象を絞れば、計算やメモリーの負担を抑えつつ、既存モデルが身につけた汎用的な知識を保ちやすくなります。

素材生成を学習対象にしないのは、データにある色画像が、表面の色と照明の影響を分離していないためです。必要な素材情報と異なる画像で学習すると、光の当たり方まで表面の性質として覚えるおそれがあります。また、追加学習で元の能力が損なわれる「破滅的忘却」も避けたい点です。データがあるからといって、すべての段階を学習させるのが適切とは限りません。

実行方法と、まず試したいこと

用意されたコンテナは、データの前処理用と微調整用の2種類です。データをHugging Face Hubに置き、必要なアクセストークンを準備すれば、Jobsで前処理と学習を実行できます。自分のGPUを使う場合はDockerで動かせます。画像特徴の抽出に使うDINOv3はアクセス制限のあるモデルのため、事前に利用権限が必要です。

実践では、まず改善したい特徴を一つに絞り、その特徴に関係する生成段階と、学習データが本当に適切かを確認しましょう。たとえば靴底の形なら、色や素材のデータを無理に使わず、形状を扱う部分に対象を限定します。今日から試すなら、手元の3D資産を少数選び、形状・色・材質のどの課題を解決したいのかをデータ整理の前に書き出すことが第一歩です。


参考リンク
Hugging Face:The Definitive Fine-Tuning Guide for 3D Generation Models

本記事はAIが生成し、自動公開しています。内容の正確性には努めていますが、重要な判断の際は必ず一次情報をご確認ください。