家の外観を生かした対話型プロジェクション
MonsterHouseは、ハロウィーンに訪れた子どもたちと会話するために制作されたインタラクティブな演出です。ガレージの扉に木が裂けたような口を投影し、「海賊船の木材から建てられた、気難しい家」という設定を持たせています。怖がらせるよりも、ぶっきらぼうな家が「お願い」や「ありがとう」に反応して態度を和らげることが狙いです。
新しさは、単一のAIモデルにすべてを任せるのではなく、音声認識、返答の生成、読み上げ、口のアニメーションなどをつなぎ、ひとつの体験として構成した点にあります。NVIDIAのNemotron Voice Agentが各処理をまとめ、記事によると、2種類のRTX PRO GPUを搭載した1台のワークステーション上で動作します。
聞く、考える、話す、動かすを分担
来訪者の発話はNemotron 3 ASRが文字に変換し、対話の返事は小型言語モデルのNemotron 3.5 Bolt E4Bが作ります。ASRは音声をテキスト化する技術です。Bolt E4Bは4ビット量子化版を使い、限られた計算資源でも動かしやすくしています。返答を読み上げるのはMagpie TTS Zeroshotで、短い音声見本を参照してキャラクターの声を生成します。Audio2Face-3Dは音声に合わせて口の動きを作り、Unreal Engine 5上のキャラクターに反映します。
視覚面ではNemotron 3 Nano Omniが衣装を説明し、YOLOとByteTrackが来訪者の人数や動きを把握します。つまり、会話の内容だけでなく、目の前の状況を演出に取り込める構成です。ただし、記事が示すのは制作者による実装例であり、あらゆる環境で同じ精度が出ることを保証するものではありません。
「気難しさ」を会話の設計で作る
性格づけには、「不機嫌に振る舞う」という指示だけでなく、会話の進行ルール、アプリ側の処理、LoRAを組み合わせています。LoRAは、既存モデル全体を作り直さずに、追加学習で応答の傾向を調整する手法です。制作者は5000件を超える複数ターンの会話例を用意し、返答の一貫性や口調、繰り返し、生成速度を比較したと説明しています。礼儀正しい言葉で家が折れる流れを保ちつつ、すぐに陽気な応対へ変わらないよう調整しています。
この事例が示すのは、キャラクターらしさがモデル選びだけで決まらないことです。応答のルールや状態管理、例文の評価まで含めて設計する必要があります。なお、制作者はNVIDIAの社員で、公開前のモデルを試せたと明記しています。モデル評価にはその立場や利用条件も関係するため、他の環境での性能と同一視せずに読むのが適切です。
待ち時間を減らす工夫と、試すときの視点
会話のテンポを保つため、返答文が完成する前から読み上げを始めるほか、よくある挨拶や「お菓子」に関する返答は文章と音声を保存して使います。記事の測定では、発話終了から音声が出るまでの中央値は、Bolt E4Bと音声合成の組み合わせで1.70秒、保存済みの返答では0.72秒でした。発話終了の判定には300ミリ秒の無音待ちが含まれます。演出の内容に合わせ、応答品質だけでなく待ち時間も調整対象にしている点が実用的です。
同様の仕組みを試すなら、まず会話の状態を「初回」「お願いされた後」「お礼を言われた後」などに分け、各状態での返答例を少数作るのがおすすめです。今日からできる一歩は、10件ほどの会話例を用意し、返答の口調と応答時間を記録して、どの段階で不自然さが出るかを確かめることです。
参考リンク
Hugging Face:nemotron-halloween
本記事はAIが生成し、自動公開しています。内容の正確性には努めていますが、重要な判断の際は必ず一次情報をご確認ください。