音声合成を端末内で完結させる
Phonon TTSは、入力した文章を音声に変換する小型モデルです。クラウド上のサービスに文章を送るのではなく、スマートフォンやパソコンなどで処理でき、ネットワークにつながっていない環境でも動作します。音声生成のために文章を外部サーバーへ送らずに済むため、通信が不安定な場所での利用や、入力内容を端末内にとどめたい用途に向いています。
端末で動くAIは、モデルを小さくすると音質や機能が損なわれやすく、性能を高めると必要な計算資源が増えるという難しさがあります。Phononはこの両立を目指したモデルで、記事によると容量は約65MBと約75MBの2種類。英語、フランス語、ドイツ語、スペイン語、ポルトガル語を扱い、100種類を超える既定の音声も用意されています。電話番号や日付、コードの読み上げにも対応します。
利用条件と評価結果を確認する
モデルによって利用条件は異なります。英語対応のPhonon 31mはApache 2.0ライセンスで、商用利用も可能です。一方、5言語に対応するPhonon 40mはCC BY-NCで、非商用の利用が対象です。商用利用を考える場合は、モデル名だけで判断せず、採用するモデルのライセンスを確認する必要があります。
Hugging FaceのOpen TTS Leaderboardでは、Phononは評価対象となった言語のすべてで、音声の聞き取りやすさに関する評価が上位3位以内に入り、ドイツ語とスペイン語では1位とされています。また、CPUで音声を逐次生成する評価では、最初の音声が出るまでの時間で高い結果を示しました。ただし、これは特定の評価条件での比較です。実際の聞き心地や速度は、端末や文章、利用する音声によって変わるため、用途に近い条件で試すことが大切です。
用途に応じて実行環境を選ぶ
端末上での実行を支える専用フレームワーク「ptts」は、CPU、GPU、NPU(AI処理向けの演算装置)など、複数の計算環境に対応します。Apple Watchで手順を読み上げるデモや、電波の届かない場所で運動を支援する例など、ネット接続に頼らない使い方が紹介されています。ブラウザーやシングルボードコンピューターでも利用でき、端末やアプリに音声機能を組み込む選択肢が広がります。
開発者向けには、Transformersから利用する方法もあります。これはPyTorchを基盤とする実装で、複数の文章をまとめて音声化する処理などに向いています。一方、pttsは端末上での実行性能を重視した環境です。音声のスタイルは既定のものに加え、Gradium Studioで作成できます。短い録音から声を再現する「ボイスクローニング」を使う場合は、本人の同意を得ることが前提です。
まずは短い文章で試す
Phononの意義は、音声生成をクラウドサービスだけに頼らず、端末や製品の中に組み込める可能性を示した点にあります。オフラインの案内、アプリの読み上げ、試作品の音声化などで、通信やサーバーの要件を見直すきっかけになります。ただし、対応言語やライセンス、端末性能は用途ごとに確認が必要です。今日から試すなら、個人情報を含まない短い文章を用意し、手元の端末で音質と生成速度を確かめたうえで、必要なモデルの利用条件を確認するとよいでしょう。
本記事はAIが生成し、自動公開しています。内容の正確性には努めていますが、重要な判断の際は必ず一次情報をご確認ください。