AI VTuberが自動的にコミュニケーションをしてくれるYouTubeチャンネルが増えてきました。
このあたり、AI VTuberを実現するにはアプリケーションの選択肢も多数あり、また、少しスクリプトの知識が必要になったりする部分もあります。
けれど、次々と小難しいプロセスや煩雑さを軽減してくれるアプリケーションがリリースされ、それを利用して簡単にAPIを実装する方法が出てきているので、まずは備忘録的にブログ記事で、配信環境のメモを記録しつつ、下地を作っておこうかなという内容です。
取り急ぎ、筆者もいろいろと検証しつつなので、AI VTuberを猫アバターで検証しています。
実際のライブ映像配信で、手放し配信ができるところまでを目標にしているので、当面はYouTubeでサブチャンネルを作って、制作過程を記録して検証を重ね、制作プロセスや実行環境を、このブログ記事で足していきます。
目次
AI VTuberとは？
AI Vtuberとは、AI（人工知能技術）を用いて作成されたAIが主体となってコミュニケーションしてくれるバーチャルYouTuberのことをいいます。
一般的にVtuberの場合、3Dモデリングで全身をモデリングして多くのモーションセンサーを付けて演じたり、顔や上半身だけあれば、Live2Dなどのソフトよって、話しているときやリアクションしたときのモーションをデザインしてキャラクターデータとして実装して、それを人間が演じます。
それに対して、AI Vtuberは、大規模な自然言語処理技術（LLM）によって学習しているChatGPT系のAPIや、そのほかにも提供されているAPIの利用によって、例えば、YouTubeのライブ配信などで、デザインしたオリジナルキャラクターが自動的にコメントなどを読み取って自動的にしゃべってくれたりします。
AI Vtuberも含めて、OpenAIが提供するAI生成コンテンツ技術の一般公開によって、AIが生成するコンテンツは自然でリアルな表現をすることができるようになり、一気に利用者数が増えました。
また、AI Vtuberは、人間が行う必要があった演技や声の収録をする必要がなく、24時間ライブ配信を続けることができるというのが特徴です。
実際、まだ人が監視していないとガイドラインに違反する内容を返してしなうこともあるため、完全に手放しというわけにはいかないです。
けれど、そのあたりもカスタマイズ方法が増えていって解決してくる問題と考えています。
そのため、動画配信やインタラクティブなコンテンツ制作の分野において、大きな可能性を秘めています。
ただし、商用利用も含めて、完全に自分の著作物としてAI Vtuberを制作して配信するには、まだまだ色々な障壁があり、ライセンスなども含めてまだまだ発展途上であるのが事実です。
しかし、このあたりもAI技術の発展によって、高度なコミュニケーションを可能にしたAI Vtuberを制作して行くことが可能になると考えています。
AI VTuberがコミュニケーションをするプロセス
本記事では、YouTubeというプラットフォームを利用したAI Tuberを基準に書いていきます。
AI VTuberがコミュニケーションをするプロセスを、ざっくりと書いていくと以下の通りになります。
- AI Tuberとしての配信が可能な準備を行ってライブ配信をする
- 配信中にコメントがあれば該当するテキストデータを読み取る
- 読み取ったデータを、ChatGPTなどの言語モデルで処理する
- 処理されたコミュニケーションに利用するテキストをAI VTuberから、合成音声で読み上げさせる
簡単に書いてしまうと上記の4プロセスになりますが、実際には、配信に利用するアプリケーションも含めて、いくつかのAPIを各工程で利用、そして処理をつなぎ合わせていき、AI VTuberが双方向にコミュニケーションをするというところまで、多くの工程を必要とします。
執筆時点（2023年02月26日時点）では、まだ誰でも簡単に自分の著作物としてAI Vtuberを制作するところから配信するところまで、簡単にライブ配信までできるようにはなっていません。
AI VTuberでの配信方法
様々なAIによるコンテンツ生成技術をつなぎ合わせてライブ配信などを行うための主役になるツールとして、現在ではOBSというライブ配信支援ツールを利用します。
AI VTuberで利用するキャラクターの作り方
ココについては、本記事の最初に紹介したLive2Dをつかって作成も出来ます。
そのほかにもBlenderなどの3DCGモデリングが可能なアプリケーションでキャラクターを作成していく事もできるので、方法は多種あります。
AI VTuberで配信を始めるための準備
この部分から、選択肢がたくさんあるので、現在、どの言語モデルやツールを組み合わせて作っていくのか色々検証してみたいと考えているところです。
ただ、2023年03月01日に、ChatGPT APIの提供が始まったので、それをベースにキャラクター用のカスタマイズをして利用するのがシンプルと考えています。
AI VTuberで配信をしている事例
YouTubeで「 AI VTuber 」と検索すると、すでに色々な方法でAI VTuberとして、どうやってコミュニケーションを確立させるか、様々なアプリケーション構成で検証されているので、動画の内容を見ながら、利用環境を確認していくと学びになります。
AI VTuberでライブ配信して感じた課題
おそらく、かなり洗練されたNGワードのブックを実装しないと何かと難しいかなと感じました。
あとは、何と答えればよいのか分からない文字列の質問をされたときなど、ある程度のテキスト配列から外れ値を算出するようにしてNGワード用の判定をするかどうかをカスタムする必要があります。
AI Vtuberの今後について
AI Vtuberは、AI（人工知能）技術の進化と一緒に、リアル且つ言葉とモーションが、今よりも一致する表現を可能にしていくと考えています。
リアルにコミュニケーションがとれるようになると、AI Vtuberという括りを抜けて、様々な分野で、応用して活用されることが容易に考えられます。
筆者自身も、会社員時代に、このあたりのAI VTuberも含めた様々な実証実験を行いました。
YouTubeだけでなく、当時はそれをHoloLensを応用して作ってみたり、実際にVtuberを空中上に投影させて双方向性のコミュニケーションをとるなど、様々な事をやってみました。
空中ディスプレイでずっとAIVTuberによる配信を続けられたら面白い
AI Vtuberは、クリエイターにとってビジネスにできる可能性も秘めています。
特に、自分でイラストやデザインが出来る人にとってはすごくチャンスのある市場になっていきます。
自分でキャラクターをデザインするときに、世界感設定、キャラクターの設定などを作り込んで、それを活かしたデザインでAI VTuberを制作していけば、あとは、自分が制作したコンテンツが、勝手にコンテンツを生み出していってくるようになります。
技術的なところで考えれば、コメントに対して各プラットフォームのガイドラインに関する制御が難しい場合、AI VTuberを2体用意して、互いに話すコンテンツにすれば、テキストを読み込んで応答するAPIなどの回数も制御できるようになるので一石二鳥です。
上記のように、AI Vtuber同士が会話をする動画や、AI Vtuberを用いた様々なインタラクティブアプリケーションが生まれ、従来のVtuberでは実現できなかった、新しい形のコンテンツが生見出すことも可能なので、ビジネス的にすごくチャンスがあります。
筆者の場合は教育分野に関する応用で進めている部分もありますが、あらゆる分野のエンターテイメントでも活用可能です。
AIVTuber用のモデルデータを360度スキャンで作成する
例えば、360度スキャンで簡単にモデリングできる技術などもあるので、何かと視聴条件が厳しくなるかかも知れませんが、もしかしたら、有名人のAI VTuber版などが出てきたりもするかも知れません。
安心して商用利用も出来る形で、且つ費用も抑えて出来るように、今後もこのAI VTuberの記事については更新していく予定です。
AIVTuberの検証用VRMフォーマットモデルを用意しました
また、バーチャル空間で遊べるワールドを提供しているclusterなどで遊べるように、VRMフォーマットに対応した三毛猫さん3DCGアバターなどを無料で配布しているので、実際に経験しつつ、このあたりの分野をぜひ体験して見てください。
参考リンク：ユニコスタンプ®ストア｜SUZURI
最後まで読んでいただきありがとうございました。
