バーチャルYouTuber用オリジナルモデルをLive2Dを使って作りたい（３）「ゆかりねっと」＋「YAMAHA NETDUETTO」＋αで音声変換と自動字幕作成してYoutubeにアップロード
＜目次＞
１．バーチャルYouTuber用オリジナルモデルをLive2Dを使って作りたい（１）
２．STEAMでFaceRigとLive2DModuleを購入(Windows)
３．「ゆかりねっと」＋「YAMAHA NETDUETTO」＋αで音声変換と自動字幕作成
前回は、Steamというところで、バーチャルYouTuber動画のアバターを使用するためのFaceRig(フェイスリグ)と、Live2Dモジュールを約2000円で購入した。
今回は、その続きで、以下のサイトを写経して、
●自動ボイスチェンジ
●音声認識して自動で字幕
をやってみたい。
https://xn--w8jxbvbn6g2byc.com/yukarinet/
このサイトは、バーチャルYouTuberになりたい人にとっても参考になるページがいっぱいです。ぜひ一読をお勧めします。今回は、このページを写経しているだけです。
（環境）
Panasonic CF-RZ4
Windows 8.1 Pro
FaceRig + Live2D module (計約2000円)
OBS 21.1.12 (64bit, windows)
Chrome
（今回構築した環境）
Panasonic CF-RZ4
Windows 8.1 Pro
FaceRig + Live2D module (計約2000円)
OBS 21.1.12 (64bit, windows)
ゆかりねっと 0.4.2
Chrome
YAMAHA NETDUETTO
softalk
（１）「ゆかりねっと」のダウンロード
下記サイトから、ゆかりねっとVer 0.4.2 をダウンロード
ZIPファイルがダウンロードされるので、解凍（ダブルクリック）した中身を適当な場所に移動してから、setup.exe をダブルクリックしてインストール。
Windowsのスタートボタンから、すべてのプログラム＞ゆかりねっと で起動します。
私のPCでは、起動に10秒くらいかかりました。
（２）softalk（ゆっくりボイス）のインストール
以下のサイトからダウンロード
https://www.vector.co.jp/soft/dl/winnt/art/se412443.html
ダウンロードして解凍した中身を、適当な場所に保存。
特にインストールは必要なく、exeファイルであるSofTalk.exe をダブルクリックすることで、SofTlakが起動します。
（３）YAMAHA NETDUETTO のダウンロード
以下のサイトからダウンロード。
https://www.netduetto.net/download/
ZIPファイルがダウンロードされるので、解凍（ダブルクリック）した中身を適当な場所に移動してから、NETDUETTO-JP-win-x64-2.1.0.msi をダブルクリックしてインストール。
（４）FaceRigを起動
画面上の一番右のUI+をクリックしてアドバンストモードにしたのち、
右側の縦の緑のバーの上から2番目の「環境」アイコンをクリック
緑の背景をクリック
×ボタンをクリックしてギャラリーを閉じた後、画面左上の「インターフェースを隠す」をクリック
以下のような画面になる
（５）ゆかりねっとの起動
Windowsのスタートボタンから、すべてのプログラム＞ゆかりねっと で起動します。
私のPCでは、起動に10秒くらいかかりました。
一番左の音声認識のところを、SofTalk 読み上げ を選択
字幕 ＞ 簡易字幕設定 ＞ 表示モードを「簡易字幕」に設定
以下のようになる
下の方へ行き、SofTalk 読み上げ をクリックして、以下のように設定
画面真ん中上の方の、「開始」ボタンを押して、音声認識を開始する。
こんにちは！ と言ってみました。
いきなり、なんかいろいろな画面が出てきますが、とりあえず、OKとしておきます。
字幕は表示された！
が、残念ながら、SofTalkには何も表示されていない。。。
ゆかりねっとの画面の、右上の方にある、「プラグイン」をクリック
SofTalk読み上げ のところを、「有効」「表示」にしておき、さらに、「設定」をクリック
数秒待つと、以下のような画面になるので、SofTalk.exeのある場所を指定。
また、開始ボタンをクリックしてから、「こんにちは」としゃべってみる
今度は、SofTlakにも、「こんにちは！」と表示され、ゆっくりボイスで、「こんにちは」としゃべる声も聞こえた。
ちょっとしゃべってみたのですが、かなりの認識精度です。
しかも自動的に字幕になってくれる！
もう字幕を作らなくていいんだ！と感動。
「ゆかりねっと」＋「Chrome(Google)」＋「YAMAHA」＋「SofTalk」の神コラボにより、無料でこんなに簡単に音声認識＋音声変換を行うことができて、すごい時代になったもんだなと思いました。
（６）OBSの起動
まだインストールされていない方は、http://twosquirrel.mints.ne.jp/?p=25401 をごらんください。
画面左下の方のソースの、「＋」をクリック
ウィンドウ をクリック
今回はChromeでScratchのサイトを開いておいて、それを背景にすることとしました。
図の赤で囲んだ部分がプルダウンメニューになっていて、背景にしたいウィンドウを選ぶことができます。
さらに、先ほどと同様に、ソース の下の ＋ ＞ ウィンドウキャプチャ の後、OK をクリックして、
今度は、プルダウンメニューから、FaceRigの画面を選んで、OK をクリック
モデルの部分を右クリック ＞ フィルタ をクリック
画面左下の ＋ をクリック ＞ クロマキー をクリック
OK をクリックした後、このままでは胸のあたりが消えてしまうので、
「類似性」の部分を、400 から、276くらいに変更しておきます。（このあたりは好みの問題です）
以下のようになる。
位置をドラッグして調整。マイクの音量は「０」にしておきます。
FaceRigと同様に、ソースから、ゆかりねっとの字幕を追加し、クロマキーを設定する。
（７）OBSで動画を録画してYoutubeにアップロード
●ゆかりねっと で、開始 をクリック ＞ 立ち上がるので、許可 をクリック
●OBSで、録画開始 をクリック
●動きながらゆっくりしゃべる（文章ごとに、3秒遅れくらいで、ゆっくりボイスがしゃべってくれると同時に、字幕が自動的につきます）
●録画終了 をクリック
そしてできたのが、以下の動画です。
これ、FaceRig＋Live2DModule（約2000円）以外はすべて無料です。
あとは、Live2D Cubism 3 を用いて、公式モデルをちょこっと改変して、オリジナルモデルを作れば、オリジナルモデルでバーチャルYouTUberになれます！
とりあえずオリジナルモデルrは置いておいて、動画を作ってみたいと思います。
(リンク)
OBS Studio
https://obsproject.com/ja/download
ゆかりねっと 0.4.2
http://www.okayulu.moe/
Chrome
https://www.google.co.jp/chrome/index.html
softalk
https://www.vector.co.jp/soft/dl/winnt/art/se412443.html
YAMAHA NETDUETTO
https://www.netduetto.net/download/
FaceRig
https://store.steampowered.com/app/274920/
FaceRig Live2D Module
https://store.steampowered.com/app/420680/