ページ

▼

2020年3月8日日曜日

OBS+音声認識+字幕

翻訳：戸＊＊＊＊

↑「ゆかりねっとコネクター」を利用したルビ付き字幕


音声認識でOBSを操作する

以下の記事の範囲で出来る事

ゆかりねっと+ゆかりねっとコネクター（プラグイン）で、

  • 日本語字幕が出せます。
  • ルビ付きの日本語字幕が出せます。
  • 他言語に翻訳した字幕が出せます。
  • NGワードを伏字に出来ます。
  • キーワードを置換出来ます。
  • キーワードで動画を再生できます（クロマキー合成を伴い、音は出ない）。
  • キーワードでJPG画像を表示、消去出来ます。
  • キーワードで音声ファイルを再生出来ます。
  • キーワードでOBSのシーンを変更できます（動画ソースの差分で動画再生機能として利用可能？）。

ざっくりメモです、詳細は配布元やヘルプなどのドキュメントを参照のこと。


関連アプリのインストールと設定

Google Chrome

マイクの設定、確認が必要。
設定 ＞＞ サイトの設定 ＞＞ マイク
「既定～」ではダメ。使用する音声入力デバイスを直接指定する。


OBS

ver22以降かな。


OBS WEBソケットプラグイン

OBSを外部アプリで操作するために必要。4.5.0じゃないと動かないかも。
インストーラー版を使うか、Zip版をダウンロードして、OBSのフォルダのルートに置く。（32bit版、64bit版同梱）
OBSに「ツール ＞＞ Websocketサーバ設定」、が追加されたことを確認します。


ゆかりねっと.exe

ver1.0.4は二種類あるので、自分の環境に合わせて選択。


「字幕のみ利用」にチェック。
この設定をしないと、詳細字幕ウィンドウに字幕が表示されません。分からなくてハマった（おこ）。
フィルター機能（動画再生、NGワード指定）は詳細字幕ウィンドウでのみ機能します。


詳細字幕のフォントの設定方法について

1.　字幕 ＞＞ 詳細字幕共通設定　→　フォントの設定が出来ない
2.　字幕 ＞＞ 字幕のみ利用　　　→　フォントの設定が出来る　
3.　音声認識 ＞＞ 字幕のみ利用 ＞＞ 詳細字幕設定　→　フォントの設定が出来る

↑「詳細字幕共通設定」ではフォントが変えられないので焦る。罠。


音声認識エンジン（簡易字幕ウィンドウ）


↑このウィンドウが音声認識の本体らしく、閉じると音声認識しなくなります。
間違って閉じたときは、音声認識 ＞＞ エンジン再起動 、で復活します。
また、音声認識ウィンドウが複数起動していると正常に動作しません。

字幕 ＞＞ 簡易字幕設定
ここでウィンドウの見た目をクロマキー合成用に変更したり、フォントの変更が出来ます。簡易字幕ウィンドウではフィルター設定は効きません。
紛らわしくなるので、結月ゆかりモードのままが良いかも。


ゆかりねっとの音声認識で動画を再生する

 
フィルター ＞＞　フィルター追加 ＞＞ フィルターセットを追加
＞＞ 動画を流してかき消す

設定したワードを認識すると、詳細字幕ウィンドウに動画が流れます。音は出ませんし、字幕用のクロマキーの影響を受けます。利用は限定的かも。


ゆかりねっとでNGワードを伏字にする

フィルター ＞＞ フィルター追加 ＞＞ フィルターセットを追加
＞＞ 削除（マスク）する

放送禁止用語などを登録しておきます。未登録でも伏字になる単語、ありますね？謎。


ゆかりねっとコネクター（追加プラグイン）

ゆかりねっとに便利なプラグインを複数追加してくれます。
単体でも動作し、音声認識、ルビ付き字幕、翻訳字幕、OBSテキスト字幕など可能。
アプリ本体については後述。


インストール時の注意

ゆかりねっとコネクターのインストールには ゆかりねっとがインストールされているフォルダ を指定してください。
インストール先がバラバラだと、ゆかりねっとにプラグインが追加されません。
気が付かずにハマりました（おこ）。

x86版　→　C:\Program Files(x86) \OKAYULU STYLE\ゆかりねっと
x64版　→　C:\Program Files\OKAYULU STYLE\ゆかりねっと



正常にインストールできると、ゆかりねっとに便利機能プラグインが追加されます。


ゆかりねっと OBS連携プラグイン

ゆかりねっと ＞＞ フィルター ＞＞ OBS連携プラグイン、を有効に。


起動キーワードと目的のシーン名などを記述した設定CSVファイルを用意、指定します。
シーン名に半角スペースが入っているとダメかも。
文字コードについて注意書きがありますが、メモ帳（ANSI）で書いても動きました。



プラグインに同梱の、CSVエディタ（CSVEditor.exe）を利用した場合。




作成したCSVファイルを、設定ファイルとして指定します。



動作確認

1. [音声認識を開始する] 
2. マイクの許可
3. 設定した起動キーワードを喋って認識させる
4. OBSのシーンが切り替わる

おおまかなCSVファイルでのプラグイン設定は以下も同様です。


写真連携プラグイン

キーワードで「表示画面」ウィンドウに、任意のJPG画像を表示、消去する機能です。
表示座標とサイズを数値入力で指定するので少々面倒です。
v2.9J20では座標のXYがYXになっていました（おそらくバグ）。


音源連携プラグイン

キーワードで音声ファイルを1回再生する機能です。
出力先のサウンドデバイスを指定できるので、仮想オーディオデバイスが一つ欲しいです。音量調整は出来ないので、OBS側で入力調整すればいいかな？
キーワード「大勝利」→ファンファーレ再生、など設定すると良い感じ。


ワード一括置換プラグイン

認識音声のユーザー定義フィルターをCSVで指定する簡易タイプです。
0：置換
1：認識はなかったことになる
2：動画を流してかき消す
～の3種類の処理に対応。


ゆかりねっとコネクター転送プラグイン

ゆかりねっとコネクターをインストールしているなら「有効」で良いかと。


他の字幕アプリ

ゆかりねっとコネクター


名前が紛らわしいですが、「ゆかりねっと」とは別のアプリ。
開発版は機能や画面レイアウトが違って、以下のメモは別版では使えないかも。
v2.9J18、v2.9J20を試用。

  • 単体で利用できます。「ゆかりねっと」との連携は必須ではないです。
  • ルビが付けられます（漢字の読み仮名）。まれに読みを間違う。
  • OBSのテキストソースとしても利用でき、クロマキー合成でなく、OBSで設定したフォントで字幕を表示できます。この機能では、現在ルビは非対応っぽい。
  • 音声認識した日本語を翻訳して英語など他言語の字幕を同時に表示できる。
  • 設定や操作が少々複雑です。


ざっくり使い方

ゆかりねっと と併用する場合は、
▼接続  ＞＞ プラグインから入力、を選択。


単体で利用する場合は、
▼接続  ＞＞ Chrome音声認識 ＞＞ Chromeを出す
音声認識ウィンドウが開くので、 [Recognition Start]
音声認識を停止するには、[Recognition Stop] か、音声認識ウィンドウを閉じる。




メインウィンドウ右上のボタンで字幕ウィンドウを表示する。


表示タイプは「テロップ表示」、「リスト表示」の2種類。
それぞれ設定が別。同時利用が可能。
※v2.9J18ではリスト表示が少し崩れた。開発中の一時的な不具合ぽい？



OBSへ文字情報を送る

クロマキー合成でなく、OBSのテキストソースで字幕を表示するには。

▼OBS転送 ＞＞ OBS Studio ＞＞
接続設定　　　＞＞ [OBSに接続]
転送先の設定　＞＞ 「母国語」「翻訳文」にOBSのテキストソース名を入力



OBSのテキストソースの設定例

「テキスト領域の範囲を指定する」といいかも。
設定サイズのテキスト枠の画像（座布団）を用意すると見栄えが良さそう。



ゆかりねっとコネクターのフォント設定

OBS転送機能を使わず、ウィンドウキャプチャ+クロマキー合成を利用する場合は、ゆかりねっとコネクターでフォントの設定をする。

▼字幕設定
下層のタブにいろいろ設定がある。
設定を変更すると[反映]ボタンが点滅するので、都度、押して適用します。めんどい。
字幕のレスポンスが悪いときは、「表示時間制御を切る」をチェックすると改善するかも。



字幕クン


Chromeブラウザですぐに利用できるので、とてもお手軽。



う＊＊う＊＊う＊＊

ゆかりねっとコネクターの翻訳字幕機能とYoutubeチャットウィンドウのGoogle翻訳を組み合わせれば、日本語以外の言語圏の人ともコミュニケーションがとれそう。
ただし、翻訳しやすい日本語で話さないと誤変換＆誤訳の面白字幕になってしまう諸刃の剣。
Youtubeには自動字幕生成機能がありますし、翻訳も出来るので、リアルタイム処理が必要ないなら、そちらの利用も良さそうです。

0 件のコメント:

コメントを投稿