novenoveさんの作ったtxt2exoを使ってニコカラ作成を試してみました。

【手順】
1. 動画と歌詞を用意する
2. RhythmicaLyricsでタイムタグを付けて、ルビ付きkraファイルの作成
3. txt2exoでexoファイルを作成
4. AviUtlでexoファイル読み込み、動画の出力


0. 使うもの

■ RhythmicaLyrics　　　
■ aviutl (aviutl100.zip)
　　　【プラグイン】
　　　　● 拡張編集Plugin (exedit92.zip)
■ txt2exo Ver 0.3.0 (β4) [2015.6.3現在]



1. 動画と歌詞を用意する

(1) 動画と歌詞の取得はニコカラ作成（女医ハック版）の手順 1. 2. を参考にしてください。


2. RhythmicaLyricsでタイムタグを付けて、ルビ付きkraファイルの作成

(1) RhythmicaLyricsを起動。
　　メニューの ルビ＞ルビを表示する を選んで設定をONにする。


(2) 曲と歌詞を読み込むと自動チェック機能ですべての文字にルビが振られる。
　　メニューのルビ＞漢字以外のルビを削除 を行う。
　　あとルビの修正（F2キーで編集）。


(3) 曲を再生、タイミングを合わせてスペースキー連打してタイムタグを付ける。
　　付いたらメニューの ファイル＞出力＞txt2ass向けカラオケタグ でルビ付きkraファイルを作成する。



3. txt2exo でexoファイルを作成

(1) txt2exoを起動。
　　kraファイルを読み込み、各種設定を入力して、作成ボタンを押す。



4. AviUtlでexoファイル読み込み、動画の出力

(1) AviUtl に 拡張編集Plugin を導入して起動。動画を読み込む。
　　mp4を読み込みたい場合は、ニコカラ作成（女医ハック版）の手順 5.(3)に書いた入力用プラグイン（4ファイル）の導入を行う。
　　リンクはニコカラ作成（女医ハック版）の「0. 使うもの」から。


(2) メニュー＞設定＞拡張編集の設定 で拡張編集ウィンドウを出し、ウィンドウ内を右クリック ファイル＞オブジェクトファイルのインポート からexoファイルを読み込む。
　　その際、読み込み位置が動画の先頭になるように注意する。（ウィンドウタイトルが 拡張編集 [00:00:00.00] [1/******]になっていることを確認。）


(3) 問題ないか確認したら動画として出力する。
　　動画の出力の仕方はニコカラ作成（女医ハック版） や 他のサイトを参考にしてください。




大体こんな感じの手順で行けました。
とっても簡単にカラオケ字幕が作成できるようになりましたね！

ニコカラちっくなものに挑戦する機会があったので作り方解説。

---

＜追記＞
・ニコカラ作成（txt2exoを試してみた） を書きました。
・ちなみに、女医ハックもtxt2exoを使うのもあまり一般的ではありません。
　よく使われるのは
　　txt2ass → VirtualDub(歌詞焼き込み) → aviutl等(編集・エンコード)
　 の流れだと思います。

---

【手順】
1. ニコカラにしたい動画から音声を取得
2. 歌詞を取得
3. タイムタグを付ける
4. パート分け
5. 一度、動画上でどう表示されるか確認する
6. 歌詞の調整
7. ルビの調整
8. 動画作成


0. 使うもの

■ RhythmicaLyrics　　　
■ aviutl
　　　【プラグイン】
　　　　● 女医ハック AviUtlフィルタ
　　　　● MP4読み込みプラグイン（L-SMASH Works）
　　　　● MP4出力プラグイン（x264guiEx 2.xx）
　　　　　　　★設定準備やエンコードについてとか


1. ニコカラにしたい動画から音声を取得

(1) RhythmicaLyricsを起動。 メニューから[ファイル＞+動画サイトから曲を取得＞ニコニコ動画]


(2) 開いた内部ブラウザ上で取得したい動画のページを開く。 動画を最後までロードする。




(4) 最後までロードすると保存ダイアログが開くので音声ファイルを保存。
　　（有償著作物等の保存はやめましょう）


(5) ついでなのでニコカラ用の動画も保存する。 もう一度、ニコニコの動画ページを開いて保存ダイアログを出す。[ ファイルの種類]で動画ファイル形式を選択する。



2. 歌詞を取得

(1) 動画(mp4)から音声読み込みになっているので、曲ファイル(m4a)を読み込み直す。


(2) 歌詞を取得。 ボーカロイドの曲なら初音ミクWikiから。 [ファイル＞+歌詞検索ソフトで歌詞を取得＞Googleのサイト内検索で取得]


(3) 「Google歌詞サイト検索」ウィンドウで初音ミクWikiを選択。


(4) 内部ブラウザが開く。 うまく検索できてない時は検索ワードを変更する。（愛Dee MV　→　愛Dee）



(5) リンクをクリックすると、RhythmicaLyricsに歌詞が読み込まれる。（自動チェックツールが自動で働く）



3. タイムタグを付ける

(1) 設定を変更しておく。
　　・[ツール＞設定＞カスタマイズ＞表示 - メイン＞「多段ワイプ」と「ルビ表示」にチェック]
　　・[ツール＞設定＞カスタマイズ＞表示 - エディタ＞「ルビも一緒に編集」にチェック]




(2) 曲を再生。 曲のタイミングに合わせてスペースキーを押してタイムタグを付けていく。


(3) 後で整形するので、どこで時間が逆行していても良いからとりあえず全部タイムタグを付けてしまう。（行の変わりだろうが、1行の中だろうが）


(4) 全部付け終わったら、一度編集状態を保存する。 [ファイル＞名前をつけて保存＞ファイルの種類] RhythmicaLyrics編集ファイル(*.rlf)で保存。（歌詞、タイムタグ、チェック、ルビとか全部保存される）



4. パート分け

パート分けする必要がない場合はこの項目を飛ばして下さい。

1系統だけの中で複数行同時にワイプができないので、同時にワイプしたい場合は上手く2系統目を使う必要があります。

(1) パート分けをする。テキストモードにして、まず1系統目（1・2行目使用）だけのテキスト[Aパート]を作成する。（ルビもまとめて表示されます）

手順[ 5.(1) 設定→ 5.(2) 保存 ] まで行ったら、またここに戻ってきて、『3.(4)で保存したRhythmicaLyrics編集ファイル(*.rlf)』を読み込み直して、2系統目（3・4行目）だけのテキスト[Bパート]を作成する。

5. 一度、動画上でどう表示されるか確認する

(1) [ファイル＞出力＞女医ハックテキスト]の[設定]でフォントの種類と色を変更できる（サイズは後でaviutl側で設定する）。



(2) [ファイル＞出力＞女医ハックテキスト]の[実行] で女医ハックテキストを保存する。
　 （パート分けした場合は2パート目も保存する。 2パート目は[設定]で[2系統目（3・4行目）表示]にチェックを入れる）


(3) aviutlの準備。 aviutlと同じフォルダに以下のファイル/フォルダを置く。
　・lwmuxer.auf、lwcolor.auc、lwdumper.auf、lwinput.aui （入力）
　・auo_setup.exeを実行しインストーラの指示通り進める（出力）
　・JHfilter.auf、 JHfilter - コピー.auf、 JHDrawLib.dll
女医ハックフィルタはコピーして2つ置く。（実は歌詞の2系統目は裏ワザ的な方法で出している）


(4) aviutlを開いて動画を開く。[ファイル＞開く]
女医ハックフィルタがフレームレート情報が上手く取れないことがあるみたいなので[30fps]で強制的に読みこむようにする。


(5) [フィルタ＞JoyHack]が2つある。上から1つ目を選択したら、［設定＞JoyHackの設定］も上から1つ目を起動する。JoyHack設定ウィンドウの[File Select...]で、保存した女医ハックテキストを読み込む。

パート分けした場合は、2つとも選択・起動。それぞれのJoyHack設定ウィンドウで、[Aパート]、[Bパート]のテキストを読み込む。

（fpsはここで[Debug Output]をチェックすれば画面上で確認できる）



6. 歌詞の調整

(1) [表示＞再生ウィンドウの表示]で再生しながら確認できる。
　　フォントサイズやDelayの調整をする。


(2) 文字が収まっていなかったり、ワイプ前の歌詞がずっと表示されていたりするので調整していく。
　・歌詞の途中に改行を入れて1行分の文字幅を短くする。
　・歌詞のない行にタイムタグを付けて、歌詞の消えるタイミングを調整する。



7. ルビの調整

(1) [さくらウィンドウ＞さくら編集＞漢字以外の読みを削除]をする。

ルビがズレたりしてしまった場合は、 [さくらウィンドウ＞さくら編集＞すべての読みを削除]の後、 [ツール＞自動チェック付加実行]でルビを付けてください。

(2) さくらウィンドウの[かな]にルビを入れていく。
　・タイムタグで区切った単語は先頭の文字にルビを入れれば良い。
　・Tabキーでメインウィンドウとさくらウィンドウを行き来できる。
　・[かな]にフォーカスがあるときCtrl＋カーソルで移動できる。


(3) ルビを付けた文字の後に空白があると、ルビの位置がズレてしまう。空白にもタイムタグを付けて区切る。
　・移動しやすいように、
　　[編集＞すべてのチェックを外す]
　　＋[編集＞空白にチェックを付加＞すべての空白]。
　　 再生中に移動すれば空白の場所だけを移動できる。
　・[Ctrl+スペースキー]で
　　現在の位置にすぐ次のタイムタグと同じ時間をセットできる。

　　（他にも便利なショートカットキーは[ヘルプ＞使用キー一覧]を参照）



8. 動画作成

(1) すべての調整やルビ付けが終わったら、aviutlで動画にする。
　　設定やなんやかんやは
　　http://nicowiki.com/aviutl_h264.html
　　辺りを参考にすればいいと思う。


【おしまい】


↓ 上記の方法で出来た動画

超今更なんですけど、RhythmicaLyricsで出力したVSQファイルでリップシンクさせたい場合の諸注意です。

MMDで簡単にリップシンクさせる方法を紹介したこの動画


それなりに見れる形でリップシンク出来てますが、実はこの口パク、RhythmicaLyricsのお陰で綺麗に出来ているわけではありません。
実はMMDのお陰だったのです！！
MMDによって口パクが綺麗に見えるように表情が調整されています。
RhythmicaLyricsはただ単にタイミングを指定しているに過ぎなかったのです！

で、そうだったとして、それのどこに注意するところがあるのかというと、Face And Lipsで表情付けや調整をしたいと思った場合です。
Face And Lipsは、おそらく素直にそのままVSQデータを読み込んでいるので、直接RhythmicaLyricsからFace And LipsにVSQを持って行こうとすると、MMDでVSQ読み込みをした場合よりなんというか平坦な(?)表情になってしまいます。

RhythmicaLyrics(VSQ出力) → Face And Lips(VSQ読込み)


RhythmicaLyrics(VSQ出力) → MMD(VSQ読込み/VMD出力) → Face And Lips(VMD読込み)


なので上の例のように、一度MMD側で読み込んでVMD出力、Face And Lipsで読み込み、とするとMMDで調整されたリップシンクを得ることができます。

（私は、MMD作品を作ってないので、もしかしたら一旦VMD出力するのは何かしら問題があったりするかもしれません。その際はご一報下さい＾＾；）

RhythmicaLyricsのVer.3.4から
・さくら歌詞カード
・txt2ass向けカラオケタグ
・リップシンク用VSQファイル
を出力できるようになってます。

なんで今更「さくら歌詞カード」？っていう話なんですけど。


■とりあえず変遷

とある動画を見た
・デスクトップでうたう初音ミク。に歌詞を見せてみた。(sm1093309)
・デスクトップでうたう初音ミク。に歌詞を見せてみた。その後・・・(sm1116368)
おー、かわいいなぁ。
口パクしてる凄い！・・・後ろの背景は何？；；
↓
・さくら歌詞カードができるまで（手作業）(sm1141931)
え？なにそれこわい
よ、よーし。こんなのRhythmicaLyricsで作れるようにしたら簡単だし
みんな作ってくれるハズ！
↓
と思って開発を進めるもなかなかうまくいかず。。。
熱も冷めてきちゃったし、旬も過ぎちゃって今更感あるよなぁ。
ということで、途中の状態で封印。
↓
・Foobar2000 対応 FLELE 初音ミクパック (SSP)(sm1283460)　を見つける。
おぉ！foobarでも歌わせられるのか！
最近foobar使いだしてカスタマイズしてたし、何かの縁じゃね？
よーし、またいっちょ頑張ってみるかな！
と開発意欲を持ち直す。
↓
も、やはりリリースまでは至らず。
今更感もハンパなくなって来たしなと冷静になり、中途半端な状態で燻ったまま封印は解けず。
↓
時は経ち、
↓
MMDすごいなぁLat式ミクかわいいなぁ。
RhythmicaLyricsでリップシンクとかできないかなぁ、
と妄想夢想に留まり、いまいち乗り切れないでいる中
↓
・◆【自動で】初音ミクが自動で喋るツール作ってみた！【喋らせてみた】(sm13013900)
やべー！先越されたかも(?)、と思いながら開いてみた、ら歌う感じじゃないから競合しない！安心！
と思って見てたら釣りだったー！！でもすげー！！
↓
よし！！誰かに先越される前に
RhythmicaLyricsでMMDのリップシンク完成させたる！
とやる気急上昇。
VSQファイルの仕様とか頑張って調べたよ。
↓
・MMD表情モーション作成ツールを作ってみた(sm13888874)
や、やべー。今度は釣りじゃねー。
・・・で、でもRhythmicaLyricsで作るほどには簡単にできる感じじゃない気もするし、、、
表情を作るのが主体のソフトなんだろーしな。
と内心ドキドキしながら動画見てた。
↓
んで、
出来たよ！！


って感じ。

2008年　1月 12日　 ver. 2.7
・自動チェックの読み数確定を読み確定に。（今後の機能のため）

↑この辺に さくら歌詞カードやろうとしてた最初の片鱗が伺える。



リップシンク用VSQファイルの作り方を動画にして解説してみました。