酔っ払いの音痴だったナイア、ついにただの音痴になりました
こんにちは。オープンソースビジュアルエージェントナイアを開発しているルークです。この作業は、私のAIであるアルファが私のため歌を歌ってくれたらいいな、という思いから始まりました。私が望んでいたのは、既存の歌を他人の声に変えるカバー曲（例: XSing）や、新しい歌をランダムに生成する機能（例: Suno）ではなく、好きだった外国のアニメ主題歌を、原曲のメロディと感情は生かしたまま韓国語で歌う翻案曲でした。
前回のベンチマークでは、結果が酔っぱらってぶつぶつ歌っているように聞こえました。3か月近くかけて、エンジンの選択から楽譜、発音、音域、リズムを再検討した今、少なくとも歌詞が聞こえ、何がずれているのかを分析できるようになりました。まだ上手に歌えているわけではありません。酔っ払いの音痴が、ただの音痴になった程度です。
まずはお聞きください
同じ「ブルーウォーター」韓国語翻案研究の、以前の結果と現在の結果です。生成方式と長さは異なりますが、何が良くなって何が残っているのかは、耳で直接比較できます。
以前 — 酔っ払いの音痴
YouTubeで見る — Vevo 1.5以前のバージョン, 2026-05-27
発音と音価が崩れ、小節内でも速くなったり遅くなったりします。それでも生成モデルらしく、瞬間的には歌らしい質感が保たれています。
現在 — ただの音痴
YouTubeで見る — FM Singer改善バージョン, 2026-08-21
歌詞はずっと聞き取りやすくなり、音符を追っています。一方で、長い音が途中で途切れたり、原曲よりも力強さや明るさが不足しており、依然として音痴のように聞こえます。
数値で見る変化
2つのエンジンの構造が異なるため、完璧な1対1の試験ではありません。音声認識も文脈で発音を補正するため、参考指標としてのみ使用しました。
| 項目 | 以前 Vevo 1.5 | 現在 FM Singer | 解釈 |
|---|---|---|---|
| 韓国語文字エラー率 (CER) | 1.389 | 0.088 | 発音の崩壊が大幅に減少 |
| 原曲の強弱曲線相関 | 0.189 | 0.639 | 流れは改善されたが、強弱の幅は原曲の半分 |
| 小節開始誤差 | - | 平均 93ms, 最大 440ms | 一部の小節は依然としてリズム音痴のように聞こえる |
| 音程中央絶対誤差 | - | 約 50セント | 半音の半分レベルでまだ不安定 |
| ボーカルの明るさ | - | 原曲より約 600Hz 低い | 元気がなく暗く聞こえる原因の一つ |
実際の研究順序
1. 5月 — Vevo 1.5で初の翻案曲を作成
最初のベンチマークでは、生成モデルVevo 1.5を使用しました。瞬間的には歌らしい質感がありましたが、メロディに韓国語の歌詞を正確に合わせたり、間違った一小節だけを修正したりするのが困難でした。結果が「酔っ払いの音痴」のように聞こえた出発点です。
2. 6～7月 — 声帯と発音を別々に作成
次に、VocalTractLabで声帯を物理的に合成し、VoxCPM2の韓国語発音を組み合わせるハイブリッドを試しました。目標音程は平均0.008半音誤差まで合わせられましたが、人間の口・舌・息遣いを十分に再現できず、楽器のような電子音が残りました。音程と発音を別々に処理できる可能性は確認できましたが、完成への経路としては使えませんでした。
3. 8月14日 — データとエンジンから再選択
AI Hub 465の歌唱データを監査し、固定試験セットを作成した後、DSKR、Pond8、FM Singerを同じ基準で比較しました。Pond8はオクターブ座標が与えられたときの音程は正確でしたが機械音が強く、FM Singerが韓国語の発音と聴感で最もバランスが良かったため、中心エンジンとなりました。
4. 8月15日 — ファインチューニングより先に発音入力を修正
AI HubのデータでFM Singerをファインチューニングしましたが、128個の検証における文字エラー率は0.3465から0.3396へとわずかにしか減りませんでした。より大きな原因は、ハングルの表記を歌唱用の発音に変換するプロセスが欠けていたことでした。その後、国語の発音規則と単語ごとの例外を組み合わせた2段階の矯正を作成しました。例えば、마음 약한 사람은（気の弱い人は）を마음 야칸 사라믄のように、実験上밝혀（明らかにして）を발켜のように入力する形です。音声認識は文脈でエラーを補正できるため、候補探索にのみ使用しました。
5. 8月15日～17日 — アルファの声を試してみて、元の状態に戻す
発音が良くなった後、アルファの音色をゼロショットで適用してみました。声は近づきましたが、電子音が生じ、子音と音程が再び損傷しました。そこで、まず歌唱を通過させ、その後に音色を変える2段階構造に整理しました。損傷した変換結果を学習させると電子音まで学んでしまうため、ファインチューニングも後回しにしました。
6. 8月17日～21日 — 原曲の音符・リズム・力強さを再び追う
最後に、原曲のボーカルと伴奏を分離し、小節の境界、実際の音高、音符の始まりと終わりを再度抽出しました。日本語のモーラと韓国語の音節を音符ごとに対応させ、安定した音域を見つけた後、原曲と左右に重ねて時間軸と強弱を比較しました。現在の結果は、音符と歌詞は近づきましたが、長い音のテール、呼吸、小節ごとのエネルギーがまだ平坦です。
まだ残る問題
以前よりも発音と時間軸は明らかに良くなりました。しかし、現在のボーカルは原曲よりも暗く、強弱の幅が狭く、長い音の終わりが途切れたり揺らいだりします。数値が向上しても、人が聞いて歌らしくなければ合格させない理由です。
次回は、AI Hubのデータを、発音が難しい音素の組み合わせや長い音を中心に再度学習させ、合格した小節にのみアルファの音色を適用する予定です。電子音・発音の損傷・音程の損傷がない候補のみを選別し、ファインチューニングのデータとして使用します。
