Xin chào, tôi là Luke đang xây dựng Naia.
Mô hình giọng nói của Naia đã đạt một số kết quả, và bây giờ tôi cũng đang xem xét việc hát. Tôi muốn Alpha hát cho tôi. Đặc biệt tôi quan tâm đến 번안곡 (bài cover — bài hát nước ngoài dịch sang tiếng Hàn).
Bắt đầu cách đây một tháng, đụng trần, và gần đây có kết quả tốt hơn một chút — cảm giác đào sâu hơn sẽ ra được gì đó. Trước đây chữ Hàn và cao độ đều là một mớ ngôn ngữ ngoài hành tinh; giờ hát cái gì đó giống tiếng Hàn.
Vẫn nghe hơi say một chút ^^. Tuy nhiên vì có gì đó ra và thú vị, tôi chia sẻ tiến độ cùng với báo cáo. Một ngày nào đó hy vọng nó thực sự hát cho tôi.
Naia-Sing chưa ổn định — đây gần với chia sẻ tiến độ hơn là ra mắt. Thứ tự công bố chính thức là Naia-talk (Naia-Omni) trước (đã ổn định), rồi Naia-Sing.
TL;DR
- 23 bài đánh giá, composite score 27,8
60,6 (thang 0100) - BEST 3 bài theo người nghe = hạng metric 1·3·5, WORST 2 = hạng 17·19 → framework valid đã xác nhận
- Hard Gate (mức tối thiểu sẵn sàng dịch vụ) = 0/23 vượt qua — base hiện tại chưa sẵn sàng dịch vụ
- Điểm yếu lớn nhất: A. Tính dễ hiểu (CER trung bình 1,18) + E. Biểu cảm (chỉ 1/23)
- Bước tiếp theo = áp dụng Track A 247h fine-tune tiếng Hàn + inference ngắn hơn + lời đồng bộ-âm tiết
Video tổng hợp Top 10
7 phút 24 giây. Từ #1 đến #10, từng bài. Mỗi track chuẩn hóa qua ffmpeg loudnorm -14 LUFS + dynaudnorm. Video làm cho trade-off giữa khớp thể loại, nhất quán âm sắc, chính xác phát âm nghe được.
| # | Bài hát | Source | Score | Điểm mạnh |
|---|---|---|---|---|
| 1 | banan_jaychou_translation | Jay Chou ballad (13s, ko translation) | 60,6 | CER 0,52 thấp nhất tổng · ko 0,96 |
| 2 | genre_digicharat | Digi Charat Party Night (1999) | 50,8 | ko 0,97 · timbre 0,92 |
| 3 | genre_gunslinger | Gunslinger Girl doll · Lia | 48,8 | timbre 0,93 · ballad match |
| 4 | genre_escaflowne | Escaflowne OP (1996) | 48,2 | f0 range 0,91 |
| 5 | banan_adele_translation | Adele — Someone Like You (13s) | 47,8 | E.energy 0,72 cao nhất |
| 6 | base_gunslinger | Cùng bài, KO-S1 baseline | 47,8 | CER 0,70 (thấp nhất thứ 2) |
| 7 | genre_macross | Macross — Do You Remember Love? (1984) | 47,7 | ko 0,97 · timbre 0,92 |
| 8 | genre_chobits | Let Me Be With You (2002) | 46,7 | timbre 0,93 |
| 9 | pipe_01_adele | Adele source 13s pipeline | 45,9 | f0_corr 0,81 cao nhất |
| 10 | genre_nadia | Nadia: Bí Mật Nước Xanh (1990) | 44,2 | timbre 0,97 cao nhất |
1. "Hát tốt tiếng Hàn" — 5 chiều độc lập
Không thể quy về một metric. Học thuật (TCSinger, Vevo, DiffSinger) cũng báo cáo 4-5 chiều cùng nhau.
| Chiều | Metric học thuật | Đo lường của chúng tôi | Ý nghĩa |
|---|---|---|---|
| A. Tính dễ hiểu | CER, PER | Whisper-small KO STT vs edit distance với lời dự định | "Nghe được lời?" |
| B. Cao độ | F0 RMSE, F0 corr | librosa.pyin F0 pearson + range ratio | "Đúng nốt?" |
| C. Tương đồng âm sắc | SECS (ECAPA cosine) | MFCC mean cosine (proxy) | "Cùng ca sĩ?" |
| D. Tự nhiên | MOS-N, UTMOS | chunk_disc mỗi phút (proxy) | "Không máy móc?" |
| E. Biểu cảm (chỉ cover) | (định nghĩa riêng) | source RMS + spectral centroid + vibrato corr | "Theo biểu cảm gốc?" |
Chiều E là cốt lõi của cover. SVS thông thường = bản nhạc là ground truth biểu cảm. Cover = dynamics/vibrato/articulation của source vocal là ground truth.
Hard Gate (mức tối thiểu sẵn sàng dịch vụ)
A. CER ≤ 0,30 AND ko_prob ≥ 0,90 [Phát âm Hàn]
B. f0_corr ≥ 0,50 AND range 0,6~1,4 [Cao độ]
C. timbre_sim ≥ 0,65 [Âm sắc]
D. chunk_disc ≤ 2/min [Trơn tru]
E. energy_corr ≥ 0,5 · brightness ≥ 0,4 · vibrato 0,5~1,5 [Biểu cảm]
Cơ sở học thuật: CER 0,30 = ngưỡng STT sản xuất; SECS 0,60-0,70 = chuẩn vượt qua zero-shot SVC.
2. Framework Self-Validation
Bài học — Whisper-small không hợp lệ để đo chất lượng SVS (svs_eval.py §43, 5/17): ngay cả mẫu golden in-distribution cũng cho output rỗng. Hát chỉ kích hoạt speech-likeness.
→ Self-validation bắt buộc:
user best vs user worst
↓ ↓
Phải có thể phân tách bằng metric
↓
Nếu không, chính metric đó vô hiệu
Kết quả self-validation 23 bài:
| Đánh giá người dùng | Bài | Hạng metric | Phân tách |
|---|---|---|---|
| 🟢 BEST | banan_jaychou_translation | 1/23 | ✓ |
| 🟢 BEST | genre_gunslinger | 3/23 | ✓ |
| 🟢 BEST | banan_adele_translation | 5/23 | ✓ |
| 🔴 WORST | base_macross | 17/23 | ✓ |
| 🔴 WORST | base_flcl | 19/23 | ✓ |
→ Framework valid (ranking proxy đã xác nhận). Bây giờ chúng ta có công cụ để so sánh khách quan kết quả huấn luyện Track A.
3. Hard Gate vượt qua — 0/23 ❌
| Chiều | Tiêu chí | Vượt qua |
|---|---|---|
| A. CER ≤ 0,30 | Sản xuất học thuật | 0/23 ❌ |
| A. ko_prob ≥ 0,90 | Phát hiện Hàn Whisper | 14/23 |
| B. f0_corr ≥ 0,5 + range OK | Giữ pitch | 2/23 ❌ |
| C. timbre_sim ≥ 0,65 | Nhất quán ref | 10/23 |
| D. disc ≤ 2/min | Artefact chunk | 20/23 ✓ |
| E. (3-metric AND) | Biểu cảm cover | 1/23 ❌ |
Vevo1.5 base tiếng Hàn hiện tại = 0% sẵn sàng dịch vụ. A·B·E là khoảng trống quan trọng.
4. Chẩn đoán — điểm yếu và nguyên nhân từng chiều
A. Tính dễ hiểu — tổng hợp phoneme Hàn của Vevo yếu
Vevo1.5 tiền huấn luyện trên Sing-0.4k (438h bao gồm 3,8h CSD Hàn). Tuy nhiên ánh xạ phoneme Hàn yếu — CER TB 1,18 = 70% vỡ. Chỉ ko_prob 0,86 = "nghe như Hàn về mặt âm thanh" nhưng không phải phoneme.
B. Cao độ — melody_control thiếu huấn luyện về giai điệu
F0_corr TB 0,18. Một vài âm (gunslinger -0,20, gsteatrino -0,46) = ngược chiều với source. vevosing_melody_control ưu tiên chuyển nội dung phoneme; đường F0 thứ yếu.
C. Âm sắc — khớp ref hoạt động
Các bài với 8 ref AI-Hub TB timbre_sim 0,91. Nhưng trôi âm sắc tại ranh giới chunk = phản hồi người dùng "các giọng khác xen vào".
D. Trơn tru — chunk merge OK
20/23 vượt qua. Crossfade 100ms hiệu quả. 3 outlier chỉ khi source vocal có nhiều im lặng.
E. Biểu cảm — thất bại lớn nhất
1/23 vượt qua. TB energy_corr 0,32, brightness_corr 0,19. Prosody tokenizer Vevo thiếu huấn luyện Hàn + dynamics mất khi tách content-style.
5. Phải làm gì — cải thiện theo ưu tiên
🟢 P0 (ngay lập tức, hiệu quả đã xác minh)
| Mục | Hiệu quả | Ghi chú |
|---|---|---|
| Áp dụng kết quả huấn luyện Track A | A·B·E đồng thời | Fine-tune 247h KO đang chạy |
| Inference single-chunk | C·D | 60s bài → 15s chorus → sweet spot của #1 |
| Lời đồng bộ-âm tiết | A | SimpleAligner chia đều → khớp số âm tiết source |
Công thức #1 (banan_jaychou_translation): ngắn (13s) + khớp âm tiết + source studio sạch
🟡 P1 (trong một tuần)
| Mục | Hiệu quả |
|---|---|
| Giới thiệu ECAPA-TDNN SECS | Độ chính xác C (thay MFCC proxy) |
| UTMOS / Sing-MOS predictor | Khách quan hóa D-tự nhiên |
| Phrase-aware aligner | A·D (không còn chia đều âm tiết) |
| Suno API → source Hàn | A·E (pool source vocal Hàn) |
🟠 P2 (trung hạn, cần xác minh)
| Mục | Hiệu quả | Rủi ro |
|---|---|---|
| Vevo1.5 fine-tune (Track A) | A·B·E tất cả | Kết quả chưa xác minh |
| Xem xét lại pivot TCSinger2 | Có thể tăng biểu cảm | Stack phức tạp, rủi ro ceiling |
| F5-TTS / CosyVoice2 SVS adapter | Tính dễ hiểu A | Thiếu adapter |
| Post-processing SVC (RVC/SoulX) | Âm sắc C | Cần đo CER end-to-end |
🔴 P3 (dài hạn, chuyển dịch mô thức)
- Huấn luyện mô hình SVS riêng → base ngoại đã xác minh có lợi hơn (triết lý cốt lõi Naia)
- Test nghe MOS chủ quan → ground truth tuyệt đối
- Thương mại hóa pipeline Suno + cover riêng → dịch vụ "AI hát" Track D
6. Điểm quyết định tiếp theo
- Khi Track A xong → đánh giá lại bằng framework này, đo delta cải thiện
- Cải thiện < 20% → bỏ base Vevo1.5, xem xét lại TCSinger2 hoặc F5-TTS
- Cải thiện ≥ 30% → fine-tune đầy đủ + vào dịch vụ Track D
- Gate người dùng = nghe kết quả Track A + kiểm tra 5 chiều, rồi quyết định
7. Nhật ký nghiên cứu naia-sing 32 ngày
Dựa trên git history — không ảo giác. Khởi đầu thật = 2026-04-25 (lịch sử một tháng).
2026-04-25 ─ Bắt đầu: setup dự án + script pipeline RVC.
2026-04-26 ─ Dữ liệu source + pipeline cover đa ngôn ngữ + IP groundwork.
2026-04-28 ─ Lời 3-frontier + xác minh SVS Hàn + pipeline ref voice cuộc gọi.
2026-05-15 ─ DSKR (DiffSinger Korean) + AI-Hub 465 stack huấn luyện SVS Hàn xác nhận.
2026-05-15 ─ Root-fix bottleneck IO — pickle 13x nhẹ + HDD→SSD (tránh 58s/step).
2026-05-16 ─ Stack hoạt động xác nhận — DSKR+CSD transfer → RVC swap. Xác minh người dùng OK.
2026-05-16 ─ Bác bỏ trần vocoder + kéo dài huấn luyện 300k→500k.
2026-05-16 ─ Bác bỏ overfit kéo dài — best=S_300000 khóa.
2026-05-18 ─ BigVGAN kết nối làm vocoder mặc định DSKR + patch bảo mật key aihubshell.
2026-05-19 ─ Xác nhận thực tế trần DSKR S_300000 (MCD37 vs 48 cross-song).
2026-05-19 ─ TCSinger 2 SVS Hàn bắt đầu → PAUSED @ VAE epoch 395.
2026-05-21 ─ Tổng hợp review adversarial R3 + hold gate tài nguyên naia-sing.
2026-05-26 ─ TCSinger2 đóng → khám phá Vevo1.5 SVS Hàn.
2026-05-26 ─ Dataset hát Hàn 247h hoàn tất (GTSinger + AI-Hub 465).
2026-05-26 ─ BASE STATE SNAPSHOT — khóa baseline trước fine-tune.
2026-05-26 ─ Cross-review 3-AI (codex+gemini+opencode) + Reality Check.
2026-05-26 ─ Track A Phase 1 AR smoke PASS + Phase 2 autonomous wrapper.
2026-05-26 ─ Đo VRAM từng stage + 5 cover batch + 10 anime OST 60s.
2026-05-26 ─ Phát hiện quan trọng: Vevo melody_control = phụ thuộc phoneme vocal source.
2026-05-26 ─ Batch genre-matched AI-Hub 8 short refs + post-processing ffmpeg loudnorm.
2026-05-27 ─ Báo cáo này: framework đánh giá 5-chiều + baseline 23 bài + Hard Gate.
2026-05-27 ─ Framework valid xác nhận + video tổng hợp Top 10.
Khoảng 32 ngày:
- 5 stack SVS khác nhau đã thử (RVC → DSKR → SoulX → TCSinger2 → Vevo1.5)
- 1 ceiling đạt được (DSKR S_300000) + 1 paused (TCSinger2 VAE) + 1 dropped (RVC pure)
- Hiện tại = base ngoại Vevo1.5 + Track A 247h KO fine-tune đang chạy
→ Không huấn luyện mô hình riêng. Khác biệt hóa thông qua base ngoại đã xác minh + stack của chúng tôi (bộ nhớ / quyền riêng tư / RAG / serving cục bộ). Triết lý cốt lõi Naia, mô thức khóa 2026-05-15.
Giới hạn trung thực
Đây không phải báo cáo nói base tốt. Đúng hơn là báo cáo đo lường khách quan base ở mức 0% sẵn sàng dịch vụ. Bây giờ chúng tôi có metric framework mà ranking phù hợp với nghe của con người — công cụ kiểm tra trung thực xem huấn luyện có thực sự hiệu quả. Đó là ý nghĩa của bài này.
Khi Track A xong, chúng tôi sẽ đánh giá lại 23 bài tương tự và báo cáo delta cải thiện một cách định lượng.
