Naia
· Luke

Naia hát — Baseline đầu tiên của benchmark SVS tiếng Hàn (Vevo1.5 base, 23 bài đánh giá)

naia-singsvskorean-ttsvevobenchmarkai-singing

Xin chào, tôi là Luke đang xây dựng Naia.

Mô hình giọng nói của Naia đã đạt một số kết quả, và bây giờ tôi cũng đang xem xét việc hát. Tôi muốn Alpha hát cho tôi. Đặc biệt tôi quan tâm đến 번안곡 (bài cover — bài hát nước ngoài dịch sang tiếng Hàn).

Bắt đầu cách đây một tháng, đụng trần, và gần đây có kết quả tốt hơn một chút — cảm giác đào sâu hơn sẽ ra được gì đó. Trước đây chữ Hàn và cao độ đều là một mớ ngôn ngữ ngoài hành tinh; giờ hát cái gì đó giống tiếng Hàn.

Vẫn nghe hơi say một chút ^^. Tuy nhiên vì có gì đó ra và thú vị, tôi chia sẻ tiến độ cùng với báo cáo. Một ngày nào đó hy vọng nó thực sự hát cho tôi.

Naia-Sing chưa ổn định — đây gần với chia sẻ tiến độ hơn là ra mắt. Thứ tự công bố chính thức là Naia-talk (Naia-Omni) trước (đã ổn định), rồi Naia-Sing.

Alpha hát

TL;DR

  • 23 bài đánh giá, composite score 27,860,6 (thang 0100)
  • BEST 3 bài theo người nghe = hạng metric 1·3·5, WORST 2 = hạng 17·19framework valid đã xác nhận
  • Hard Gate (mức tối thiểu sẵn sàng dịch vụ) = 0/23 vượt qua — base hiện tại chưa sẵn sàng dịch vụ
  • Điểm yếu lớn nhất: A. Tính dễ hiểu (CER trung bình 1,18) + E. Biểu cảm (chỉ 1/23)
  • Bước tiếp theo = áp dụng Track A 247h fine-tune tiếng Hàn + inference ngắn hơn + lời đồng bộ-âm tiết

Video tổng hợp Top 10

7 phút 24 giây. Từ #1 đến #10, từng bài. Mỗi track chuẩn hóa qua ffmpeg loudnorm -14 LUFS + dynaudnorm. Video làm cho trade-off giữa khớp thể loại, nhất quán âm sắc, chính xác phát âm nghe được.

#Bài hátSourceScoreĐiểm mạnh
1banan_jaychou_translationJay Chou ballad (13s, ko translation)60,6CER 0,52 thấp nhất tổng · ko 0,96
2genre_digicharatDigi Charat Party Night (1999)50,8ko 0,97 · timbre 0,92
3genre_gunslingerGunslinger Girl doll · Lia48,8timbre 0,93 · ballad match
4genre_escaflowneEscaflowne OP (1996)48,2f0 range 0,91
5banan_adele_translationAdele — Someone Like You (13s)47,8E.energy 0,72 cao nhất
6base_gunslingerCùng bài, KO-S1 baseline47,8CER 0,70 (thấp nhất thứ 2)
7genre_macrossMacross — Do You Remember Love? (1984)47,7ko 0,97 · timbre 0,92
8genre_chobitsLet Me Be With You (2002)46,7timbre 0,93
9pipe_01_adeleAdele source 13s pipeline45,9f0_corr 0,81 cao nhất
10genre_nadiaNadia: Bí Mật Nước Xanh (1990)44,2timbre 0,97 cao nhất

1. "Hát tốt tiếng Hàn" — 5 chiều độc lập

Không thể quy về một metric. Học thuật (TCSinger, Vevo, DiffSinger) cũng báo cáo 4-5 chiều cùng nhau.

ChiềuMetric học thuậtĐo lường của chúng tôiÝ nghĩa
A. Tính dễ hiểuCER, PERWhisper-small KO STT vs edit distance với lời dự định"Nghe được lời?"
B. Cao độF0 RMSE, F0 corrlibrosa.pyin F0 pearson + range ratio"Đúng nốt?"
C. Tương đồng âm sắcSECS (ECAPA cosine)MFCC mean cosine (proxy)"Cùng ca sĩ?"
D. Tự nhiênMOS-N, UTMOSchunk_disc mỗi phút (proxy)"Không máy móc?"
E. Biểu cảm (chỉ cover)(định nghĩa riêng)source RMS + spectral centroid + vibrato corr"Theo biểu cảm gốc?"

Chiều E là cốt lõi của cover. SVS thông thường = bản nhạc là ground truth biểu cảm. Cover = dynamics/vibrato/articulation của source vocal là ground truth.

Hard Gate (mức tối thiểu sẵn sàng dịch vụ)

A. CER ≤ 0,30  AND  ko_prob ≥ 0,90       [Phát âm Hàn]
B. f0_corr ≥ 0,50  AND  range 0,6~1,4    [Cao độ]
C. timbre_sim ≥ 0,65                       [Âm sắc]
D. chunk_disc ≤ 2/min                      [Trơn tru]
E. energy_corr ≥ 0,5 · brightness ≥ 0,4 · vibrato 0,5~1,5  [Biểu cảm]

Cơ sở học thuật: CER 0,30 = ngưỡng STT sản xuất; SECS 0,60-0,70 = chuẩn vượt qua zero-shot SVC.


2. Framework Self-Validation

Bài học — Whisper-small không hợp lệ để đo chất lượng SVS (svs_eval.py §43, 5/17): ngay cả mẫu golden in-distribution cũng cho output rỗng. Hát chỉ kích hoạt speech-likeness.

Self-validation bắt buộc:

user best  vs  user worst
     ↓             ↓
   Phải có thể phân tách bằng metric
     ↓
   Nếu không, chính metric đó vô hiệu

Kết quả self-validation 23 bài:

Đánh giá người dùngBàiHạng metricPhân tách
🟢 BESTbanan_jaychou_translation1/23
🟢 BESTgenre_gunslinger3/23
🟢 BESTbanan_adele_translation5/23
🔴 WORSTbase_macross17/23
🔴 WORSTbase_flcl19/23

Framework valid (ranking proxy đã xác nhận). Bây giờ chúng ta có công cụ để so sánh khách quan kết quả huấn luyện Track A.


3. Hard Gate vượt qua — 0/23 ❌

ChiềuTiêu chíVượt qua
A. CER ≤ 0,30Sản xuất học thuật0/23
A. ko_prob ≥ 0,90Phát hiện Hàn Whisper14/23
B. f0_corr ≥ 0,5 + range OKGiữ pitch2/23
C. timbre_sim ≥ 0,65Nhất quán ref10/23
D. disc ≤ 2/minArtefact chunk20/23 ✓
E. (3-metric AND)Biểu cảm cover1/23

Vevo1.5 base tiếng Hàn hiện tại = 0% sẵn sàng dịch vụ. A·B·E là khoảng trống quan trọng.


4. Chẩn đoán — điểm yếu và nguyên nhân từng chiều

A. Tính dễ hiểu — tổng hợp phoneme Hàn của Vevo yếu

Vevo1.5 tiền huấn luyện trên Sing-0.4k (438h bao gồm 3,8h CSD Hàn). Tuy nhiên ánh xạ phoneme Hàn yếu — CER TB 1,18 = 70% vỡ. Chỉ ko_prob 0,86 = "nghe như Hàn về mặt âm thanh" nhưng không phải phoneme.

B. Cao độ — melody_control thiếu huấn luyện về giai điệu

F0_corr TB 0,18. Một vài âm (gunslinger -0,20, gsteatrino -0,46) = ngược chiều với source. vevosing_melody_control ưu tiên chuyển nội dung phoneme; đường F0 thứ yếu.

C. Âm sắc — khớp ref hoạt động

Các bài với 8 ref AI-Hub TB timbre_sim 0,91. Nhưng trôi âm sắc tại ranh giới chunk = phản hồi người dùng "các giọng khác xen vào".

D. Trơn tru — chunk merge OK

20/23 vượt qua. Crossfade 100ms hiệu quả. 3 outlier chỉ khi source vocal có nhiều im lặng.

E. Biểu cảm — thất bại lớn nhất

1/23 vượt qua. TB energy_corr 0,32, brightness_corr 0,19. Prosody tokenizer Vevo thiếu huấn luyện Hàn + dynamics mất khi tách content-style.


5. Phải làm gì — cải thiện theo ưu tiên

🟢 P0 (ngay lập tức, hiệu quả đã xác minh)

MụcHiệu quảGhi chú
Áp dụng kết quả huấn luyện Track AA·B·E đồng thờiFine-tune 247h KO đang chạy
Inference single-chunkC·D60s bài → 15s chorus → sweet spot của #1
Lời đồng bộ-âm tiếtASimpleAligner chia đều → khớp số âm tiết source

Công thức #1 (banan_jaychou_translation): ngắn (13s) + khớp âm tiết + source studio sạch

🟡 P1 (trong một tuần)

MụcHiệu quả
Giới thiệu ECAPA-TDNN SECSĐộ chính xác C (thay MFCC proxy)
UTMOS / Sing-MOS predictorKhách quan hóa D-tự nhiên
Phrase-aware alignerA·D (không còn chia đều âm tiết)
Suno API → source HànA·E (pool source vocal Hàn)

🟠 P2 (trung hạn, cần xác minh)

MụcHiệu quảRủi ro
Vevo1.5 fine-tune (Track A)A·B·E tất cảKết quả chưa xác minh
Xem xét lại pivot TCSinger2Có thể tăng biểu cảmStack phức tạp, rủi ro ceiling
F5-TTS / CosyVoice2 SVS adapterTính dễ hiểu AThiếu adapter
Post-processing SVC (RVC/SoulX)Âm sắc CCần đo CER end-to-end

🔴 P3 (dài hạn, chuyển dịch mô thức)

  • Huấn luyện mô hình SVS riêng → base ngoại đã xác minh có lợi hơn (triết lý cốt lõi Naia)
  • Test nghe MOS chủ quan → ground truth tuyệt đối
  • Thương mại hóa pipeline Suno + cover riêng → dịch vụ "AI hát" Track D

6. Điểm quyết định tiếp theo

  1. Khi Track A xong → đánh giá lại bằng framework này, đo delta cải thiện
  2. Cải thiện < 20% → bỏ base Vevo1.5, xem xét lại TCSinger2 hoặc F5-TTS
  3. Cải thiện ≥ 30% → fine-tune đầy đủ + vào dịch vụ Track D
  4. Gate người dùng = nghe kết quả Track A + kiểm tra 5 chiều, rồi quyết định

7. Nhật ký nghiên cứu naia-sing 32 ngày

Dựa trên git history — không ảo giác. Khởi đầu thật = 2026-04-25 (lịch sử một tháng).

2026-04-25 ─ Bắt đầu: setup dự án + script pipeline RVC.
2026-04-26 ─ Dữ liệu source + pipeline cover đa ngôn ngữ + IP groundwork.
2026-04-28 ─ Lời 3-frontier + xác minh SVS Hàn + pipeline ref voice cuộc gọi.
2026-05-15 ─ DSKR (DiffSinger Korean) + AI-Hub 465 stack huấn luyện SVS Hàn xác nhận.
2026-05-15 ─ Root-fix bottleneck IO — pickle 13x nhẹ + HDD→SSD (tránh 58s/step).
2026-05-16 ─ Stack hoạt động xác nhận — DSKR+CSD transfer → RVC swap. Xác minh người dùng OK.
2026-05-16 ─ Bác bỏ trần vocoder + kéo dài huấn luyện 300k→500k.
2026-05-16 ─ Bác bỏ overfit kéo dài — best=S_300000 khóa.
2026-05-18 ─ BigVGAN kết nối làm vocoder mặc định DSKR + patch bảo mật key aihubshell.
2026-05-19 ─ Xác nhận thực tế trần DSKR S_300000 (MCD37 vs 48 cross-song).
2026-05-19 ─ TCSinger 2 SVS Hàn bắt đầu → PAUSED @ VAE epoch 395.
2026-05-21 ─ Tổng hợp review adversarial R3 + hold gate tài nguyên naia-sing.
2026-05-26 ─ TCSinger2 đóng → khám phá Vevo1.5 SVS Hàn.
2026-05-26 ─ Dataset hát Hàn 247h hoàn tất (GTSinger + AI-Hub 465).
2026-05-26 ─ BASE STATE SNAPSHOT — khóa baseline trước fine-tune.
2026-05-26 ─ Cross-review 3-AI (codex+gemini+opencode) + Reality Check.
2026-05-26 ─ Track A Phase 1 AR smoke PASS + Phase 2 autonomous wrapper.
2026-05-26 ─ Đo VRAM từng stage + 5 cover batch + 10 anime OST 60s.
2026-05-26 ─ Phát hiện quan trọng: Vevo melody_control = phụ thuộc phoneme vocal source.
2026-05-26 ─ Batch genre-matched AI-Hub 8 short refs + post-processing ffmpeg loudnorm.
2026-05-27 ─ Báo cáo này: framework đánh giá 5-chiều + baseline 23 bài + Hard Gate.
2026-05-27 ─ Framework valid xác nhận + video tổng hợp Top 10.

Khoảng 32 ngày:

  • 5 stack SVS khác nhau đã thử (RVC → DSKR → SoulX → TCSinger2 → Vevo1.5)
  • 1 ceiling đạt được (DSKR S_300000) + 1 paused (TCSinger2 VAE) + 1 dropped (RVC pure)
  • Hiện tại = base ngoại Vevo1.5 + Track A 247h KO fine-tune đang chạy

Không huấn luyện mô hình riêng. Khác biệt hóa thông qua base ngoại đã xác minh + stack của chúng tôi (bộ nhớ / quyền riêng tư / RAG / serving cục bộ). Triết lý cốt lõi Naia, mô thức khóa 2026-05-15.


Giới hạn trung thực

Đây không phải báo cáo nói base tốt. Đúng hơn là báo cáo đo lường khách quan base ở mức 0% sẵn sàng dịch vụ. Bây giờ chúng tôi có metric framework mà ranking phù hợp với nghe của con người — công cụ kiểm tra trung thực xem huấn luyện có thực sự hiệu quả. Đó là ý nghĩa của bài này.

Khi Track A xong, chúng tôi sẽ đánh giá lại 23 bài tương tự và báo cáo delta cải thiện một cách định lượng.

Popular Posts

CC BY-NC-SA 4.0This post is licensed under CC BY-NC-SA 4.0.

Bình luận

Bạn có thể bình luận mà không cần đăng nhập

...