16. Голосовой чат

В Naia есть два способа использования голосовых разговоров.

Два подхода

Омни-режим

Одна модель ИИ напрямую слушает речь и сразу отвечает голосом. Без промежуточного преобразования она понимает тон и эмоции, обеспечивая естественное и быстрое общение.

STT → LLM → TTS Pipeline

Распознавание речи (STT), текстовый ИИ (LLM) и синтез речи (TTS) комбинируются с использованием разных провайдеров. Вы можете свободно выбирать провайдеров, и полностью бесплатная конфигурация тоже возможна.

Омни-режим

Выберите модель со значком 🗣️ в списке моделей в разделе Настройки > ИИ, чтобы активировать омни-режим.

Gemini Flash Live (облако)

8 голосов: Kore (женский, по умолчанию), Puck (мужской), Charon (мужской), Aoede (женский), Fenrir (мужской), Leda (женский), Orus (мужской), Zephyr (нейтральный)

GPT-4o Realtime (облако)

10 голосов: Alloy (нейтральный), Ash (мужской), Ballad (мужской), Coral (женский), Echo (мужской), Sage (женский), Shimmer (женский), Verse (мужской), Marin (рекомендуемый), Cedar (рекомендуемый)

MiniCPM-o 4.5 (локально)

Запускайте омни-голосовые разговоры полностью локально через сервер vllm-omni. На данный момент это практически единственная омни-модель, пригодная для локального использования.

Выберите vLLM в качестве провайдера в Настройки > ИИ, чтобы автоматически получить список моделей с сервера. Модели с "minicpm-o" в названии автоматически распознаются как 🗣️.

Требования: Около 35 ГБ VRAM при BF16. Рекомендуется A40 (46 ГБ) или выше, либо GPU с 48 ГБ.

Запуск сервера:

vllm serve openbmb/MiniCPM-o-4_5 \
  --omni --port 8091 --host 0.0.0.0 \
  --max-model-len 2048 --skip-mm-profiling

Введите адрес сервера vLLM в настройках Naia (например, http://localhost:8091).

Если у вас нет локального GPU, вы можете запустить сервер на облачных GPU, таких как RunPod. См. руководство по RunPod.

В настоящее время поддерживается голосовой ввод и вывод на английском и китайском языках.

Планы на будущее: Планируется поддержка клонирования голоса по аудио-образцу и pipeline для fine-tuning.

STT → LLM → TTS Pipeline

Даже без омни-модели вы можете настроить STT и TTS по отдельности для голосовых разговоров.

STT (Распознавание речи)

Выберите в Настройки > Голос:

TTS (Синтез речи)

Выберите в Настройки > Голос:

Нажмите кнопку Прослушать, чтобы протестировать выбранный голос.

Примеры комбинаций