语音对话 — Naia 手册

在Naia中使用语音对话有两种方式。

两种方式

一个AI模型直接听取语音并即时以语音回应。无需中间转换，能理解语调和情感，因此更自然、更快速。

将语音识别（STT）、文本AI（LLM）、语音合成（TTS）分别使用不同的提供商进行组合。可以自由选择提供商，也可以构建完全免费的方案。

在设置 > AI中，从模型列表中选择带有🗣️图标的模型即可激活Omni模式。

提供商	模型	API密钥	费用
Naia Cloud	Gemini 3.1 Flash Live 🗣️	不需要（积分）	扣除积分
Gemini（直连）	Gemini 2.5 Flash Live 🗣️	Google API密钥	约$0.03/分钟

8种语音：Kore（女性，默认）、Puck（男性）、Charon（男性）、Aoede（女性）、Fenrir（男性）、Leda（女性）、Orus（男性）、Zephyr（中性）

提供商	模型	API密钥	费用
OpenAI	GPT-4o Realtime 🗣️	OpenAI API密钥	约$0.10/分钟

10种语音：Alloy（中性）、Ash（男性）、Ballad（男性）、Coral（女性）、Echo（男性）、Sage（女性）、Shimmer（女性）、Verse（男性）、Marin（推荐）、Cedar（推荐）

通过vllm-omni服务器，在本地完全运行Omni语音对话。目前是本地实际可用的几乎唯一的Omni模型。

在设置 > AI中将提供商选择为vLLM，即可自动获取服务器的模型列表。当模型名称包含"minicpm-o"时，会自动识别为🗣️。

硬件要求：BF16模式下约需35GB VRAM。推荐A40（46GB）以上或48GB GPU。

启动服务器：

vllm serve openbmb/MiniCPM-o-4_5 \
  --omni --port 8091 --host 0.0.0.0 \
  --max-model-len 2048 --skip-mm-profiling

在Naia设置中输入vLLM服务器地址（例如：http://localhost:8091）。

如果本地没有GPU，可以在RunPod等云GPU上运行。请参考RunPod指南。

目前支持英语和中文的语音输入输出。

未来计划：将支持基于音频参考的语音克隆和微调管道。

不使用Omni模型也可以通过分别设置STT和TTS来构建语音对话。

在设置 > 语音中选择：

提供商	离线	API密钥	费用
Web Speech API	否	不需要	免费
Vosk	是	不需要	免费
Whisper	是	不需要	免费
Naia Cloud	否	不需要（登录）	积分
vLLM ASR	是（本地）	不需要	免费

在设置 > 语音中选择：

提供商	离线	API密钥	费用
Naia Cloud TTS	否	不需要（登录）	积分
Edge TTS	否	不需要	免费
Google Cloud TTS	否	需要	$0.016/1K字符
OpenAI TTS	否	需要	$0.015/1K字符
ElevenLabs	否	需要	$0.30/1K字符
vLLM TTS	是（本地）	不需要	免费
Custom	各异	各异	各异

使用预览按钮可以测试所选语音。