Ная
· Luke

Представляем Naia-0.9-Omni-24g, обеспечивающий клонирование голоса, разговор в реальном времени и навыки на RTX 3090 (Naia v0.1.5)

naia-osnaia-omnivoice-aicascadeopen-sourcev0.1.5

Здравствуйте, меня зовут Люк, и я создаю AI OS Naia. В прошлый раз я в спешке поделился новостью о запуске и попросил вашей помощи; в продолжение того поста сегодня я приношу самую важную новость вместе с обновлением v0.1.5 — это не только AI OS, но и новая AI omni-модель, а точнее анонс модуля Naia-Omni (naia-0.9-omni-24g).

Naia-0.9-Omni-24g
Naia-0.9-Omni-24g

▎Что вы сможете лично испытать в Naia-OS этой версии v0.1.5

  • Голосовое общение с 3D-аватаром в реальном времени (включая клонирование голоса) — главный герой этой версии.
  • Встроенный браузер — AI смотрит вместе с вами прямо на экране и помогает.
  • Система навыков — расширяйте возможности встроенными навыками и подключайте инструменты MCP (Model Context Protocol).
  • Панели приложений — вы можете добавлять нужные панели приложений внутри Naia.
  • Ваша модель, ваш ключ как есть — подключайте желаемого AI-провайдера и ключ или запускайте локальную модель.
  • Приватность — локальный запуск по умолчанию, а ваши входные и выходные данные не используются для обучения модели.
  • Поддержка интерфейса на 14 языках

Naia — это не просто оболочка (Shell), претендующая на звание OS. Суть этого обновления — модуль naia-0.9-omni-24g, который в среде потребительских GPU (RTX 3090/4090/5090 и других с 24 ГБ VRAM) реализует 30 языков вместе с полнодуплексным разговором в реальном времени уровня ChatGPT и Gemini.

Это видео, где я подключаюсь к Naia-Omni, установленному прямо на моём ПК, и разговариваю реальным голосом. (Обратите внимание, что мой голос с микрофона не записан на видео.)

▎Почему именно cascade-модуль

Раньше я упоминал, что портирую MiniCPM-4.5-omni на vLLM — это было сделано как раз для того, чтобы перенести его в Naia. Самое большое преимущество Omni-модели в том, что она позволяет вести очень естественный разговор в реальном времени. Однако у той модели были ограничения: она требовала более 28 ГБ VRAM и поддерживала только китайский и английский. Чтобы улучшить её для корейского языка, я параллельно вёл несколько исследований, включая тонкую настройку (FT) Talker, но в итоге упёрся в технический потолок, а другие Omni-модели были гораздо тяжелее.

В поисках альтернативы я в конце концов создал не единую модель, а naia-0.9-omni-24g по принципу «каскада» (Cascade). Это модуль, в котором несколько AI-моделей надлежащим образом оркестрированы и оптимизированы; пусть это и не полная обработка на уровне токенов, но он демонстрирует сопоставимую скорость и гораздо более гибкую конфигурацию. Это, по сути, единственная альтернатива, которая на потребительском GPU с 24 ГБ поддерживает всё сразу: 30 языков, полный дуплекс и клонирование голоса в реальном времени. Мы помогаем использовать его на уровне API, словно это одна самостоятельная модель, и вы сможете лично испытать гораздо более умное и чёткое клонирование голоса.

единая omni-модельcascade (подход Naia)
Конфигурацияодна объединённая модельсборка из деталей по ролям
Изменение возможностейпосле обучения зафиксирована — новые возможности требуют переобучениязамена и добавление деталей в любой момент — улучшение без переобучения
Скоростьбыстро благодаря интеграции (низкая задержка)из-за наличия этапов задержка может быть немного больше
Мультимодальное расширениепереобучение с нулявставка деталей на вход и выход
Выбор деталейсвязаны единым целымвыбор и замена проверенных деталей
Использование моделейпривязка к одной моделинесколько моделей вместе — оптимальная модель на каждом этапе

Готовый таким образом naia-0.9-omni-24g плавно работает на потребительских ПК с RTX 3090/4090/5090 (24 ГБ).

⚙️ Способы использования и особенности

Способы использования в этом обновлении были переработаны с учётом реальной инфраструктурной ситуации следующим образом.

Предоставление локального контейнера (привилегия базовых подписчиков) — мы открыли возможность каждому скачать его на личный ПК в виде контейнера и самостоятельно создавать собственные приложения.

podman pull ghcr.io/nextain/naia-0.9-omni-24g:latest

Но поскольку мне тоже нужно зарабатывать на жизнь, чтобы продолжать этот open-source проект, я сделал так, что пользователям базовой подписки (10 $ в месяц) доступна 1 копия (1 Copy). Буду признателен, если вы воспримете это как минимальную поддержку, необходимую для устойчивого роста open-source экосистемы Naia. → Руководство по загрузке и активации модели Naia

Веб-демо (проба на 60 секунд) — сейчас я предоставляю пробное знакомство по 60 секунд, запуская всё прямо на одном моём личном ПК. Ресурсы ограничены, поэтому в зависимости от числа подключающихся может образовываться очередь (Queue) — заранее прошу за это вашего понимания. → Живая демонстрация

Экран живой демонстрации Naia Использование в облаке (в разработке) — изначально запланированную модель за 0,33 $ в час мы, к сожалению, на время переводим в статус «в разработке». Сейчас, при нехватке капитала и оборудования, сложно поддерживать постоянно дежурящий пул GPU, и нам тяжело бесплатно покрывать стоимость сервера за примерно 15 минут загрузки после выделения ресурсов. Удалённую систему на базе RTX 3090, доступную для использования внутри страны, я уже разработал, но из-за дефицита GPU счёл, что бесперебойный сервис обеспечить трудно. Когда в будущем появится капитал, я обязательно представлю комфортный облачный сервис без времени ожидания.
Экран живой демонстрации Naia

Высокая совместимость — поддержка OpenAI Realtime API максимально повышает совместимость с существующими средами.

ЭндпоинтНазначение
GET /healthсостояние готовности {"ready":true} (аутентификация не требуется)
GET /v1/modelsсписок моделей
WS /v1/realtimeголосовая сессия в реальном времени (VAD, перебивание, эмоции)
POST /v1/chat/completionsчат (с поддержкой стриминга)
POST /v1/audio/speechсинтез речи (TTS)
POST /v1/audio/transcriptionsраспознавание речи (STT)
POST /v1/embeddingsэмбеддинги

Подробное использование модели Naia (руководство для разработчиков)

Безопасность и приватность — поскольку модуль обладает выдающейся производительностью, есть и риск злоупотребления вроде голосового фишинга, поэтому мы применили технологию аудиоводяных знаков, обеспечив отслеживаемость, чтобы вы могли пользоваться им спокойно.

🧠 Будущее, которое рисует Naia (Naia Cognitive)

Конечная цель, к которой стремится Naia, — реализовать «мой AI внутри моего компьютера» и создать экосистему разработки и распространения приложений, используемых вместе с AI. Мультимодальность, которую я представляю, — это не просто ввод и вывод данных, а познавательная способность (Naia Cognitive), при которой AI сам переживает опыт, запоминает и выражает себя.

В следующей версии вас ждут обновления агента (Naia-agent), долговременной памяти (Naia-memory), фреймворка (Naia-ADK) и других компонентов. Следующая версия, которая выйдет вместе с Naia-0.9-Omni-48g, разрабатывается и исследуется с целью обеспечить локальный профиль и конфигурацию среды на уровне, достаточном для работы с кодом, а также — в буквальном смысле как «Джарвис из Железного человека» — помнить пользователя и работать вместе с ним через голос в реальном времени.

48 ГБ — это пока область, которую как ни ужимай, в 24 ГБ всё равно тяжело впихнуть, но достаточно вставить всего две старые RTX 3090, так что, на мой взгляд, об этом вполне может мечтать и частное лицо.

🎮 Naia OS — это AI, который помнит меня, работает и играет вместе со мной

Вот картина, которую рисует Naia-OS.

  • Игровая машина на базе Steam(Bazzite)/Windows + интеллектуальный агент, который меня помнит + естественно-языковой UI на основе 3D-аватара + оптимизированные профили под объём VRAM

Недавно много шума наделала новость о том, что MS и Nvidia создают компактные AI-устройства на базе RTX. На самом деле ждать не нужно. Ведь Naia-OS, которая и играет, и работает с AI, метит ровно на это место. На вашем месте я выбрал бы конфигурацию Naia-OS вместо той новинки — она дороже даже нашей рекомендуемой топовой линейки, совместимость с играми под вопросом, а единая память медленная. Naia-OS же, в которую вставляется проверенный потребительский GPU, охватывает всё: игры, AI и расширяемость.

Я не откладываю поддержку среды Mac нарочно — просто из-за нехватки оборудования и времени пока не дошли до неё руки. Есть и те, кто согласился помочь мне с этим.

Naia-OS — это не единый модуль, а набор open-source репозиториев с разделёнными ролями, и мы шаг за шагом собираем этот каркас. Вам может показаться: «Тут чего-то невероятно много?» — но это возможно именно потому, что сейчас наступила «эпоха разработки на основе AI».

Если прежняя OS была инструментом управления приложениями, то я верю, что AI OS станет программным обеспечением и роботом, который общается на естественном языке, помнит и сам решает задачи. Это не просто блеф — я буду доказывать это результатами, один за другим.

🤝 Давайте вместе — офлайн-встреча и Discord

В течение следующей недели я планирую провести офлайн-встречу, чтобы рассказать о том, над чем работал всё это время, и найти тех, с кем мы сможем помогать друг другу. Скачайте и попробуйте модуль, а если вам интересно — заходите в Discord по ссылке ниже. Надеюсь, это перерастёт в полноценное open-source сообщество.

Присоединиться к Naia Discord

Прошу вашей всесторонней поддержки и интереса к тому пути, который дальше будут прокладывать Nextain и Naia.

#Nextain #Naia

Popular Posts

CC BY-NC-SA 4.0This post is licensed under CC BY-NC-SA 4.0.

Комментарии

Вы можете оставить комментарий без входа

...