новость ZONOS3-Mini озвучивает текст и клонирует голос в браузере

[admin]

9 ноября Zyphra выпустила ZONOS3-Mini для озвучивания текста и клонирования голоса. Модель работает прямо в браузере с WebGPU. В Lite можно записать образец голоса с микрофона, ввести новый текст и скачать озвучку в WAV.

• При первом запуске Lite загружает около 1,9 ГБ файлов модели и сохраняет их в кеше браузера.
• Для клонирования Zyphra рекомендует чистую запись голоса длительностью от 5 до 30 секунд.
• Веса ZONOS3-Mini доступны по лицензии Apache 2.0.

Как озвучить текст в браузере

В ZONOS3-Mini Local Playground Lite нажмите Run in this browser. Для озвучки можно выбрать готовый голос или добавить свой образец в Your clip. Кнопка Upload загружает запись, Record включает микрофон, а Clone voice добавляет голос для синтеза. Затем введите текст, выберите язык и нажмите Generate. Готовый файл сохраняется через Download WAV.

После загрузки модели браузер обрабатывает образец и синтезирует речь на устройстве. Для запуска вне браузера у Zyphra есть отдельные среды, в том числе MLX для Apple Silicon и GGML для CPU и совместимых GPU.

Как быстро начинается озвучка

В браузерных замерах Zyphra первый звук появлялся менее чем через 150 мс на MacBook Air с M3 и менее чем через 570 мс на Pixel 9. Эти цифры показывают задержку до начала речи в тесте разработчика.

Сравнение с другими моделями синтеза речи

В тесте ZTTS2 Eval Zyphra свела в один индекс разборчивость, сходство голоса с образцом, качество звука и просодию, то есть ритм и интонацию. За 50 баллов взят результат ZONOS2 accurate, за 100 баллов взята естественная речь.

На графике показан режим ZONOS3-Mini с голосовым эмбеддингом, то есть числовым представлением голоса. Его доверительный интервал пересекается с интервалами Fish S2 Pro и MOSS TTS v1.5, поэтому разницу между их баллами стоит читать с учетом разброса оценок.