Перейти к содержанию

Inworld выпустила Voice Isolator для очистки записей и прямого эфира

64 просмотра

Рекомендуемые сообщения

  • Администратор

18 ноября Inworld выпустила Voice Isolator для локальной очистки речи. Модель подавляет шум и музыку вокруг голоса в готовых записях и живом аудио. Код и веса доступны по лицензии Apache 2.0.

Редакционная иллюстрация к Inworld Voice Isolator. Студийный микрофон и условные звуковые волны.

  • Из записи можно сохранить очищенную речь и удаленный фон в отдельных файлах.
  • Потоковая версия обрабатывает звук по мере поступления, поэтому ее можно использовать в звонках и эфирах.

Режимы для записей и живого звука

При обработке файла модель анализирует звук фрагментами по 8 секунд. В длинной записи соседние фрагменты перекрываются на 2 секунды. Так модель учитывает звук до и после каждого момента внутри фрагмента.

На вход потоковой модели подается один канал с частотой 48 кГц. При учете следующих 20 мс аудио Inworld указывает алгоритмическую задержку 63 мс. Полная задержка в звонке или эфире зависит и от остальных этапов обработки.

Если два человека говорят одновременно с примерно одинаковой громкостью, в результате обычно слышны оба. При очистке записи с потерянными частотами модель работает с оставшейся полосой.

Как запустить Voice Isolator локально

При первом запуске загружаются веса для выбранного режима. Обработка может идти на CPU или на видеокарте с CUDA. Для ускорения через Metal на компьютерах с Apple Silicon нужен PyTorch 2.6 или новее.

Записи до и после очистки можно послушать в анонсе Inworld. Характеристики обеих версий и команды запуска доступны в карточке модели и репозитории на GitHub.

  • 64 просмотра

image.png.bbc007783bfd77866c40d333bcf7acb0.pngimage.png.34ece97900fdaa0a096e6e0fa4f78094.png

Ссылка на комментарий
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйте новый аккаунт в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
×
×
  • Создать...