RVC — нейросеть голоса для voice conversion: она меняет тембр готовой вокальной или речевой записи, но сохраняет значительную часть исходной интонации и ритма. Это не обычный TTS. Если новая речь должна появиться непосредственно из текста, используйте преобразование текста в голос, а не RVC.
Материал основан на официальном репозитории RVC-Project, проверенном 24 сентября 2026 года. Проект развивается, зависимости и способы запуска меняются; устанавливайте его только из официального источника и проверяйте актуальный README.
Главное различие. TTS произносит написанный текст. RVC получает уже произнесённую или спетую дорожку и преобразует её тембр. Качество зависит от двух исходников: датасета целевого голоса и исполнения, которое подаётся на вход.
Как работает RVC
Retrieval-based Voice Conversion использует обученную модель голоса и индекс признаков, чтобы приблизить входную запись к целевому тембру. Слова, длительность и эмоциональная динамика в основном приходят от исходного исполнителя. Модель не исправляет дикцию и не придумывает актёрскую игру.
| Инструмент | Что поступает на вход | Что получается |
|---|---|---|
| TTS | Текст | Новая речь выбранным голосом |
| RVC / voice conversion | Готовая речь или вокал | Та же реплика с другим тембром |
| Voice changer реального времени | Поток с микрофона | Изменённый голос с задержкой |
| Обычный аудиоэффект | Запись | Изменённые высота, тембр или спектр |
Что нужно для RVC
Компьютер и время. Локальное обучение требует установки зависимостей и вычислений. Официальный проект содержит варианты для разных конфигураций, но скорость зависит от оборудования.
Чистый датасет. Репозиторий заявляет возможность обучить модель на сравнительно небольшом объёме записи, однако минимальный объём не гарантирует качество. Разнообразная чистая речь полезнее длинного файла с музыкой и эхом.
Права на голос. Используйте собственную запись или материал с явным согласием владельца. Публично доступный ролик не становится свободным датасетом.
Исходное исполнение. Чёткая дикция, подходящая высота и сыгранная эмоция переходят в результат лучше, чем попытка исправить всё моделью.
Как подготовить датасет RVC
- Соберите записи одного человека. Не смешивайте разные голоса и периоды с резко отличающимся тембром.
- Удалите музыку и сильный фон. Артефакты могут закрепиться в модели. Для отдельной очистки используйте удаление шума из аудио.
- Разделите на короткие фрагменты. Уберите длинную тишину, дубли и повреждённые участки.
- Сохраните разнообразие. Нужны спокойные и энергичные фразы, разные гласные и согласные, но без экстремального крика.
- Проверьте выборочно. Прослушайте начало, середину и конец каждого исходного файла.
Не пытайтесь увеличить датасет копиями одного и того же фрагмента. Модель получает больше повторов, а не больше информации. Если запись неоднородна, лучше оставить меньше чистого материала.
Обучение модели: что происходит
Типовой процесс включает предварительную обработку аудио, извлечение признаков и высоты тона, обучение модели и построение индекса. В WebUI шаги представлены отдельными действиями. Названия параметров зависят от версии, поэтому следуйте документации конкретного релиза.
Сохраняйте конфигурацию и контрольный набор. После нескольких контрольных точек конвертируйте одну и ту же реплику. Больше эпох не всегда означает лучше: модель может начать воспроизводить дефекты и потерять гибкость.
Как конвертировать голос через RVC
Подготовьте входную реплику
Запишите её чисто и без эффектов. Исполнитель должен заранее сыграть нужную эмоцию: модель меняет тембр, но не заменяет режиссуру. Если диапазоны сильно отличаются, подберите высоту тона аккуратно.
Выберите модель и индекс
Убедитесь, что файлы относятся к одной версии обучения. Слишком сильное влияние индекса способно добавить шорох и «чужие» окончания, слишком слабое — уменьшить сходство тембра.
Сделайте короткую конвертацию
Начните с 10–20 секунд. Послушайте гласные, шипящие, переходы между регистрами и окончания. Только после удачного теста запускайте длинный файл.
Сведите результат
Обрежьте тишину, выровняйте уровень и проверьте дорожку в контексте. Не пропускайте конвертированный голос через агрессивное шумоподавление без необходимости.
Типичные артефакты RVC
| Проблема | Вероятная причина | Что проверить |
|---|---|---|
| Металлические окончания | Шумный датасет или вход | Чистоту исходников и силу индекса |
| Скачки тембра | Неоднородный датасет | Разные микрофоны и манеры |
| Фальшивые ноты | Ошибки определения высоты | Метод F0 и диапазон исполнения |
| Неразборчивая речь | Плохая дикция входного исполнителя | Перезапись исходной реплики |
Безопасность и права
Не обучайте модель на голосе человека без его согласия и не публикуйте реплики от его имени. Для актёра или сотрудника оформите разрешение на датасет, обучение, каналы использования, срок и удаление модели.
Если похожесть на конкретного человека не нужна, используйте настройку оригинального ИИ-голоса. Это проще для серийного контента и снижает риск вводить аудиторию в заблуждение.
FAQ
RVC — это TTS?
Нет. RVC преобразует уже записанную речь или вокал, а TTS создаёт речь из текста.
Сколько записи нужно для модели?
Официальный проект допускает небольшой датасет, но качество зависит от чистоты и разнообразия. Минимальное число минут не гарантирует хороший результат.
Можно ли запустить RVC без видеокарты?
В проекте встречаются конфигурации для разных устройств, но обучение на процессоре медленнее. Проверяйте требования выбранного релиза.
Почему результат звучит металлически?
Проверьте шум и эхо в датасете, качество входной записи, высоту тона и влияние индекса.
Можно ли использовать модель публичного человека?
Публичность записей не означает разрешения на обучение и публикацию синтетических реплик. Нужны законные основания и согласие.
Когда проще выбрать TTS?
Когда есть только текст и не нужно сохранять актёрскую игру исходного исполнителя. TTS быстрее для инструкций, роликов и регулярной озвучки.
Если нужен голос сразу из текста
Выберите готовый голос, проверьте короткую реплику и создайте дорожку без локального обучения модели.
Создать озвучку из текста