RVC 模型训练教程：用自己的声音训练 AI 变声模型（2026）

在 B 站刷到过 AI 翻唱，或者想给自己的直播装一个实时变声器？背后很可能就是 RVC 模型。RVC 是 Retrieval-based Voice Conversion 的缩写，中文常叫检索式语音转换：输入一段真人说话或唱歌的录音，它能把音色换成你训练好的那个声音，歌词、节奏和旋律都不变。只要有 10 分钟左右的干净录音和一张还过得去的显卡，就能训练出属于自己的 RVC 模型。这篇教程讲清 RVC 的原理，它和文字转语音、零样本克隆的区别，WebUI 的安装、训练和推理参数，以及必须守住的授权底线。

RVC 模型是什么：检索式语音转换的原理

RVC 是一种声音转声音的技术，它不认字。你给它一段表演（你说的一句台词或唱的一段歌）和一个训练好的音色模型，它输出同一段表演，只是换成了模型的音色。一次转换大致分四步：

1. 提取内容：用自监督语音模型（项目致谢里列出了 HuBERT 和 ContentVec）把输入音频变成特征，记录“说了什么”，尽量不带“谁在说”的信息。
2. 提取音高：音高提取算法跟踪输入的旋律。当前版本默认用 RMVPE，README 称它效果最好、速度快、资源占用小。
3. 检索替换：这就是 RVC 里的“检索”。训练时，训练集的特征会存进一个索引文件；转换时，RVC 在索引里找最接近的特征替换进去，用来减少“音色泄漏”，也就是原唱的音色混进结果里。
4. 合成声音：基于 VITS 和 HiFi-GAN 的生成器把这些信息还原成目标音色的音频。

因为输入是真人表演，RVC 会完整保留演绎细节：停顿、重音、情绪、颤音，甚至唱错的地方。这是它在翻唱和配音里好用的原因，也是它最大的限制。

RVC、文字转语音和零样本克隆有什么区别

这三种技术经常被统称为“AI 配音”，解决的却是不同的问题。

不想训练模型？先看看零样本克隆

如果你的目标是用自己的声音做口播、课程或短视频配音，训练 RVC 模型就绕远了。零样本克隆只需要 10 到 30 秒录音就能学到你的音色，然后朗读任何文字，我们的 AI 声音克隆工具用的也是这种方式，参考音频怎么录可以看声音克隆教程。如果只要一个好听的声音，不在乎像不像自己，选文字转语音的预设音色更省事。

RVC 值得折腾的场景是：要转换歌声，要原样保留某一段表演，要实时变声，或者希望所有数据都留在自己电脑上。

准备工作：RVC WebUI 项目、显卡和安装

最主流的开源项目是 GitHub 上的 RVC-Project/Retrieval-based-Voice-Conversion-WebUI。截至 2026 年 10 月，项目采用 MIT 协议，没有归档，星标超过 3.8 万，最新发行版 2.3.260718 发布于 2026 年 7 月。它的底模用接近 50 小时的开源 VCTK 数据集训练。README 里预告了 RVCv3 底模，目前界面可选 v1 和 v2，默认 v2。

显卡和环境

当前分支面向 Python 3.12（64 位），推荐 Ubuntu 24.04，Windows 也能用。依赖按显卡选择：

显存方面，项目常见问题解答认为 4G 显存调低 batch size 后可以用，再低不建议。没有可用显卡时界面会提示改用 CPU 训练，耗时会长很多。

安装流程

1. 创建 Python 3.12 虚拟环境，按显卡安装对应的依赖文件。依赖文件默认使用国内镜像源，在国内下载通常更顺。
2. 从项目的 Hugging Face 仓库下载 HuBERT、RMVPE 和 v2 预训练底模，放进 assets 目录，Windows 还要把 ffmpeg 放到项目根目录。
3. 运行 python webui.py（Windows 可双击 go-webui.bat），浏览器打开 7865 端口。

很多人会直接下载网上流传的“整合包”。整合包省事，但来源五花八门，最好从项目的 GitHub 发行页和官方 Hugging Face 仓库获取文件。没有显卡的话，项目 Wiki 里有用 AutoDL 租云端 GPU 训练的教程，也可以选别的云平台，上传声音素材前先读清平台的使用条款。

训练集：怎么录好自己的 10 分钟声音

模型只会模仿它听过的声音，训练集决定了效果上限。

• 时长：README 建议至少 10 分钟低底噪语音，FAQ 推荐 10 到 50 分钟。宁可短而干净，也不要长而杂。
• 只录你自己：只用你本人的声音，或者已经取得对方书面授权的声音。不要用多人访谈、直播回放里混着弹幕音效和背景音乐的片段。
• 每次录音条件一致：同一支麦克风、同一个房间、同样的距离。有窗帘、床和衣柜的小房间比空旷的客厅好，别在卫生间和楼道里录。
• 覆盖你的音域：正常说话之外，再录一些大声和小声的段落。要训练唱歌模型，就把你舒服的音域从低到高都唱到，训练集里没有的高音和低音，转换时最容易破音。
• 适度清理：剪掉咳嗽、口水音、长时间静音和别人的声音。降噪别开太狠，降噪留下的电音也会被模型学走。素材里有伴奏的话，WebUI 自带 pymss/MSST 人声分离和去混响工具。
• 路径用英文：把 WAV 文件放进一个英文路径的文件夹。

不需要自己把音频切成很多小段，WebUI 在处理数据这一步会自动切片和归一化。

RVC 模型训练步骤：从处理数据到训练索引

训练在 WebUI 的“训练”页完成，下面的名称都来自当前的中文界面。

第 1 步：填写实验配置

• 输入实验名：用简短的英文名，比如 myvoice。
• 目标采样率：40k（默认）或 48k。
• 模型是否带音高指导：界面原话是“唱歌一定要，语音可以不要”，不确定就保持开启。
• 版本：v2（默认）或 v1。

第 2 步：处理数据和特征提取

先填训练文件夹路径，点击“处理数据”，WebUI 会扫描、切片并归一化音频。然后在“选择音高提取算法”里选 pm 或 rmvpe（README 推荐 rmvpe），点击“特征提取”，提取音高和 HuBERT 特征。

第 3 步：训练模型和索引

• 总训练轮数 total_epoch：默认 20。FAQ 的经验是素材一般时 20 到 30 轮就够，素材干净且时长充足可以加到 200 轮左右。
• 保存频率 save_every_epoch：每隔几轮保存一次，默认 5。
• 每张显卡的 batch_size：显存不够就调低。
• 是否缓存所有训练集至显存：只有 10 分钟以下的小数据才值得开。
• 是否在每次保存时间点将最终小模型保存至 weights 文件夹：想对比不同轮数的效果就打开。

依次点击“训练模型”和“训练特征索引”，也可以用“一键训练”按顺序跑完所有步骤。轮数不是越多越好，用同一段测试音频听几个保存点，留下最自然的那个。训练完成后，小模型是 assets/weights 里的 .pth 文件，索引是 assets/indices 里的 .index 文件。

RVC 推理参数：变调、检索特征占比和保护清辅音

转换音频在“模型推理”页：在“推理音色”里选你的模型，索引路径会自动匹配，再上传一段干净、没有混响的人声。真正影响结果的是下面这几个参数：

比调参更管用的是输入质量：先把人声和伴奏分开，别用带混响的人声，尽量让输入音域接近模型，不要靠极端的变调值硬拉。

实时变声

项目另外提供实时变声界面，Windows 双击 go-realtime_gui.bat 启动。README 的数据是端到端延迟约 170ms，使用 ASIO 输入输出设备时约 90ms，但很依赖硬件驱动。用来直播或语音聊天时试效果可以，要做成品还是先录再转更可控。

让伴奏跟上变调后的人声

做翻唱时，如果人声升降的不是整八度，伴奏也要升降同样的半音数，否则调就对不上。我们免费的在线变调工具可以在浏览器里给伴奏升降调且不改变速度，调性检测工具能帮你确认歌曲原调和变调后的调。

RVC 的局限和常见问题

RVC 换的是音色，别的基本不管。输出的节奏、口音、咬字和情绪都来自输入表演，不来自模型，所以平淡的输入转出来还是平淡。用说话素材训练的模型唱歌常常不行，反过来也一样。另外，Python 环境、显卡驱动和模型文件都要配齐，折腾成本不低。

授权与合规：哪些声音可以拿来训练

音色模型就是一份可以反复使用的声音复制品，要按这个分量来对待。

只用自己的声音，或取得书面授权。 别人同意你训练他的声音，最好写清用途、范围、使用期限，并约定对方可以撤回。明星、歌手、主播、配音演员和身边的普通人，没有授权都不能训练，“只是玩玩”的 AI 翻唱也不例外。

软件本身不替你担责。 WebUI 界面上的声明写得很清楚：软件以 MIT 协议开源，作者对软件没有任何控制力，使用软件者、传播软件导出的声音者自负全责。

国内的法律已经覆盖到 AI 声音。 《民法典》规定，对自然人声音的保护参照适用肖像权保护的有关规定。据人民日报 2024 年 10 月的报道，北京互联网法院审理的 AI 声音侵权案认定：AI 声音与本人的音色、语调、发音风格高度一致、能让人联想到本人时就受保护，而且对录音制品的授权并不意味着对声音 AI 化的授权。《互联网信息服务深度合成管理规定》自 2023 年 1 月 10 日起施行，第十四条要求提供人声编辑功能时，提示使用者依法告知被编辑的个人并取得其单独同意；第十七条要求合成人声、仿声等内容作显著标识。《人工智能生成合成内容标识办法》自 2025 年 9 月 1 日起施行，要求在音频的起始、末尾或中间适当位置添加语音提示等标识。

发布时标注。 在简介或画面里写明“本音频使用 AI 变声”，很多内容平台也要求创作者声明 AI 生成内容。

以上只是一般性说明，不构成法律意见。法规和平台规则会更新，涉及商业用途或他人声音时，请以最新规定为准，必要时咨询专业律师。