RVC 模型訓練教學：用自己的聲音訓練 AI 變聲模型（2026）

在 B 站刷到過 AI 翻唱，或者想給自己的直播裝一個即時變聲器？背後很可能就是 RVC 模型。RVC 是 Retrieval-based Voice Conversion 的縮寫，中文常叫檢索式語音轉換：輸入一段真人說話或唱歌的錄音，它能把音色換成你訓練好的那個聲音，歌詞、節奏和旋律都不變。只要有 10 分鐘左右的乾淨錄音和一張還過得去的顯示卡，就能訓練出屬於自己的 RVC 模型。這篇教學講清 RVC 的原理，它和文字轉語音、零樣本克隆的區別，WebUI 的安裝、訓練和推理引數，以及必須守住的授權底線。

RVC 模型是什麼：檢索式語音轉換的原理

RVC 是一種聲音轉聲音的技術，它不認字。你給它一段表演（你說的一句台詞或唱的一段歌）和一個訓練好的音色模型，它輸出同一段表演，只是換成了模型的音色。一次轉換大致分四步：

1. 提取內容：用自監督語音模型（專案致謝裡列出了 HuBERT 和 ContentVec）把輸入音訊變成特徵，記錄“說了什麼”，儘量不帶“誰在說”的資訊。
2. 提取音高：音高提取演算法跟蹤輸入的旋律。目前版本預設用 RMVPE，README 稱它效果最好、速度快、資源佔用小。
3. 檢索替換：這就是 RVC 裡的“檢索”。訓練時，訓練集的特徵會存進一個索引檔案；轉換時，RVC 在索引裡找最接近的特徵替換進去，用來減少“音色洩漏”，也就是原唱的音色混進結果裡。
4. 合成聲音：基於 VITS 和 HiFi-GAN 的生成器把這些資訊還原成目標音色的音訊。

因為輸入是真人表演，RVC 會完整保留演繹細節：停頓、重音、情緒、顫音，甚至唱錯的地方。這是它在翻唱和配音裡好用的原因，也是它最大的限制。

RVC、文字轉語音和零樣本克隆有什麼區別

這三種技術經常被統稱為“AI 配音”，解決的卻是不同的問題。

不想訓練模型？先看看零樣本克隆

如果你的目標是用自己的聲音做口播、課程或短影片配音，訓練 RVC 模型就繞遠了。零樣本克隆只需要 10 到 30 秒錄音就能學到你的音色，然後朗讀任何文字，我們的 AI 聲音克隆工具用的也是這種方式，參考音訊怎麼錄可以看聲音克隆教學。如果只要一個好聽的聲音，不在乎像不像自己，選文字轉語音的預設音色更省事。

RVC 值得折騰的場景是：要轉換歌聲，要原樣保留某一段表演，要即時變聲，或者希望所有資料都留在自己電腦上。

準備工作：RVC WebUI 專案、顯示卡和安裝

最主流的開源專案是 GitHub 上的 RVC-Project/Retrieval-based-Voice-Conversion-WebUI。截至 2026 年 10 月，專案採用 MIT 協議，沒有歸檔，星標超過 3.8 萬，最新發行版 2.3.260718 發布於 2026 年 7 月。它的底模用接近 50 小時的開源 VCTK 資料集訓練。README 裡預告了 RVCv3 底模，目前介面可選 v1 和 v2，預設 v2。

顯示卡和環境

目前分支面向 Python 3.12（64 位），推薦 Ubuntu 24.04，Windows 也能用。依賴按顯示卡選擇：

視訊記憶體方面，專案常見問題解答認為 4G 視訊記憶體調低 batch size 後可以用，再低不建議。沒有可用顯示卡時介面會提示改用 CPU 訓練，耗時會長很多。

安裝流程

1. 建立 Python 3.12 虛擬環境，按顯示卡安裝對應的依賴檔案。依賴檔案預設使用國內映象源，在國內下載通常更順。
2. 從專案的 Hugging Face 倉庫下載 HuBERT、RMVPE 和 v2 預訓練底模，放進 assets 目錄，Windows 還要把 ffmpeg 放到專案根目錄。
3. 執行 python webui.py（Windows 可雙擊 go-webui.bat），瀏覽器開啟 7865 埠。

很多人會直接下載網上流傳的“整合包”。整合包省事，但來源五花八門，最好從專案的 GitHub 發行頁和官方 Hugging Face 倉庫獲取檔案。沒有顯示卡的話，專案 Wiki 裡有用 AutoDL 租雲端 GPU 訓練的教學，也可以選別的雲平台，上傳聲音素材前先讀清平台的使用條款。

訓練集：怎麼錄好自己的 10 分鐘聲音

模型只會模仿它聽過的聲音，訓練集決定了效果上限。

• 時長：README 建議至少 10 分鐘低底噪語音，FAQ 推薦 10 到 50 分鐘。寧可短而乾淨，也不要長而雜。
• 只錄你自己：只用你本人的聲音，或者已經取得對方書面授權的聲音。不要用多人訪談、直播回放裡混著彈幕音效和背景音樂的片段。
• 每次錄音條件一致：同一支麥克風、同一個房間、同樣的距離。有窗簾、床和衣櫃的小房間比空曠的客廳好，別在衛生間和樓道里錄。
• 覆蓋你的音域：正常說話之外，再錄一些大聲和小聲的段落。要訓練唱歌模型，就把你舒服的音域從低到高都唱到，訓練集裡沒有的高音和低音，轉換時最容易破音。
• 適度清理：剪掉咳嗽、口水音、長時間靜音和別人的聲音。降噪別開太狠，降噪留下的電音也會被模型學走。素材裡有伴奏的話，WebUI 自帶 pymss/MSST 人聲分離和去混響工具。
• 路徑用英文：把 WAV 檔案放進一個英文路徑的資料夾。

不需要自己把音訊切成很多小段，WebUI 在處理資料這一步會自動切片和歸一化。

RVC 模型訓練步驟：從處理資料到訓練索引

訓練在 WebUI 的“訓練”頁完成，下面的名稱都來自目前的中文介面。

第 1 步：填寫實驗設定

• 輸入實驗名：用簡短的英文名，比如 myvoice。
• 目標取樣率：40k（預設）或 48k。
• 模型是否帶音高指導：介面原話是“唱歌一定要，語音可以不要”，不確定就保持開啟。
• 版本：v2（預設）或 v1。

第 2 步：處理資料和特徵提取

先填訓練資料夾路徑，點選“處理資料”，WebUI 會掃描、切片並歸一化音訊。然後在“選擇音高提取演算法”裡選 pm 或 rmvpe（README 推薦 rmvpe），點選“特徵提取”，提取音高和 HuBERT 特徵。

第 3 步：訓練模型和索引

• 總訓練輪數 total_epoch：預設 20。FAQ 的經驗是素材一般時 20 到 30 輪就夠，素材幹淨且時長充足可以加到 200 輪左右。
• 儲存頻率 save_every_epoch：每隔幾輪儲存一次，預設 5。
• 每張顯示卡的 batch_size：視訊記憶體不夠就調低。
• 是否快取所有訓練集至視訊記憶體：只有 10 分鐘以下的小資料才值得開。
• 是否在每次儲存時間點將最終小模型儲存至 weights 資料夾：想對比不同輪數的效果就開啟。

依次點選“訓練模型”和“訓練特徵索引”，也可以用“一鍵訓練”按順序跑完所有步驟。輪數不是越多越好，用同一段測試音訊聽幾個儲存點，留下最自然的那個。訓練完成後，小模型是 assets/weights 裡的 .pth 檔案，索引是 assets/indices 裡的 .index 檔案。

RVC 推理引數：變調、檢索特徵佔比和保護清子音

轉換音訊在“模型推理”頁：在“推理音色”裡選你的模型，索引路徑會自動匹配，再上傳一段乾淨、沒有混響的人聲。真正影響結果的是下面這幾個引數：

比調參更管用的是輸入質量：先把人聲和伴奏分開，別用帶混響的人聲，儘量讓輸入音域接近模型，不要靠極端的變調值硬拉。

即時變聲

專案另外提供即時變聲介面，Windows 雙擊 go-realtime_gui.bat 啟動。README 的資料是端到端延遲約 170ms，使用 ASIO 輸入輸出裝置時約 90ms，但很依賴硬體驅動。用來直播或語音聊天時試效果可以，要做成品還是先錄再轉更可控。

讓伴奏跟上變調後的人聲

做翻唱時，如果人聲升降的不是整八度，伴奏也要升降同樣的半音數，否則調就對不上。我們免費的線上變調工具可以在瀏覽器裡給伴奏升降調且不改變速度，調性檢測工具能幫你確認歌曲原調和變調後的調。

RVC 的侷限和常見問題

RVC 換的是音色，別的基本不管。輸出的節奏、口音、咬字和情緒都來自輸入表演，不來自模型，所以平淡的輸入轉出來還是平淡。用說話素材訓練的模型唱歌常常不行，反過來也一樣。另外，Python 環境、顯示卡驅動和模型檔案都要配齊，折騰成本不低。

授權與合規：哪些聲音可以拿來訓練

音色模型就是一份可以反覆使用的聲音複製品，要按這個分量來對待。

只用自己的聲音，或取得書面授權。 別人同意你訓練他的聲音，最好寫清用途、範圍、使用期限，並約定對方可以撤回。明星、歌手、主播、配音演員和身邊的普通人，沒有授權都不能訓練，“只是玩玩”的 AI 翻唱也不例外。

軟體本身不替你擔責。 WebUI 介面上的宣告寫得很清楚：軟體以 MIT 協議開源，作者對軟體沒有任何控制力，使用軟體者、傳播軟體匯出的聲音者自負全責。

國內的法律已經覆蓋到 AI 聲音。 《民法典》規定，對自然人聲音的保護參照適用肖像權保護的有關規定。據人民日報 2024 年 10 月的報道，北京網際網路法院審理的 AI 聲音侵權案認定：AI 聲音與本人的音色、語調、發音風格高度一致、能讓人聯想到本人時就受保護，而且對錄音製品的授權並不意味著對聲音 AI 化的授權。《網際網路資訊服務深度合成管理規定》自 2023 年 1 月 10 日起施行，第十四條要求提供人聲編輯功能時，提示使用者依法告知被編輯的個人並取得其單獨同意；第十七條要求合成人聲、仿聲等內容作顯著代稱。《人工智慧生成合成內容代稱辦法》自 2025 年 9 月 1 日起施行，要求在音訊的起始、末尾或中間適當位置新增語音提示等代稱。

發布時標註。 在簡介或畫面裡寫明“本音訊使用 AI 變聲”，很多內容平台也要求創作者宣告 AI 生成內容。

以上只是一般性說明，不構成法律意見。法規和平台規則會更新，涉及商業用途或他人聲音時，請以最新規定為準，必要時諮詢專業律師。