AI语音-01-概述.md

AI语音-01-概述

最佳实践：whisper + bark + Retrieval-based-Voice-Conversion-WebUI

一. 汇总

• https://github.com/zzw922cn/awesome-speech-recognition-speech-synthesis-papers

二. ASR：语音识别

两个方案：首选wishper，次选sherpa-ncnn

1. whisper： https://github.com/openai/whisper.git
2. Kaldi新一代
   • https://github.com/k2-fsa/k2 （底层实现）
   • https://github.com/k2-fsa/icefall （训练）
   • https://github.com/lhotse-speech/lhotse （数据处理）
   • https://github.com/k2-fsa/sherpa （部署）
   • https://github.com/k2-fsa/sherpa-ncnn
3. wenet：https://github.com/wenet-e2e/wenet.git
4. Retalker
5. paddlespeech
6. kaldi
   • https://github.com/kaldi-asr/kaldi
7. funasr
8. speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch
9. SummerAsr基于Deepspeech2

三. TTS：语音克隆+合成

三选一：edge-tts,libvits-ncnn/summperTTS,bark.cpp

1. AudioCraft
   • https://github.com/facebookresearch/audiocraft
   • https://audiocraft.metademolab.com/?utm_source=twitter&utm_medium=organic_social&utm_campaign=audiocraft&utm_content=card
   • https://mp.weixin.qq.com/s/nam66OCYhhZtKM6w23IlDA
2. bark
   • https://github.com/suno-ai/bark
   • https://huggingface.co/spaces/suno/bark
   • https://suno-ai.notion.site/8b8e8749ed514b0cbf3f699013548683?v=bc67cff786b04b50b3ceb756fd05f68c
   • https://github.com/KevinWang676/Bark-Voice-Cloning
   • https://github.com/PABannier/bark.cpp.git
   • 最强TTS项目
   • 加入了情感，语气，等
   • 中文是外国人说中文
3. StyleTTS
   • styletts性能非常棒，8S音频可以在100ms完成
   • https://github.com/yl4579/StyleTTS
   • https://styletts.github.io/
   • https://huggingface.co/spaces/yl4579/StyleTTS
4. vits
   • https://github.com/jaywalnut310/vits
   • https://github.com/PlayVoice/vits_chinese
   • https://huggingface.co/spaces/maxmax20160403/vits_chinese
   • https://github.com/Sg4Dylan/libvits-ncnn
   • summperTTS
5. coqui-tts
   • https://github.com/coqui-ai/TTS
   • 集成了主流的tts项目
6. voicebox
7. 微软Azure：付费使用
8. edge-tts：https://github.com/rany2/edge-tts
9. Mega-TTS 2
   • 浙江大学联手字节跳动推出的 Mega-TTS 2，目前最强中文语音AI，在音色、韵律方便处理得非常出色
10. fastspeech2+hifigan
11. Tacotron 2
12. https://github.com/Plachtaa/VALL-E-X

四. 声音克隆与变声器RVC

1. so-vits-svc
   • https://github.com/svc-develop-team/so-vits-svc
   • 效果最好，需要训练
   • AI唱歌:Singing Voice Conversion
2. 声音克隆：Real-Time-Voice-Cloning
   • https://github.com/CorentinJ/Real-Time-Voice-Cloning.git
3. MockingBird
   • https://github.com/babysor/MockingBird
   • 基于Real-Time-Voice-Cloning
   • 效果一般
4. bark也可以做
   • https://github.com/KevinWang676/Bark-Voice-Cloning
5. Retrieval-based-Voice-Conversion-WebUI
   • 10分钟训练AI变声器，音色克隆门槛进一步降低！一键训练包发布！
   • https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI
6. FreeVC
   • https://github.com/OlaWod/FreeVC

五. 人声和背景音分离，如歌曲

1. spleeter
   • https://github.com/deezer/spleeter
   • https://github.com/boy1dr/SpleeterGui
   • https://huggingface.co/spaces/rbarman/Audio_Separation_Spleeter
2. demusic
3. UVR