MASR流式与非流式语音识别项目

MASR是一款基于Pytorch实现的自动语音识别框架，MASR全称是神奇的自动语音识别框架（Magical Automatic Speech Recognition），当前为V2版本，如果想使用V1版本，请在这个分支r1.x。MASR致力于简单，实用的语音识别项目。可部署在服务器，Nvidia Jetson设备，未来还计划支持Android等移动设备。

欢迎大家扫码入知识星球或者QQ群讨论，知识星球里面提供项目的模型文件和博主其他相关项目的模型文件，也包括其他一些资源。

本项目使用的环境：

• Anaconda 3
• Python 3.11
• Pytorch 2.0.1
• Windows 10 or Ubuntu 18.04

项目快速了解

1. 本项目支持流式识别模型deepspeech2、conformer、squeezeformer，efficient_conformer，每个模型都支持流式识别和非流式识别，在配置文件中streaming参数设置。
2. 本项目支持两种解码器，分别是集束搜索解码器ctc_beam_search和贪心解码器ctc_greedy，集束搜索解码器ctc_beam_search准确率更高。
3. 下面提供了一系列预训练模型的下载，下载预训练模型之后，需要把全部文件复制到项目根目录，并执行导出模型才可以使用语音识别。

更新记录

• 2023.01.28: 调整配置文件结构，支持efficient_conformer模型。
• 2022.11: 正式发布最终级的V2版本。

视频讲解

这个是PPSAR的视频教程，项目是通用的，可以参考使用。

• 知识点讲解（哔哩哔哩）
• 流式识别的使用讲解（哔哩哔哩）

在线使用

- 在线使用Dome

快速使用

这里介绍如何使用MASR快速进行语音识别，前提是要安装MASR，文档请看快速安装。执行过程不需要手动下载模型，全部自动完成。

1. 短语音识别

from masr.predict import MASRPredictor

predictor = MASRPredictor(model_tag='conformer_streaming_fbank_aishell')

wav_path = 'dataset/test.wav'
result = predictor.predict(audio_data=wav_path, use_pun=False)
score, text = result['score'], result['text']
print(f"识别结果: {text}, 得分: {int(score)}")

2. 长语音识别

from masr.predict import MASRPredictor

predictor = MASRPredictor(model_tag='conformer_streaming_fbank_aishell')

wav_path = 'dataset/test_long.wav'
result = predictor.predict_long(audio_data=wav_path, use_pun=False)
score, text = result['score'], result['text']
print(f"识别结果: {text}, 得分: {score}")

3. 模拟流式识别

import time
import wave

from masr.predict import MASRPredictor

predictor = MASRPredictor(model_tag='conformer_streaming_fbank_aishell')

# 识别间隔时间
interval_time = 0.5
CHUNK = int(16000 * interval_time)
# 读取数据
wav_path = 'dataset/test.wav'
wf = wave.open(wav_path, 'rb')
data = wf.readframes(CHUNK)
# 播放
while data != b'':
    start = time.time()
    d = wf.readframes(CHUNK)
    result = predictor.predict_stream(audio_data=data, use_pun=False, is_end=d == b'')
    data = d
    if result is None: continue
    score, text = result['score'], result['text']
    print(f"【实时结果】：消耗时间：{int((time.time() - start) * 1000)}ms, 识别结果: {text}, 得分: {int(score)}")
# 重置流式识别
predictor.reset_stream()

模型下载

1. WenetSpeech (10000小时) 的预训练模型列表：

使用模型	是否为流式	预处理方式	语言	测试集字错率	下载地址
conformer	True	fbank	普通话

2. WenetSpeech (10000小时)+中文语音数据集 (3000+小时) 的预训练模型列表：

使用模型	是否为流式	预处理方式	语言	测试集字错率	下载地址
conformere	True	fbank	普通话	0.03179(aishell_test) 0.16722(test_net) 0.20317(test_meeting)	加入知识星球获取

3. AIShell (179小时) 的预训练模型列表：

使用模型	是否为流式	预处理方式	语言	测试集字错率	下载地址
squeezeformer	True	fbank	普通话	0.04137	加入知识星球获取
conformer	True	fbank	普通话	0.04491	加入知识星球获取
efficient_conformer	True	fbank	普通话	0.04073	加入知识星球获取
deepspeech2	True	fbank	普通话	0.06907	加入知识星球获取

4. Librispeech (960小时) 的预训练模型列表：

使用模型	是否为流式	预处理方式	语言	测试集词错率	下载地址
squeezeformer	True	fbank	英文	0.09715	加入知识星球获取
conformer	True	fbank	英文	0.09265	加入知识星球获取
efficient_conformer	True	fbank	英文		加入知识星球获取
deepspeech2	True	fbank	英文	0.19423	加入知识星球获取

说明：

1. 这里字错率或者词错率是使用eval.py程序并使用集束搜索解码ctc_beam_search方法计算得到的。
2. 没有提供预测模型，需要把全部文件复制到项目的根目录下，执行export_model.py导出预测模型。
3. 由于算力不足，这里只提供了流式模型，但全部模型都支持流式和非流式的，在配置文件中streaming参数设置。

有问题欢迎提 issue 交流

文档教程

• 快速安装
• 快速使用
• 数据准备
• WenetSpeech数据集
• 合成语音数据
• 数据增强
• 训练模型
• 集束搜索解码
• 执行评估
• 导出模型
• 使用标点符号模型
• 使用语音活动检测（VAD）
• 预测
  • 本地预测
  • 长语音预测
  • Web部署模型
  • GUI界面预测

相关项目

• 基于Pytorch实现的声纹识别：VoiceprintRecognition-Pytorch
• 基于Pytorch实现的分类：AudioClassification-Pytorch
• 基于PaddlePaddle实现的语音识别：PPASR

打赏作者

打赏一块钱支持一下作者

参考资料

• https://github.com/yeyupiaoling/PPASR
• https://github.com/jiwidi/DeepSpeech-pytorch
• https://github.com/wenet-e2e/WenetSpeech
• https://github.com/SeanNaren/deepspeech.pytorch