fastspeech2中，preprocess加入新数据集的改进？

[jerryuhoo]

除了已支持的数据集以外，如果需要加入新的数据集，或者需要混合多个数据集一起训练，是否可以改进一下preprocess的流程，以避免重复预处理呢？目前preprocess的问题是需要全部重新计算一遍，是否可以添加一些控制的参数如--input_data，然后输入某些数据集的名字，然后自动跳过已生成的pitch，energy，speech等信息，或者自动删除--input_data中不存在的数据集的信息（比如说上次预处理aishell3，这次不想要aishell3的数据就自动删除），这样可以快速的提高预处理的速度，对自定义数据集的处理更加方便。

[yt605155624]

感觉比起改代码，用户直接手动把原始数据集混合起来比较方便，比如 aishell3 + baker, 你可以把 baker 相关的数据当成 aishell3 里面的一个音色，文本和音频按同样的格式放
您说的这种方法，我暂时想到的一个问题是：
多个数据集，如果分开生成，跳过已经生成的，那么新的数据集的 spk_id 该怎么算，重新开始还是顺着之前标号？
均值和方差是重新计算两个数据集的还是按之前的？
norm 的时候用的均值方差是数据集自己的还是两个数据集一起算？
paddlespeech 只有开源数据集，预处理处理的文件结构也是开源数据集的结构，用户如果想用自己的数据来处理，肯定是要改一下 preprocess 里面的文件结构的。

[jerryuhoo]

您说的把原始数据混合起来指的是把wav和textgrid混合起来吗？如果是这样子的话处理流程不用变，只需要检测每个声音所对应的各个npy文件是否已存在dump文件夹中，如果存在就跳过计算，只生成新增加的数据的npy，您觉得这样可行吗？

[yt605155624]

您说的把原始数据混合起来指的是把wav和textgrid混合起来吗？如果是这样子的话处理流程不用变，只需要检测每个声音所对应的各个npy文件是否已存在dump文件夹中，如果存在就跳过计算，只生成新增加的数据的npy，您觉得这样可行吗？

可以直接从原始数据那一步开始混合在一起，重新训练MFA 啥的（建议还是每新增一个混合数据集，都重新训练MFA），如果多个数据集已经有 MFA 结果了，就可以直接把 textgrid 混合在一起，或者把 durations.txt concat到一起