TacoTron2 多人模型会有吗

[jerryuhoo]

如题，大概啥时候会有呢？

[yt605155624]

aishell3更新了一版 vc0 的代码， tts0 暂时不打算弄了，可以自己做一下

[jerryuhoo]

在train.py加入了speaker_dict和spk_num

if args.speaker_dict is not None:
      print("multiple speaker tacotron2!")
      collate_fn = tacotron2_multi_spk_batch_fn
      with open(args.speaker_dict, 'rt') as f:
          spk_id = [line.strip().split() for line in f.readlines()]
      spk_num = len(spk_id)
      fields += ["spk_id"]

……

model = Tacotron2(idim=vocab_size, odim=odim, spk_num=spk_num, **config["model"])

遇到了两个问题：

1. 在3090上训练的，感觉改batch size好像对显存影响不是很有效？我把batch size改为了8还是将近占满了24G的显存。batch size改小后总的迭代次数变多，eval要过很久才能执行一次。这个是训练了一晚上的结果，loss大概在0.7左右
   

2. 训练完合成的音频错误，合成的内容是错的，而且每次输出的内容都不一样。训练的时候用了中文+英文的数据集，词典是拼接的，这个应该不会影响，因为我试了fastspeech2是正常的。
不好意思是我自己训练的shell忘记加--speaker-dict了，不过训练的时候显存确实占的挺多的，但是GPU利用率感觉很少，有什么办法吗（2.15更新）
这次训练完speaker倒是能听出来，但是生成的内容还是错误的并且是随机的（2.16更新）

[yt605155624]

我训练 tacotron2 aishell3 vc0(也是多说话人，不过 speak emb 是通过声纹模型合成的) 的时候训练到后期很不稳定(train 和 eval 都是，注意 8e+4 的峰值)，正常的 loss 应该在 0.58 左右


如果我不幸使用了 loss 曲线在上升的时候保存的模型用于合成，合成的结果就是乱七八糟，听不出正确的文字，应该是 attn 的问题，现在放出来的模型只训练了 100 epoch 不到（而且还是精心挑选的模型，我训练的时候 snapshot 调成了 50, 害怕中途 loss 低的模型被覆盖掉）, 因为 200 epoch 很容易不稳定，即使增加到 300 epoch 也还是不太稳定。。
Tacotron2 多说话人貌似挺难调的，推荐还是不要用了 = = 如果您实在想自己训练，建议多保留 snapshot(默认是 5 ，你改成 50)，提前停止，精心挑选。。。