如何生成训练数据？

[haha010508]

请问一下，我目前只有LDC93S6A这个数据集，在运行 sms_wsj 的make时总是出错，所以只生成了wsj_8k_zeromean(里面是wav文件)和wsj_8k_zermean.json（这文件里的性别，转录文本都是空的，我的kaldi跑不通）这两个文件，我的最终目标是把这个模型应用到2mic的阵列上，进行降噪。我要如何才能跑通这个例子呀？是不是只需要有干净数据就行了？有没有一步一步的操作步骤呀？

[quancs]

生成SMS-WSJ的步骤请参考这个仓库 https://github.com/fgnt/sms_wsj

[haha010508]

请问一下，那个数据集生成训练数据相对方便一点呀？

[quancs]

其实 SMS-WSJ 算是比较方便的了

[haha010508]

请问一下，WHAMR! 这个数据是不是按照生成方式生产完了就可以直接训练了？是不是要生成立体声数据？

[quancs]

是的，这个数据集使用的就是原WHAMR！数据集，没有做额外的操作

[haha010508]

请问我训练时的误差突然变成这个了，学习率出问题了吗？
si_sdr 从11突然变到了32，
这是我的训练代码：

python SharedTrainer.py fit
--config=configs/SpatialNet.yaml
--config=configs/datasets/sms_wsj_plus.yaml
--model.channels=[0,1,2,3,4,5]
--model.arch.dim_input=12
--model.arch.dim_output=4
--model.arch.num_freqs=129
--trainer.precision=bf16-mixed
--model.compile=true
--data.batch_size=[2,4]
--trainer.devices=0,
--trainer.max_epochs=100

Epoch 62 metrics: val/neg_si_sdr=-11.5534 val/metric=11.5534 val/sdr=14.1095 val/nb_pesq=2.8877
Epoch 63 metrics: val/neg_si_sdr=-11.5530 val/metric=11.5530 val/sdr=14.0554 val/nb_pesq=2.8877
Epoch 64 metrics: val/neg_si_sdr=-11.5635 val/metric=11.5635 val/sdr=14.1285 val/nb_pesq=2.9130
Epoch 65 metrics: val/neg_si_sdr=-11.5392 val/metric=11.5392 val/sdr=14.1616 val/nb_pesq=2.9130
Epoch 66 metrics: val/neg_si_sdr=-11.6123 val/metric=11.6123 val/sdr=14.1467 val/nb_pesq=2.9130
Epoch 67 metrics: val/neg_si_sdr=-11.5472 val/metric=11.5472 val/sdr=14.0926 val/nb_pesq=2.9130
Epoch 68 metrics: val/neg_si_sdr=-11.5318 val/metric=11.5318 val/sdr=14.1027 val/nb_pesq=2.9130
Epoch 69 metrics: val/neg_si_sdr=-11.6058 val/metric=11.6058 val/sdr=14.1100 val/nb_pesq=2.9208
Epoch 70 metrics: val/neg_si_sdr=-11.6708 val/metric=11.6708 val/sdr=14.1268 val/nb_pesq=2.9208
Epoch 71 metrics: val/neg_si_sdr=-11.6770 val/metric=11.6770 val/sdr=14.1461 val/nb_pesq=2.9208
Epoch 72 metrics: val/neg_si_sdr=-11.7158 val/metric=11.7158 val/sdr=14.2619 val/nb_pesq=2.9208
Epoch 73 metrics: val/neg_si_sdr=32.6677 val/metric=-32.6677 val/sdr=-11.5814 val/nb_pesq=2.9208
Epoch 74 metrics: val/neg_si_sdr=33.5684 val/metric=-33.5684 val/sdr=-11.7089 val/nb_pesq=1.3021
Epoch 75 metrics: val/neg_si_sdr=33.5379 val/metric=-33.5379 val/sdr=-11.7073 val/nb_pesq=1.3021
Epoch 76 metrics: val/neg_si_sdr=33.4594 val/metric=-33.4594 val/sdr=-11.7612 val/nb_pesq=1.3021
Epoch 77 metrics: val/neg_si_sdr=33.5735 val/metric=-33.5735 val/sdr=-11.7613 val/nb_pesq=1.3021
Epoch 78 metrics: val/neg_si_sdr=33.6384 val/metric=-33.6384 val/sdr=-11.6898 val/nb_pesq=1.3021
Epoch 79 metrics: val/neg_si_sdr=32.3899 val/metric=-32.3899 val/sdr=-11.1878 val/nb_pesq=1.3845
Epoch 80 metrics: val/neg_si_sdr=33.2831 val/metric=-33.2831 val/sdr=-11.5233 val/nb_pesq=1.3845
Epoch 81 metrics: val/neg_si_sdr=33.7293 val/metric=-33.7293 val/sdr=-11.7670 val/nb_pesq=1.3845
Epoch 82 metrics: val/neg_si_sdr=32.7420 val/metric=-32.7420 val/sdr=-11.4137 val/nb_pesq=1.3845
Epoch 83 metrics: val/neg_si_sdr=32.3384 val/metric=-32.3384 val/sdr=-11.1690 val/nb_pesq=1.3845
Epoch 84 metrics: val/neg_si_sdr=23.6844 val/metric=-23.6844 val/sdr=-8.5213 val/nb_pesq=1.3123
Epoch 85 metrics: val/neg_si_sdr=26.0809 val/metric=-26.0809 val/sdr=-9.8542 val/nb_pesq=1.3123

[quancs]

大概是训练梯度出了问题，可能是半精度训练导致的，你试试从出问题前的一个epoch使用32精度继续训练

[haha010508]

请问训练在线模型这样写训练代码是对的吗？

python SharedTrainer.py fit
--config=configs/onlineSpatialNet.yaml
--config=configs/datasets/sms_wsj_plus.yaml
--model.channels=[0,1,2,3,4,5]
--model.arch.dim_input=12
--model.arch.dim_output=4
--model.arch.num_freqs=129
--trainer.precision=bf16-mixed
--model.compile=true
--data.batch_size=[2,4]
--trainer.devices=0,
--trainer.max_epochs=100

但是我这里报了一个错误：
error: Parser key "model.stft":
Problem with given class_path 'models.io.stft.STFT':
Validation failed: Key "n_fft" is required but not included in config object or its value is None.

我查看onlineSpatialNet.yaml 这个文件注释掉了，是为啥呀？
stft:
class_path: models.io.stft.STFT
init_args: {} # by default set to {} to avoid using wrong stft config
#n_fft: 256
#n_hop: 128

[quancs]

你把{}删掉，把stft的参数设置为合适的就行。注释掉的原因是想使用者自行设置stft参数，因为不同数据集的参数不一样，因此无法给一个通用的

[haha010508]

多谢您的回复，现在训练起来了！

再请教一下：
如果要训练2 channel的直接把 onlineSpatialNet.yaml 文件里的
channels: [0, 1, 2, 3, 4, 5]
ref_channel: 0
换成
channels: [0, 3]
ref_channel: 0
可以吗？

[quancs]

可以的

[haha010508]

请问一下：我的训练到这里就崩了，前面有这样一个错误，但是能训练，请问是怎么回事？

[2024-05-08 18:49:23,275] [5/31] torch._dynamo.variables.higher_order_ops: [ERROR] unimplemented(f"comparison {typestr(left)} {op} {typestr(right)}")
[2024-05-08 18:49:23,275] [5/31] torch._dynamo.variables.higher_order_ops: [ERROR] File "/home/byd/anaconda3/envs/nbss2/lib/python3.10/site-packages/torch/_dynamo/exc.py", line 193, in unimplemented
[2024-05-08 18:49:23,275] [5/31] torch._dynamo.variables.higher_order_ops: [ERROR] raise Unsupported(msg)
[2024-05-08 18:49:23,275] [5/31] torch._dynamo.variables.higher_order_ops: [ERROR] torch._dynamo.exc.Unsupported: comparison PythonModuleVariable() ConstantVariable(NoneType)
Epoch 0 metrics: val/neg_snr=-0.7955 val/metric=0.7955 val/sdr=-1.0523 val/neg_si_sdr=7.9343 val/nb_pesq=1.4077
...
Epoch 19 metrics: val/neg_snr=-2.4728 val/metric=2.4728 val/sdr=1.7709 val/neg_si_sdr=2.4059 val/nb_pesq=1.6122
Epoch 20 metrics: val/neg_snr=-2.6547 val/metric=2.6547 val/sdr=2.4562 val/neg_si_sdr=1.7932 val/nb_pesq=1.6122
Epoch 21 metrics: val/neg_snr=283.0917 val/metric=-283.0917 val/sdr=-10.3441 val/neg_si_sdr=34.2788 val/nb_pesq=1.6122
我的训练代码是这样的：
python SharedTrainer.py fit
--config=configs/onlineSpatialNet.yaml
--config=configs/datasets/sms_wsj_plus.yaml
--model.channels=[0,3]
--model.arch.dim_input=4
--model.arch.dim_output=4
--model.arch.num_freqs=129
--trainer.precision=32-true
--model.compile=true
--data.batch_size=[2,4]
--trainer.devices=0,
--trainer.max_epochs=100

[Ezreal11]

请问一下，我目前只有LDC93S6A这个数据集，在运行 sms_wsj 的make时总是出错，所以只生成了wsj_8k_zeromean(里面是wav文件)和wsj_8k_zermean.json（这文件里的性别，转录文本都是空的，我的kaldi跑不通）这两个文件，我的最终目标是把这个模型应用到2mic的阵列上，进行降噪。我要如何才能跑通这个例子呀？是不是只需要有干净数据就行了？有没有一步一步的操作步骤呀？

请问您最后使用了哪个数据集呢？如何获取wsj0？在官网上注册了说要等管理员接受。

[haha010508]

请问一下，我目前只有LDC93S6A这个数据集，在运行 sms_wsj 的make时总是出错，所以只生成了wsj_8k_zeromean(里面是wav文件)和wsj_8k_zermean.json（这文件里的性别，转录文本都是空的，我的kaldi跑不通）这两个文件，我的最终目标是把这个模型应用到2mic的阵列上，进行降噪。我要如何才能跑通这个例子呀？是不是只需要有干净数据就行了？有没有一步一步的操作步骤呀？

请问您最后使用了哪个数据集呢？如何获取wsj0？在官网上注册了说要等管理员接受。

wsj0，这个数据要下载，得是会员

[Ezreal11]

请问一下，我目前只有LDC93S6A这个数据集，在运行 sms_wsj 的make时总是出错，所以只生成了wsj_8k_zeromean(里面是wav文件)和wsj_8k_zermean.json（这文件里的性别，转录文本都是空的，我的kaldi跑不通）这两个文件，我的最终目标是把这个模型应用到2mic的阵列上，进行降噪。我要如何才能跑通这个例子呀？是不是只需要有干净数据就行了？有没有一步一步的操作步骤呀？

请问您最后使用了哪个数据集呢？如何获取wsj0？在官网上注册了说要等管理员接受。

wsj0，这个数据要下载，得是会员

感谢，我等等回复