Wavenet-Vocoder 훈련 속도 문제 문의 드립니다.

[pawoo2645]

안녕하세요? Tacotron2-Wavenet-Vocoder 좋은 코드 만들어 올려 주셔서 잘 사용하고 있습니다.

감사드립니다.

Wavenet-Vocoder 훈련 속도 관련하여 문의 드립니다.

제 PC에 달린 GPU는 desktop RTX 2080 Ti 입니다. Tacotron2는 문제 없이 훈련이 잘 되었는데 Wavenet Vocoder는 훈련이 너무 느립니다.

지난 7월 30일에 훈련을 시작했는데 현재까지 38,700회 정도 훈련 진행되었습니다.

샘플로 올리신 Wavenet-Vocoder 음성 훈련하셨을 때 걸리신 시간이 어떻게 되시나요?

뭐가 문제인지 모르겠습니다.

제 글 확인하시면 꼭 답변 부탁 드리겠습니다.

감사합니다.

우은주 드림

[hccho2]

제가 했을 때는,
1080ti, batch_size=8 인경우에 iteration당 약 1초 정도 입니다.

[pawoo2645]

답변 감사합니다.

훈련 데이터 관련하여 질문 드립니다. 현재 train_vocder.py 파일을 세 명의 화자 데이터로 훈련 시키고 있습니다. 두 명은 24시간 분량, 나머지 한 명은 10시간 분량의 wav 파일을 preprocess.py 파일을 이용해서 전처리해 사용하고 있습니다. 지금 훈련 시키고 있는 데이터가 이렇게 방대한 양의 데이터라 훈련이 진행되지 않는 것일까요?

제 훈련 스텝은 이렇게 진행되고 있습니다.

step 45101 - loss = 8.081, (5.677 sec/step)
step 45102 - loss = 8.197, (0.117 sec/step)
step 45103 - loss = 7.440, (0.121 sec/step)
step 45104 - loss = 7.050, (0.120 sec/step)
step 45105 - loss = 7.547, (0.127 sec/step)
step 45106 - loss = 7.005, (0.117 sec/step)
step 45107 - loss = 7.814, (0.123 sec/step)
step 45108 - loss = 7.116, (0.119 sec/step)
step 45109 - loss = 7.151, (0.128 sec/step)
step 45110 - loss = 6.661, (0.119 sec/step)
2019-09-17 14:56:40.823016: I tensorflow/stream_executor/dso_loader.cc:152] successfully opened CUDA library libcublas.so.10.0 locally

step 45111 - loss = 7.830, (0.138 sec/step)
step 45112 - loss = 8.522, (0.131 sec/step)
step 45113 - loss = 7.835, (0.122 sec/step)
step 45114 - loss = 7.362, (0.119 sec/step)
step 45115 - loss = 6.470, (0.120 sec/step)
step 45116 - loss = 7.345, (0.111 sec/step)
step 45117 - loss = 7.838, (0.114 sec/step)
step 45118 - loss = 7.597, (0.119 sec/step)
step 45119 - loss = 7.499, (0.123 sec/step)
step 45120 - loss = 7.438, (0.118 sec/step)

step 45121 - loss = 7.598, (0.132 sec/step)
step 45122 - loss = 7.456, (0.135 sec/step)
step 45123 - loss = 7.665, (0.120 sec/step)
step 45124 - loss = 7.065, (0.115 sec/step)
step 45125 - loss = 5.980, (0.130 sec/step)
step 45126 - loss = 7.295, (0.120 sec/step)
step 45127 - loss = 8.496, (0.131 sec/step)
step 45128 - loss = 7.625, (0.126 sec/step)
step 45129 - loss = 7.431, (0.128 sec/step)
step 45130 - loss = 7.174, (0.121 sec/step)

답변 부탁 드립니다.

감사합니다.

[hccho2]

data를 보지 못한 상태에서 확답을 드릴 수는 없지만, 원래 loss가 팍팍 떨어지지 않습니다.
train을 좀 해본후에, 결과를 보는 것이 필요해 보입니다.

[Charlesma]

안녕하세요. 우선 좋은 자료 감사드립니다.
저도 올려주신 코드 통해 훈련 테스트를 해보고 있습니다.

우선 son 데이터에 대해서만 훈련을 해보고 결과를 확인해 보려고 진행중인데요
step은 설정해두신 대로 200,000번입니다.

속도가 step 별로 4초 내외가 나와 많이 위에 분보다 많이 늦다는 생각이 드는데
혹시 gpu memory를 더 충분히 사용하는 방법이 있을까요?
현재 훈련 중 상태를 보니 CPU는 50% 내외 사용중이고 GPU 사용이나 GPU 메모리는 거의 바닥입니다.
일반적인 딥러닝에서 사용하는 batch size 를 늘려 gpu memory를 늘리는 방법이나, 혹시 제가 cpu가 아닌 gpu 사용을 위해 설정을 변경해야 할게 있을까요?