https://arxiv.org/abs/2003.02389
Comparing Rewinding and Fine-tuning in Neural Network Pruning (Alex Renda, Jonathan Frankle, Michael Carbin)
프루닝 과정에서 프루닝되지 않은 가중치를 그대로 파인튜닝하는 대신 t만큼 더 학습시킨다면 t 시점 이전으로 lr 스케쥴을 되감아서 다시 학습시키는 방법. warm restart!
#pruning