https://arxiv.org/abs/2002.11887
Using a thousand optimization tasks to learn hyperparameter search strategies (Luke Metz, Niru Maheswaranathan, Ruoxi Sun, C. Daniel Freeman, Ben Poole, Jascha Sohl-Dickstein)
1162개의 과제를 정의하고 거기서 여러 optimizer & 하이퍼파라미터를 돌려본 다음 잘 되는 세팅을 뽑아서 리스트로 만들어본 것. 이 "학습된" 리스트를 사용하면 랜덤 서치를 해보는 것보다 낫지 않은가 하는 발상.
#optimization #optimizer #hyperparameter