https://arxiv.org/abs/2106.04560
Scaling Vision Transformers (Xiaohua Zhai, Alexander Kolesnikov, Neil Houlsby, Lucas Beyer)
vit 쭉쭉 늘려보기. 모델 학습과 최적화 측면에서 흥미로운 부분들이 많습니다. xla가 답인 것 같기는 하네요.
#vit #scale
https://arxiv.org/abs/2106.04560
Scaling Vision Transformers (Xiaohua Zhai, Alexander Kolesnikov, Neil Houlsby, Lucas Beyer)
vit 쭉쭉 늘려보기. 모델 학습과 최적화 측면에서 흥미로운 부분들이 많습니다. xla가 답인 것 같기는 하네요.
#vit #scale