https://arxiv.org/abs/2110.09348
Understanding Dimensional Collapse in Contrastive Self-supervised Learning (Li Jing, Pascal Vincent, Yann LeCun, Yuandong Tian)
contrastive learning 상황에서 embedding이 벡터 자체의 차원보다 낮은 차원의 subspace에 대해서만 span하는 문제가 있다는 것을 검증. projector가 붙으면 성능이 향상되는 것도 output과 embedding 사이에 끼어들어서 embedding이 collapse 하는 것을 막아주기 때문.
#contrastive_learning