https://openreview.net/forum?id=H1e5GJBtDr
생각해보니 criss-cross attention [[200130 Criss-Cross Attention]] 과 유사한 부분이 많다. custom kernel을 쓸 필요가 없다는 점이 있긴 한데 이미 커널이 구현되어 있으니 criss-cross attention을 좀 테스트해보는 것이 좋을지도.
#attention #generative_model
https://openreview.net/forum?id=H1e5GJBtDr
생각해보니 criss-cross attention [[200130 Criss-Cross Attention]] 과 유사한 부분이 많다. custom kernel을 쓸 필요가 없다는 점이 있긴 한데 이미 커널이 구현되어 있으니 criss-cross attention을 좀 테스트해보는 것이 좋을지도.
#attention #generative_model