https://arxiv.org/abs/2106.12566
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding (Shengjie Luo, Shanda Li, Tianle Cai, Di He, Dinglan Peng, Shuxin Zheng, Guolin Ke, Liwei Wang, Tie-Yan Liu)
nlogn attention. 제목 그대로 kernelized attention + relative position encoding입니다. 성능적으로는 상당히 인상적인데 실제 구현의 속도...는 좀 애매할 수 있을 것 같아보이는군요.
#efficient_attention