https://arxiv.org/abs/2210.09298
What Makes Convolutional Models Great on Long Sequence Modeling? (Yuhong Li, Tianle Cai, Yi Zhang, Deming Chen, Debadeepta Dey)
S4는 그래도 꾸준히 진전되고 있네요. S4를 global convolution으로 formulation한 연구입니다. 실험 scale도 bert와 imagenet 수준으로 확장됐네요.
#state_space_model