210225 LazyFormer.md

https://arxiv.org/abs/2102.12702

Simple multi-dataset detection (Xingyi Zhou, Vladlen Koltun, Philipp Krähenbühl)

attention을 몇 블럭마다 한 번씩만 계산해서 연산 필요량 낮추기. 역시 정말 갖가지 시도가 나오는 중.

#attention #bert