https://arxiv.org/abs/2106.09685
LoRA: Low-Rank Adaptation of Large Language Models (Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Weizhu Chen)
lm 파인튜닝에서 학습하는 파라미터의 수를 줄이기. 어댑터와는 좀 다르게 weight 행렬에 low rank 행렬을 더하는 방식으로 weight 자체를 변화시키는 접근을 사용했네요.
#adapter #finetuning #lm