[실험] Continuous Embedding

[JAEWOOSUN]

Continuous Embedding

Description: Embedding에 시간에 따른 Weighted Sum을 했을 때
시작일: 2021년 6월 1일
실험자: 재우 선
제안자: 재우 선
종료일: 2021년 6월 2일
진행상황: 완료
카테고리: Modeling

문제 정의

연속적인 Feature의 경우(시간, interaction, question popularity, question difficulty) 그 값 하나만 embedding해서 넣게되면 아무 의미가 없다. 따라서 주변 값도 영향을 미칠 수 있게 embedding하자!

---

해결 아이디어

Riiid 4위 solution에는 Continuous Embedding 방식이 존재함

(ref. https://www.kaggle.com/c/riiid-test-answer-prediction/discussion/210171)

즉, 연속적인 feature들을 사용할 때 원래 뽑아내야하는 중심값 과 주변값 들의 weighted sum을 해서 사용하는 방식

Embedding의 weight matrix에서 일정한 가중치(Window function)을 가지고와서 weighted sum을 수행해서 embedding vector를 만들어 주는 방식

이렇게 하면 그 값 자체로는 아무 의미 없는 값(연속적인 값)들에 대해 주변 값들의 정보를 넣어줘서 embedding함으로써 새로운 feature를 만들어 낼 수 있음

---

진행 상황

1. 문제상황

• tensorflow로 작성된 코드라 Pytorch로 번역해서 사용해야함
• Vanilla transformer에 적용된 방법이라 LSTM과 다른 Model에서 적용이 가능할지 확실치 않음

2. modeling_embedding.py

• Pytorch의 Embedding 코드를 가지고와서 수정
• Riiid의 Continuous Embedding 코드와 Pytorch의 Embedding 코드를 합성해서 사용

3. modeling_embedding.py → __init__

• num_points는 hidden dimensions size (여기서는 args.max_sequence_len 으로 통일)
• minval은 value가 가질 수 있는 최소값
• maxval은 value가 가질 수 있는 최댓값
• window_type 은 사용할ㄹ window_function
• self.points는 0~ args.max_seq_len 값을 하나씩 줌 (예상으로는 postional encoding처럼 사용하는 방식)

4. modeling_embedding.py → window type 함수들

• 총 3가지의 window 사용이 가능 (kaggle 대회에서는 _hann_window 사용)

5. modeling_embedding.py → forward

• input 의 dimension 값을 하나 늘려준 후 self.points로 빼줌 (위치를 표시하는 dimension으로 예상)
• 출력된 w를 다시 한 번 window_func에 넣음
• 이후, input의 embedding과 w 와의 합성곱 수행

6. model.py → Class LSTM → __init__

• model에서는 미리 사용자가 정의한 continuous column들만 ContinuousEmbedding에 넣어줌

7. Bert 모델, LSTMAttn 모두 적용

---

결과

• LSTM에서는 성능 향상이 없고, 심지어 떨어짐
  • baseline

- LSTM_continuous

• BERT에서는 성능 향상이 있음
  • baseline

- Bert_continuous

---

평가

• Transformer 형태에서 사용하면 성능 향상이 존재
• LSTM과 같은 시계열 딥러닝 모델은 이미 시계열로 들어가기 때문에 필요가 없을 수도..?