[피어세션] 2021-06-03

[nureesong]

학습 중단 후 연결해서 학습 시킬 때

📌 cosine annealing 주기 고려해서 lr 수정
📌 teacher forcing = 0으로 수정

---

제출용 모델

1. swin
2. SATRN - EffNet_v2

• inference 시간 계산 (주영 Effnetv2 - SATRN 기준)
  test 12000장 → 17분 20초 (배치16)

Augmentation 실험

• SSD + GD + Normalization으로 결정된 듯.

---

실험결과 & 진행 상황

• valid_one_epoch에 with torch.no_grad(): 추가 → GPU memory 확보

1. 기존보다 큰 batch size 사용 가능
2. decoder 확장 실험 예정

• [지형] Beam search 디버깅 중. 레퍼런스 코드의 조건부확률 계산 식 틀렸음.
  Attention에 적용하면 성능 오르고, SATRN은 떨어짐..! 보통 beam = 3~5 정도 사용.
  이론상 greedy == beam=1 인데, beam=1로 하는 게 성능이 더 잘 나옴.

• drop_last = False → 마지막 배치에 이미지 하나 남더라도 shape 맞춰서 보내줌.

• 세로로 긴 애들을 rotate하면 이미지가 뒤집히는 경우가 있음. 1400개 중 500개 정도.

• [주영] Aida 이미지 데이터 증강: mix
  \lim 자르기. 5천 장 정도
  lim 위치에 int, sum 붙이는 것도 가능할 듯.
  bbox 정보 이용해서 인쇄물 + 손글씨 믹스??

• 대회에서 토큰을 많이 정제했으니까 쓸데없는 토큰을 vocab에 많이 추가하지 말자!
  Greek letters 정도?

• validation 확인 결과, 잘 틀리는 토큰 위주로 im2latex 이미지 선택
  의외로 쉬울 것 같은 알파벳이나 숫자를 많이 틀림.

• [누리] im2latex 데이터 전처리 및 선별 과정

1. \operatorname + (전처리한 걸로 예상되는 토큰) 괄호, \bar 등이 포함된 ground-truth 수정
   (이미지 93929장, token_modified_0603.csv)
2. Competition vocab을 벗어나는 토큰이 없는 이미지만 추출
   (이미지 26802장, im2latex_gtformatting.csv)
3. validation에서 잘 틀리는 토큰이 포함된 이미지 선별

---

💡 실험 아이디어

• ASTER - Bi-Directional LSTM 추가해보기
• SEED model → 제작이 어렵지 않을 것 같아서 살펴볼 예정.
• 오늘 강의에 나온 tricks

1. 쉬운 이미지부터 어려운 이미지 순서로 학습시키면 성능이 올라간다.
   im2latex부터? 근데 과연 더 쉬운 문제일지
2. domain, level 정보 활용
3. teacher forcing scheduling → step에 따라 ratio가 줄어들도록
   learning curve 보면서 어느 정도 에폭 이후에 teacher forcing 확률 낮춰보는 건 어떨까?
4. 후처리용 모델 제작

[ilovemyminutes]

최고다!!!