[피어세션] 2021-06-09

[nureesong]

📌 오늘 제출 5회 남음

1. 앙상블 효과 확인해보기 - MySATRN k-fold
2. TTA : SSR + GD 추가해보기

k-fold 돌리기

1. Swin_base : 제발 터지지 않기를🙏🏻
2. My_SATRN : fold 1 만 남음
3. Deep ASTER : 앙상블 보조재료

---

실험결과 & 진행 상황

• 후처리 모델링
  rule base로 for문 돌리면 실험이 너무 오래 걸릴 듯. scatter 함수 사용!!
  katex 비장의 무기일까요??

• 이제 와서 데이터를 건드려도 (추가.수정 등) 학습을 다시 시킬 수는 없는 노릇이므로
  지금 가진 pth 파일을 이용해서 후처리할 수 있는 (앙상블.swa 등) 방법을 고민하자!!

• 오늘 앙상블해서 제출해보기.
  inference branch에 있는 greedy ensemble은 하드보팅에 가깝다.
  TTA : SSR, GridDistortion 해보기

• 준철이의 꿈🔮 : 모델 분해
  hook이 가능하다면 인코더에서 나온 output(key, query)을 뽑은 뒤 인코더를 떼기
  성공한다면 디코더를 크게 늘려서 실험할 수 있을 것 같다. (파라미터 수 : 인코더 >> 디코더)

• Noisy student : 작은 모델 → 큰 모델
  knowledge distillation : 큰 모델 → 작은 모델

• ASTER 논문 보니까 배치별로 데이터 비율이 고르게 분배.
  data_info_2.txt 배치가 16이니까 배치 별로 손글씨.인쇄물 비율에 따라 학습 효과가 다를 수 있을 듯.
  주영오빠 : dataloader를 두 개 만들어서 손글씨 8장, 인쇄물 8장 불러와서 concat 하기