[피어세션] 2021-06-14

[nureesong]

📌 오늘 제출 1회 남음

• 지형이가 수정한 ensemble_v2.py 로 모델 13개 전부 올려보기!! → 형민 제출
  일부 배치만 pickle로 저장해서 인코딩-디코딩-추론 쌓고 제거하는 과정 반복
• 모델별 Parameters 수 계산 (encoder에서 뽑은 feature tensor shape)
  SATRN : B x 65536 (128 * 512)
  ASTER : B x 12672 (33 * 384)
  SWIN : B x 147,456 (144 * 1024) → 매우 큼!!

---

네트워킹 데이 발표 준비

• 데모 페이지 만들기 - 서버 연결 불가능하면 화면 촬영해서 gif로 첨부하기
  (OCR 7조 or DKT한테 물어보기)
  ⇒ 누리 석사학위논문으로 테스트 해보기

• 맨 처음에 모델 학습 전략을 요약 및 도식화해서 보여주기!
  aug - 모델 아키텍처(인코더.디코더) - 후처리

• 실무에서 좋아할 만한 부분을 강조하자 (너무 기술적인 것 말고)
  어떻게 가설을 세웠고, 검증했는지, 생각의 흐름 강조.
  전후 비교 그래프로 눈에 띄게 보여주기! (aug - SSR 등등)

• 다른 조에서 안 한 게 뭐가 있을까?
  teacher_forcing, 인코더.디코더 lr 다르게 설정. 빔서치 앙상블. 스윈이나 애스터.

• 못 해봐서 아쉬운 것: BERT. knowledge distillation.

• 어떤 팀으로 보이고 싶은지?
  문제를 풀고자 하는 끈기, 분업 및 협업 강조
  (문제해결 과정에서 각자 특화된 분야를 강조하자!)

• 네트워킹 데이 때 올 것 같은 회사 몇 개 골라서 인재상 파악하자.
  1등 팀이라서 질문이 많이 들어올 것.

---

[자기회고] 이번 대회의 개인적인 목표? (프로젝트의 목적. 명확한 이유 찾기)

• 지형
  DST때 마이너한 부분에서 개발이 실패한 경험. 그래서 이번에는 사소한 부분까지 신경써서 완성도를 높이는 것이 목표.
  리서처보다 엔지니어에 가까운 듯. 이론을 코드로 옮기는 것에 희열.

• 준철
  SOTA 논문을 실제 태스크에 적용하여 성능을 확인할 수 있었다. 머릿속 아이디어를 직접 구현한 경험 (soft-voting)
  이 길이 맞다는 확신을 가진 채로 부캠에 들어왔기에 열심히 즐기면서 함.

• 주영
  CV만 해봐서 NLP에 대한 거리감이 있었는데, NLP에 대한 벽이 낮아졌다.
  SATRN 코드를 tensorflow에서 pytorch로 옮기면서 공부가 많이 됨.
  제일 어려웠던 점: 여러 아이디어를 많이 내고 또 버린 것도 많아서 방향성이 잘 안 잡힌 점.
  빛주영 가라사대, 그 전까지는 우리가 걷는 길이 곧 정답이었다.

• 형민
  빔서치 구현할 때 코딩 기본기가 상당히 부족하다는 것을 깨달았다.
  기존에는 라이브러리만 받아와 config만 조절하는 것 뿐이었다.
  디버깅은 자꾸 부딪혀야 느는 것 같다. py 파일 뜯어보며 공부하는 연습해야겠다.

• 누리
  수식인식을 선택한 이유는 단순히 내 전공을 활용한 인공지능 모델이라서.
  Stage 3,4를 통해 모델러 체질이 아니라는 것을 깨달았다.
  그래서 모델링은 모델러들에게 맡겨두고 내 도메인 지식을 살려 데이터 전처리 및 후처리, 토큰만 팠다.
  외부 데이터를 제대로 활용하지 못해서 매우 아쉬움 (애증의 im2Latex)
  아직까지는 AI로 무엇을 하고싶은지 명확하지 않아서, 데이터 엔지니어링을 배워볼까 싶다.

• 준구
  새로운 아이디어가 먼저 떠오르진 않지만, 다른 조원들이 제안한 걸 같이 구현하는 건 재밌었다.
  개척 보다는 유지.보수에 잘 맞는 것 같다. 디버깅 과정에 흥미를 느껴 엔지니어가 잘 맞는 것 같다.
  항상 새로움을 추구해야 하는 스타트업과는 잘 맞지 않는 것 같다.
  이번 스테이지에서는 기본에 충실하려고 노력했다.
  지금까지 얕게만 공부해봐서 다 재밌었는데, 깊게 파보면 어떨지 궁금하다.