아라

목차
06/03
06/02
06/01
05/31
05/30
05/29
05/28
05/27
05/26
05/25
05/24

---

06/01

📊 Experiments

• user의 같은 시험지를 연달아 보는 경우, 예외를 처리하지 못했던 오류 해결

• 내가 추가한 feature를 사용하되 All data대신 Train data만 사용하여 성능 확인

  • 성능 향상! (0.7641 → 0.7661, 0.002!)

  Valid AUC	LB
  0.7706	0.7661

• FEATURE 정리에 올려둔 모든 특징 사용하여 LSTM 모델에 사용

  • CUDA error가 발생해서, 우선 민용+아라 feature만 추가하여 실험 진행
  • 오히려 성능이 저하되었음

  Valid AUC	LB
  0.7701	0.7626

• SAINT 논문 abtract, introduction보고 이전까지 연구 흐름 파악하기

05/31

📊 Experiments

• Feature 추가
  • userTestTime: 첫 문제를 풀기 시작한 시간으로부터 현재 문제를 풀기까지 경과시간
  • userTestContAnswer: user의 시험지 별 연속 정답 수
  • userTestContWrong: user의 시험지 별 연속 오답 수

05/30

📊 Experiments

• Feature 추가
  • userTestAnswer: user의 풀고있는 시험지 중 이전까지 정답을 맞춘 개수
  • userTestWrong: user의 풀고있는 시험지 중 이전까지 정답을 틀린 개수

05/29

📊 Experiments

• 현재까지 user가 문제를 푸는데 소요된 평균 시간 feature를 포함하여 실험
• hyperparameter는 민용이의 best model을 그대로 사용
• userSolTime 특징 추가, 기존의 특징 함께 사용 (categorical: 3, continuous: 7)
• 10-fold (참고한 hyperparameter를 하나씩 수정하면서 실험)

Seed	Valid AUC	LB
42	0.7624	0.7634

05/28

🍅 Peer-session

• user가 하나의 시험을 끝낸 시점을 정확히 구분하자!
  • 이 부분이 예외가 있을 것 같아서 여러번 이야기해본 결과 민용이가 아주 좋은 코드를 통해 고려할 수 있도록 함 (discussion 참고하기!)
• 재훈오빠가 올린 feature idea를 다른 팀원들도 나눠서 진행해보도록 함

내가 맡은 부분
5. 현재까지 user가 문제를 푸는데 소요된 평균 시간
6. 한 시험지를 풂에 있어서 총 걸린 시간
7. 첫 문제를 풀기 시작한 시간으로부터 현재 문제를 풀기까지 경과시간
8. 이전까지 정답을 연속으로 몇번 맞혔는지 - 현재 보고 있는 시험에 한해서 카운팅
9. 이전까지 정답을 연속으로 몇번 틀렸는지 - 현재 보고 있는 시험에 한해서 카운팅
10. 학생의 시험지 별 정답률

🔔 Mentoring

• feature를 고려하는게 가장 중요하다고 느껴짐
  • 어떤 feature를 사용했는지 치열하게 토론하는게 좋을 것 같음
• output에 대한 분석이 아주 중요!!
  • 각각 찾아서 피어세션에서 공유하는게 좋을 것 같음
  • 나눠서 해보고, 같이 이야기

05/27

📊 Experiments

• feature를 점점 추가할 때마다 변경해줘야하는 곳이 dataloader.py, trainer.py, model.py 로 너무 많은 부분을 건드려야해서 이 부분을 실험에 용이하도록 구조를 수정
• dataloader.py의 load_data_from_file 함수안을 다음과 같이 변경
  • n_cates, n_cons, cate_embs 변수를 만들어서 model 구조또한 유동적으로 변경이 가능하도록함!

# =============================== !!!!여기만 주의하자!!!! ===============================      
columns = ["userID", "testId", "assessmentItemID", "KnowledgeTag", 
                   "correctRate", "correctAnswer", "totalAnswer", "userAcc", "test_mean", "tag_mean", "answerCode"]
args.n_cates = 3
args.n_cons = 6
# ========================================================================================
args.cate_embs = []
for c in columns[1: args.n_cates+1]:
		args.cate_embs.append(len(np.load(os.path.join(self.args.asset_dir, f"{c}_classes.npy"))))
        
args.n_cates += 1
args.cate_embs.append(3)

• 추가로 필요한 수정이 필요한 부분은 민용이가 맡아서 진행하기로 함
  • embedding layer마다 hidden_dim의 차원을 다르게 해준다던지, LayerNorm 추가 등

05/26

🍅 Peer-session

• 생각보다 실험했던 데이터 분리 조건이 좋지 않았음..😥
  • 이전 실험에서 정한 seed 값이 model에만 적용된거라 데이터의 분리되는 조건이 달라지면서 valid와 LB의 간격이 넓어진건가?
  • seed를 42로 두고 돌려도 406과 별로 차이가 없었음!
  • 이거는 조건이 좋지 않았을 확률이 더 큰 것 같다..

📊 Experiments

• user의 시험지(testID)마다 정답률 feature를 추가했을 때, categorical로 생각하여서 embedding layer를 거치고 다른 feature들과 합쳐서(concat) 사용했는데 오늘 팀원들에게도 물어본 결과 continuous한 특징인 것 같다고 결론을 내림!

• LGBM baseline code에 있던 feature 2개와 어제 추가했던 feature를 바로 linear layer에 넣은 뒤 embedding feature들과 합쳐서 comb_proj layer를 통과하도록 변경하여 실험을 진행 ▶ baseline (0.7361) > add_correctRatio (0.7342) > add_3features (0.7333)를 보임 😢

• 아직까지 embedding layer~comb_proj layer 부분을 이해하지 못한 것 같다! 이 부분 더 확인하기

05/25

🍅 Peer-session

• data를 분할할 때, seed값은 0으로 고정되어 있었음
• model의 seed값은 가장 좋은 성능을 보이고 적은 차이였던 "406"으로 결정

💫 Ideas

• 어떤 feature가 도움이 될까? "내가 모델이라고 생각해보세요"

  • 결국 user의 history를 사용하여 next를 맞추는것이기 때문에 history에서 충분한 feature가 있다면 모델에게 유용할 것 같음
  • 이전 문제에서 걸렸던 시간? 혹은 현재까지 user가 문제를 푸는데 소요된 평균 시간을 알면 열심히 푸는 사람과 그렇지 않은 사람(찍는 경우)를 구분할 수 있지 않을까?
  • user의 한 정보마다 정답률을 추가로 넣어주면 좋지 않을까? -- 조금 더 추가한다면, user의 문제난이도(9개)별 정답률?

• 어떤걸 시도해볼까?

  • 문제별 난이도, user의 time마다 정답률, 현재까지 user가 문제를 푸는데 소요된 평균 시간

📊 Experiments

• user의 시험지(testID)마다 정답률 feature를 추가하여 실험 진행 (seed: 406) ▶ baseline 성능인 0.7361보다 하락한 0.7342를 보임, 이때 Valid AUC: 0.7624

💡 class

1. 평균적으로 문제를 푸는데 소요되는 시간과 각 user의 문제 풀이 시간의 차이도 하나의 feature가 될 수 있음
2. 접근방법 문제, 문항, tag에 대한 정답률을 하나의 feature로도 사용할 수 있음

05/24

📊 Experiments
Seed값에 따른 LB와 Validation 성능 차이 확인 실험

사용한 seed list - 28, 81, 1109, 1996, 8888

Seed	Valid AUC	LB	차이
28	0.7381	0.7234	0.0597
81	0.7389	0.7207	0.0182
1109	0.7336	0.7241	0.0095
1996	0.7366	0.7178	0.0188
8888	0.7378	0.7227	0.0151

▶ 1109를 seed로 사용하였을 때, 가장 좋은 성능을 보이고 그 차이도 가장 적었음