재훈

개인 기록

05/24

1. StratifiedShuffleSplit을 통해 train valid split을 수행해야 할듯.

• Target Label은 맨마지막 시점에 정답을 맞췄는가에 대한 value?로

2. EDA 중 주의깊게 봐야될 부분들 (의외였던 부분)

• 문항을 푸는데 걸린 시간

  • 문항을 빨리 푼다면, 쉬운 문제일 가능성이 높다.
    • 하지만 문항을 너무 빨리 풀면, 찍은 것일 수가 있다.
  • 문항을 푸는데 오래 걸렸다면 어려운 문제일 것이고 그만큼 맞히기가 어려웠을 것이다.

• 혹시 문항을 푸는데 걸린 시간이 아니어도, 정답을 특별히 잘 맞히는 문제풀이 시간대가 있을까?

• 문제를 많이 푼 사람일 수록 당연히 이후에 정답률이 늘어날 것 같은가?

  • 당연히 그렇다고 단정지을 수 있을 것이라 생각했지만 두 가지의 케이스를 고려해야 한다.
    • 초반부터 원래 정답을 잘 맞힌 부류 (이후 정답률이 감소하는 추세를 보임)
    • 초반에는 원래 정답을 잘 못 맞힌 부류 (이후 정답률이 상승하는 추세를 보임)

• 같은 시험지를 연달아 풀거나 같은 태그를 연속적으로 풀면 정답률이 오르게 될까?

• 더 많이 노출된 시험지 (비교적 많은 사람들이 푼 시험지는 정답률이 높을까?)

따라서, EDA시에 전체적인 흐름을 단정짓고 전체에 대한 정답률을 보는 것보다는 초기의 N개의 문항에 대하여 정답률을 보고 따로 Plot을 그려보는 것이 좋아보일 듯 하다.

3. Seed 실험

seed	Valid AUC	Public LB AUC	차이
77	0.7357	0.7273	0.0084
777	0.7318	0.7237	0.0081
123	0.7381	0.7244	0.0137
1234	0.7386	0.7231	0.0155
1058	0.7357	0.7242	0.0115
1995	0.7378	0.7221	0.0157
2014	0.7425	0.7276	0.0149

seed=777일 때, 차이가 0.0081로 가장 작다.