재훈

개인 기록

05/24

1. StratifiedShuffleSplit을 통해 train valid split을 수행해야 할듯.

• Target Label은 맨마지막 시점에 정답을 맞췄는가에 대한 value?로

2. EDA 중 주의깊게 봐야될 부분들 (의외였던 부분)

• 사실, 문제를 많이 푼 사람일 수록 당연히 이후에 정답률이 늘어날 것 같은가? 라는 질문에 당연히 그렇다고 단정지을 수 있을 것이라 생각했지만 두 가지의 케이스를 고려해야 한다.
  • 초반부터 원래 정답을 잘 맞힌 부류 (이후 정답률이 감소하는 추세)
  • 초반에는 원래 정답을 잘 못 맞힌 부류 (이후 정답률이 상승하는 추세)

따라서, EDA시에 전체적인 흐름을 단정짓고 전체에 대한 정답률을 보는 것보다는 초기의 N개의 문항에 대하여 정답률을 보고 따로 Plot을 그려보는 것이 좋아보일 듯 하다.

3. Seed 실험

seed	Valid AUC	Public LB AUC	차이
77	0.7357	0.7273	0.0084
777	0.7318	0.7237	0.0081
123	0.7381	0.7244	0.0137
1234	0.7386	0.7231	0.0155
1058	0.7357	0.7242	0.0115
1995	0.7378	0.7221	0.0157
2014	0.7425	0.7276	0.0149