재훈

개인 기록

해봐야될 것들

(여긴 오늘 할건 아니고 앞으로 할 것) Valid 나누는 기준을 잘 정해서 일반화 성능의 지표로서 그 역할을 잘 나타내주게 된다면 Feature Selection을 Valid Set 기반으로 적용해볼 수 있는 코드를 구축하겠습니다

• Valid 새로 정하기 (LB랑 점수의 상승 & 하락 경향이 비슷해지게끔)

  • 랜덤하게 KFOLD로 해보기

  • Stratified KFold 해보기

• 일부만 추출해서 train하기보다 -> 전부다 써보기
• 아라랑 민용이꺼 변수 다 합쳐서 모델링 새로 해보기

06/01

변수추가

이전에 쓰고 있지 않던 시험지 아이디, knowledge태그 변수를 추가한 결과 (test_total_id랑 int_KnowledgeTag 추가한 결과)

• (Valid : 0.8199, LB : 0.8072)

민용이꺼 추가

Categorical

• test_pre
• test_post

아라꺼 추가

Categorical

• userTestAnswer: user의 풀고있는 시험지 중 이전까지 정답을 맞춘 개수
• userTestWrong: user의 풀고있는 시험지 중 이전까지 정답을 틀린 개수
• userTestContAnswer: user의 시험지 별 연속 정답 수
• userTestContWrong: user의 시험지 별 연속 오답 수

Continuous

• userSolTime: 현재까지 user가 문제를 푸는데 소요된 평균 시간
• userTestTime: 첫 문제를 풀기 시작한 시간으로부터 현재 문제를 풀기까지 경과시간
• userTestCorrectRate: user의 시험지 별 정답률
• correctAnswer: user의 정답 수
• totalAnswer: user의 푼 문항 수
• userAcc: user의 정답률

05/29

오히려 성능이 떨어진 추가변수

test내에서 문제 간의 풀이시간 간격을 변수로 추가해주었는데 이 때 잘못된 변수도출 결과로서 문제 풀이시간이 하루, 며칠 등과 같이 예외가 발생하게 된다. 이러한 문제를 해결하기 위해 문제 풀이 간격이 1시간 이상인 것은 모두 0으로 인식해주도록 하였다. 이렇게 변수를 추가한 결과 LB 점수가 오히려 떨어졌다...

이후 해볼것

후처리 안하고 원래 풀이시간 간격 변수를 그냥 이용하여 모델링을 시도해보아야겠다. => 오히려 올랐다

05/25

Tabular Approach

ID당 feature를 생성하여 모델링해야하는 LGBM의 관점에서 생각해보면, 어떤 feature들을 생성할 수 있을까? <KnowledgeTag 변수 관련>

• knowledge_tag
  • 사람들이 많이 풀어본 knowledge_tag인지 (빈도수 체크 or 출현 비중 체크)
  • tag별로 해당 tag의 정답률
  • 해당 knowledge_tag를 연속적으로 푸는 중인지
  • 이전에 해당 tag를 풀어본적이 있는지 여부
  • 이전에 해당 tag를 풀어봤다면 이전에 해당 tag를 풀고 현재 해당 tag를 풀기까지 그 사이에 몇 문제를 풀었었는지 (사이 구간 푼 문제 개수)
  • 시간적으로 해당 tag를 얼마만에 다시 푸는 것인지 (시간 차)
  • 이전까지 총 몇 종류의 tag 문제를 풀어봤었는지
  • 해당시점까지 학생이 해당 tag에 대해 얼마나 정답을 맞혔었는지 정답률 ...

05/24

1. StratifiedShuffleSplit을 통해 train valid split을 수행해야 할듯.

• Target Label은 맨마지막 시점에 정답을 맞췄는가에 대한 value?로

2. EDA 중 주의깊게 봐야될 부분들 (생각해볼만한 부분들)

• 문항을 푸는데 걸린 시간

  • 문항을 빨리 푼다면, 쉬운 문제일 가능성이 높다.
    • 하지만 문항을 너무 빨리 풀면, 찍은 것일 수가 있다.
  • 문항을 푸는데 오래 걸렸다면 어려운 문제일 것이고 그만큼 맞히기가 어려웠을 것이다.

• 혹시 문항을 푸는데 걸린 시간이 아니어도, 정답을 특별히 잘 맞히는 문제풀이 시간대가 있을까?

• 문제를 많이 푼 사람일 수록 당연히 이후에 정답률이 늘어날 것 같은가?

  • 당연히 그렇다고 단정지을 수 있을 것이라 생각했지만 두 가지의 케이스를 고려해야 한다.
    • 초반부터 원래 정답을 잘 맞힌 부류 (이후 정답률이 감소하는 추세를 보임)
    • 초반에는 원래 정답을 잘 못 맞힌 부류 (이후 정답률이 상승하는 추세를 보임)

• 같은 시험지를 연달아 풀거나 같은 태그를 연속적으로 풀면 정답률이 오르게 될까?

• 더 많이 노출된 시험지 (비교적 많은 사람들이 푼 시험지는 정답률이 높을까?)

따라서, EDA시에 전체적인 흐름을 단정짓고 전체에 대한 정답률을 보는 것보다는 초기의 N개의 문항에 대하여 정답률을 보고 따로 Plot을 그려보는 것이 좋아보일 듯 하다.

3. Seed 실험

seed	Valid AUC	Public LB AUC	차이
77	0.7357	0.7273	0.0084
777	0.7318	0.7237	0.0081
123	0.7381	0.7244	0.0137
1234	0.7386	0.7231	0.0155
1058	0.7357	0.7242	0.0115
1995	0.7378	0.7221	0.0157
2014	0.7425	0.7276	0.0149

seed=777일 때, 차이가 0.0081로 가장 작다.