Final dh

.gitignore

@@ -2,11 +2,15 @@
 models
 output
 wandb
+src
+output
 
+#files
+.args.py
 #add when u clone this file
-conf.yml
+# conf.yml
 # README.md
-.gitignore
+# .gitignore
 NanumGothic.ttf
 #etc
 /.ipynb_checkpoints

README.md

@@ -1,16 +1,32 @@
-# pstage_04_dkt
+# pstage_04_dkt(Deep Knowledge Tracing)
+- 기간 : 2021.05.24~2021.06.15
+- 대회 내용 : 학생의 지식 상태를 추적하여 문제 리스트 중 마지막 문제 정답 여부 예측(AUC : 0.8362 최종 7등/15팀 중) 
+![task img](https://user-images.githubusercontent.com/52443401/126865028-66d9f100-e1c3-4633-8790-86c1f7d84f47.JPG)
+- 수행 요약 : 학생이 과목별, 시험지별 수행능력이 다름을 인지하고 한 학생을 여러 학생으로 split 하여 통계량 추출, short-term에 집중하였음
+- 사용 모델 : LGBM, LSTM, LSTM with attention, Bert, Saint, LastQuery
+### Important Technic
+- k-fold (with user split)
+- config.yml파일을 통한 실험으로 편리함 증진
+- NN모델에 범주/연속형 피처를 자유롭게 넣을 수 있게 수정
+- solve_time관련 feature들 생성
+- user_month_split
+
+### Important Feature
+- user's last order time
+![fi 사진](https://user-images.githubusercontent.com/52443401/126864608-e6af562b-e2b0-4ad7-9c2f-7a86bbac5b98.png)
+
+
 ## config 파일을 통한 실행법
-### 1. config setting
-모델 선택, 하이퍼 파라미터 선택
+### 1. config.yml setting
+모델 선택, 하이퍼 파라미터 선택, 기타 테크닉 옵션 선택
 
 ### 2. $ python3 train / inference .py
 기존과 동일
 
 ### 3. $ python3 whole-in-one.py
 학습-추론 한번에 실행
+단, lgbm은 inference를 따로 수행하지 않아도 됩니다. train부분에서 모두 처리
+실행시 폴더에 학습 때 사용한 하이퍼 파라미터와 피처를 json으로 저장
 
 ### 4. $ python3 submit.py
-key와 파일path를 입력하면 다운로드할 필요 없이 서버에서 바로 제출
-
-## lgbm 합치기
-### 1. __feature_engineering
+key와 파일path를 입력하면 제출용 csv를 다운로드할 필요 없이 서버에 바로 제출

args.py

@@ -2,27 +2,34 @@
 import argparse
 
 
-
 def parse_args(mode='train'):
     parser = argparse.ArgumentParser()
+
 
-    parser.add_argument('--task_name', default='lstm_attn', type=str, help='task_name')
     parser.add_argument('--seed', default=42, type=int, help='seed')
 
-    parser.add_argument('--device', default='gpu', type=str, help='cpu or gpu')
+    parser.add_argument('--device', default='cpu', type=str, help='cpu or gpu')
+
 
     parser.add_argument('--data_dir', default='/opt/ml/input/data/train_dataset', type=str, help='data directory')
     parser.add_argument('--asset_dir', default='asset/', type=str, help='data directory')
 
+    parser.add_argument('--infer',default=False,help='inferenc or not')
+    parser.add_argument('--Tfixup',default=True,help='tfix or not')
+
     parser.add_argument('--file_name', default='train_data.csv', type=str, help='train file name')
+    # parser.add_argument('--file_name', default='test_jongho.csv', type=str, help='train file name')
+
 
     parser.add_argument('--model_dir', default='models/', type=str, help='model directory')
     parser.add_argument('--model_name', default='model.pt', type=str, help='model file name')
 
     parser.add_argument('--output_dir', default='output/', type=str, help='output directory')
     parser.add_argument('--test_file_name', default='test_data.csv', type=str, help='test file name')
+    # parser.add_argument('--test_file_name', default='test2.csv', type=str, help='test file name')
 
-    parser.add_argument('--max_seq_len', default=20, type=int, help='max sequence length')
+    parser.add_argument('--max_seq_len', default=24, type=int, help='max sequence length')
+
     parser.add_argument('--num_workers', default=1, type=int, help='number of workers')
 
     # 모델
@@ -42,9 +49,10 @@ def parse_args(mode='train'):
     parser.add_argument('--log_steps', default=50, type=int, help='print log per n steps')
 
 
-    ### 중요 ###
-    parser.add_argument('--model', default='lstmattn', type=str, help='model type')
-    parser.add_argument('--optimizer', default='adam', type=str, help='optimizer type')
+
+    parser.add_argument('--model', default='lstm', type=str, help='model type')
+    parser.add_argument('--optimizer', default='adamP', type=str, help='optimizer type')
+
     parser.add_argument('--scheduler', default='plateau', type=str, help='scheduler type')
 
     args = parser.parse_args()

conf.yaml

@@ -0,0 +1,90 @@
+model : bert   # {lstm, lstmattn, bert, lgbm, lstmroberta, lastquery, saint, lstmalbertattn}
+
+# (비일반화) : base feature만 사용
+# - lstm,lstmattn,bert
+# (일반화) : 추가한 컬럼까지 범주형으로 사용
+
+wandb :
+    using: True
+    project: DKT
+
+    ## 자신의 wandb 아이디를 적어주세요
+    entity: vail131
+    tags: 
+        - baseline
+
+##main params
+task_name: bert_seo1try_user_split
+seed: 42
+device: cuda
+
+data_dir: /opt/ml/input/data/train_dataset
+
+# For training files 
+file_name: train_time_finalfix.csv
+test_train_file_name : test_time_finalfix2.csv
+
+# For predicting files
+test_file_name: test_time_finalfix.csv
+
+asset_dir: asset/
+model_dir: models/
+output_dir: output/
+
+max_seq_len: 128
+num_workers: 1
+
+##K-fold params
+use_kfold : False #n개의 fold를 이용하여 k-fold를 진행한다.
+use_stratify : False
+n_fold : 4
+split_by_user : False #k-fold를 수행할 dataset을 user 기준으로 split
+user_split_augmentation : True
+use_total_data : True
+##모델
+hidden_dim : 512
+n_layers : 2
+n_heads : 2
+drop_out: 0.2
+
+#train
+n_epochs: 20
+batch_size: 128
+lr: 0.0001
+clip_grad : 10
+patience : 5
+log_steps : 50
+split_ratio : 0.8
+
+#중요
+optimizer : adamW
+scheduler: plateau
+
+
+#use only in lgbm
+lgbm:
+    model_params: {
+                    'objective': 'binary', # 이진 분류
+                    'boosting_type': 'gbdt',
+                    'metric': 'auc', # 평가 지표 설정
+                    'feature_fraction': 0.4, # 원래 0.8 피처 샘플링 비율
+                    'bagging_fraction': 0.6, # 원래 0.8 데이터 샘플링 비율
+                    'bagging_freq': 1,
+                    'n_estimators': 10000, # 트리 개수
+                    'early_stopping_rounds': 100,
+                    'seed': 42,
+                    'verbose': -1,
+                    'n_jobs': -1,
+                    }
+
+    verbose_eval : 100 #ori 100
+    num_boost_round : 500
+    early_stopping_rounds : 100
+
+
+## LGBM feature enginnering 용 args
+make_sharing_feature : True #extract statistics featrue from train + test(except last rows)
+use_test_data : True #use test_data for train
+
+# distance 피처 쓰기
+use_distance : False

dkt/__init__.py

@@ -0,0 +1 @@
+from .metric import *

dkt/criterion.py

@@ -4,4 +4,6 @@
 
 def get_criterion(pred, target):
     loss = nn.BCELoss(reduction="none")
+    # loss = nn.CrossEntropyLoss(reduction="none")
+
     return loss(pred, target)