Pstage_02_KLUE_Relation_extraction

주제 : 자연어처리를 이용한 관계 추출

※ KLUE 데이터셋은 총 9천개의 학습 데이터와 1천개의 테스트 데이터로 구성되어 있었으며, csv 파일 내에 문장, 두개의 entity 그리고 그것들의 인덱스 정보가 담겨져 있음

training 모델을 학습시키는 파이썬 파일(토크나이징 X)

python train.py

inference

python inference.py --model_dir=[model_path]
ex) python inference.py --model_dir=./results/checkpoint-500

evaluation

python eval_acc.py

customtrainer.py : hugging face의 Trainer를 상속하고, cross+focal loss를 구현한 부분

load_data.py : 전처리, 데이터셋을 구성하는 모듈

train.py : 기본 학습 모듈

train01.py : pororo라이브러리를 활용한 ner토큰이 있는 데이터를 읽어 학습하는 모듈

train02.py : StratfiedKFold를 앙상블하여 학습하는 모듈

hardvoting.ipynb : submission csv로 앙상블하는 파이썬 노트북