(4.28) Overfitting, Resize(256), iou_loss

Overfitting?

모델	배치	시드	time/step	epoch	loss	val_loss	val_mIoU	LB score
DeepLabV3+, resnext50	8	77	2.4s	9	0.098	0.294	0.451	0.5795
"	"	"	"	12	0.065	0.305	0.451	0.5696

CrossEntropyLoss 기준 대체적으로 train_loss < 0.1 부터 오버피팅되는 듯함
위 결과는 증명을 위해 제출해본 내역

Resize(256)

모델	input_size	배치	시드	time/step	epoch	loss	val_loss	val_mIoU	LB score
DLV3+, resnext50	512	16	77	4.8s	10	0.108	0.283	0.463	0.5754
"	256	16	77	0.8s	14	0.097	0.339	0.416	0.5609
"	512	8	77	2.4s	14	0.098	0.294	0.451	0.5795
"	256	8	77	0.45s	12	0.103	0.343	0.434	0.5640

다른 전처리 없이 train,test 모두 resize(256)
러닝타임 대폭 감소(1epoch 13분->2분), 다양한 실험 진행하기에 좋을듯

(1-mIoU)+CE

모델	loss	배치	시드	time	epoch	loss	val_loss	val_mIoU	LB score
DLV3+, resnext50	CE	8	77	0.45s	12	0.103	0.343	0.434	0.5640
"	(1-mIoU)*0.4	"	"	"	14	0.204	0.428	0.431	0.5653
"	(1-mIoU)*0.7	"	"	"	14		0.510	0.417	-
"	(1-mIoU)*0.2	"	"	"

기타 loss Function

Focal, (1-mIoU)+Focal, weighted(CE) 모두 학습 안됨