Skip to content

์žฌํ›ˆ

Jaehoon M edited this page Jun 1, 2021 · 20 revisions

๊ฐœ์ธ ๊ธฐ๋ก

ํ•ด๋ด์•ผ๋  ๊ฒƒ๋“ค

  • Valid ์ƒˆ๋กœ ์ •ํ•˜๊ธฐ
  • train row ๋” ๋งŽ์ด ์จ๋ณด๊ธฐ
  • ์•„๋ผ๋ž‘ ๋ฏผ์šฉ์ด๊บผ ๋ณ€์ˆ˜ ๋‹ค ํ•ฉ์ณ์„œ ๋ชจ๋ธ๋ง ์ƒˆ๋กœ ํ•ด๋ณด๊ธฐ

06/01

๋ณ€์ˆ˜์ถ”๊ฐ€

๋ฏผ์šฉ์ด๊บผ ์ถ”๊ฐ€

์•„๋ผ๊บผ ์ถ”๊ฐ€

continuous userSolTime: ํ˜„์žฌ๊นŒ์ง€ user๊ฐ€ ๋ฌธ์ œ๋ฅผ ํ‘ธ๋Š”๋ฐ ์†Œ์š”๋œ ํ‰๊ท  ์‹œ๊ฐ„ userTestTime: ์ฒซ ๋ฌธ์ œ๋ฅผ ํ’€๊ธฐ ์‹œ์ž‘ํ•œ ์‹œ๊ฐ„์œผ๋กœ๋ถ€ํ„ฐ ํ˜„์žฌ ๋ฌธ์ œ๋ฅผ ํ’€๊ธฐ๊นŒ์ง€ ๊ฒฝ๊ณผ์‹œ๊ฐ„ userTestCorrectRate: user์˜ ์‹œํ—˜์ง€ ๋ณ„ ์ •๋‹ต๋ฅ  correctAnswer: user์˜ ์ •๋‹ต ์ˆ˜ totalAnswer: user์˜ ํ‘ผ ๋ฌธํ•ญ ์ˆ˜ userAcc: user์˜ ์ •๋‹ต๋ฅ 

(์ด๊ฑด ์˜ค๋Š˜ ํ• ๊ฑด ์•„๋‹ˆ๊ณ  ์•ž์œผ๋กœ ํ•  ๊ฒƒ) Valid ๋‚˜๋ˆ„๋Š” ๊ธฐ์ค€์„ ์ž˜ ์ •ํ•ด์„œ ์ผ๋ฐ˜ํ™” ์„ฑ๋Šฅ์˜ ์ง€ํ‘œ๋กœ์„œ ๊ทธ ์—ญํ• ์„ ์ž˜ ๋‚˜ํƒ€๋‚ด์ฃผ๊ฒŒ ๋œ๋‹ค๋ฉด Feature Selection์„ Valid Set ๊ธฐ๋ฐ˜์œผ๋กœ ์ ์šฉํ•ด๋ณผ ์ˆ˜ ์žˆ๋Š” ์ฝ”๋“œ๋ฅผ ๊ตฌ์ถ•ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค

05/29

์˜คํžˆ๋ ค ์„ฑ๋Šฅ์ด ๋–จ์–ด์ง„ ์ถ”๊ฐ€๋ณ€์ˆ˜

test๋‚ด์—์„œ ๋ฌธ์ œ ๊ฐ„์˜ ํ’€์ด์‹œ๊ฐ„ ๊ฐ„๊ฒฉ์„ ๋ณ€์ˆ˜๋กœ ์ถ”๊ฐ€ํ•ด์ฃผ์—ˆ๋Š”๋ฐ ์ด ๋•Œ ์ž˜๋ชป๋œ ๋ณ€์ˆ˜๋„์ถœ ๊ฒฐ๊ณผ๋กœ์„œ ๋ฌธ์ œ ํ’€์ด์‹œ๊ฐ„์ด ํ•˜๋ฃจ, ๋ฉฐ์น  ๋“ฑ๊ณผ ๊ฐ™์ด ์˜ˆ์™ธ๊ฐ€ ๋ฐœ์ƒํ•˜๊ฒŒ ๋œ๋‹ค. ์ด๋Ÿฌํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•ด ๋ฌธ์ œ ํ’€์ด ๊ฐ„๊ฒฉ์ด 1์‹œ๊ฐ„ ์ด์ƒ์ธ ๊ฒƒ์€ ๋ชจ๋‘ 0์œผ๋กœ ์ธ์‹ํ•ด์ฃผ๋„๋ก ํ•˜์˜€๋‹ค. ์ด๋ ‡๊ฒŒ ๋ณ€์ˆ˜๋ฅผ ์ถ”๊ฐ€ํ•œ ๊ฒฐ๊ณผ LB ์ ์ˆ˜๊ฐ€ ์˜คํžˆ๋ ค ๋–จ์–ด์กŒ๋‹ค...

์ดํ›„ ํ•ด๋ณผ๊ฒƒ

ํ›„์ฒ˜๋ฆฌ ์•ˆํ•˜๊ณ  ์›๋ž˜ ํ’€์ด์‹œ๊ฐ„ ๊ฐ„๊ฒฉ ๋ณ€์ˆ˜๋ฅผ ๊ทธ๋ƒฅ ์ด์šฉํ•˜์—ฌ ๋ชจ๋ธ๋ง์„ ์‹œ๋„ํ•ด๋ณด์•„์•ผ๊ฒ ๋‹ค. => ์˜คํžˆ๋ ค ์˜ฌ๋ž๋‹ค

05/25

Tabular Approach

ID๋‹น feature๋ฅผ ์ƒ์„ฑํ•˜์—ฌ ๋ชจ๋ธ๋งํ•ด์•ผํ•˜๋Š” LGBM์˜ ๊ด€์ ์—์„œ ์ƒ๊ฐํ•ด๋ณด๋ฉด, ์–ด๋–ค feature๋“ค์„ ์ƒ์„ฑํ•  ์ˆ˜ ์žˆ์„๊นŒ? <KnowledgeTag ๋ณ€์ˆ˜ ๊ด€๋ จ>

  • knowledge_tag
    • ์‚ฌ๋žŒ๋“ค์ด ๋งŽ์ด ํ’€์–ด๋ณธ knowledge_tag์ธ์ง€ (๋นˆ๋„์ˆ˜ ์ฒดํฌ or ์ถœํ˜„ ๋น„์ค‘ ์ฒดํฌ)
    • tag๋ณ„๋กœ ํ•ด๋‹น tag์˜ ์ •๋‹ต๋ฅ 
    • ํ•ด๋‹น knowledge_tag๋ฅผ ์—ฐ์†์ ์œผ๋กœ ํ‘ธ๋Š” ์ค‘์ธ์ง€
    • ์ด์ „์— ํ•ด๋‹น tag๋ฅผ ํ’€์–ด๋ณธ์ ์ด ์žˆ๋Š”์ง€ ์—ฌ๋ถ€
    • ์ด์ „์— ํ•ด๋‹น tag๋ฅผ ํ’€์–ด๋ดค๋‹ค๋ฉด ์ด์ „์— ํ•ด๋‹น tag๋ฅผ ํ’€๊ณ  ํ˜„์žฌ ํ•ด๋‹น tag๋ฅผ ํ’€๊ธฐ๊นŒ์ง€ ๊ทธ ์‚ฌ์ด์— ๋ช‡ ๋ฌธ์ œ๋ฅผ ํ’€์—ˆ์—ˆ๋Š”์ง€ (์‚ฌ์ด ๊ตฌ๊ฐ„ ํ‘ผ ๋ฌธ์ œ ๊ฐœ์ˆ˜)
    • ์‹œ๊ฐ„์ ์œผ๋กœ ํ•ด๋‹น tag๋ฅผ ์–ผ๋งˆ๋งŒ์— ๋‹ค์‹œ ํ‘ธ๋Š” ๊ฒƒ์ธ์ง€ (์‹œ๊ฐ„ ์ฐจ)
    • ์ด์ „๊นŒ์ง€ ์ด ๋ช‡ ์ข…๋ฅ˜์˜ tag ๋ฌธ์ œ๋ฅผ ํ’€์–ด๋ดค์—ˆ๋Š”์ง€
    • ํ•ด๋‹น์‹œ์ ๊นŒ์ง€ ํ•™์ƒ์ด ํ•ด๋‹น tag์— ๋Œ€ํ•ด ์–ผ๋งˆ๋‚˜ ์ •๋‹ต์„ ๋งžํ˜”์—ˆ๋Š”์ง€ ์ •๋‹ต๋ฅ  ...

05/24

  1. StratifiedShuffleSplit์„ ํ†ตํ•ด train valid split์„ ์ˆ˜ํ–‰ํ•ด์•ผ ํ• ๋“ฏ.
  • Target Label์€ ๋งจ๋งˆ์ง€๋ง‰ ์‹œ์ ์— ์ •๋‹ต์„ ๋งž์ท„๋Š”๊ฐ€์— ๋Œ€ํ•œ value?๋กœ
  1. EDA ์ค‘ ์ฃผ์˜๊นŠ๊ฒŒ ๋ด์•ผ๋  ๋ถ€๋ถ„๋“ค (์ƒ๊ฐํ•ด๋ณผ๋งŒํ•œ ๋ถ€๋ถ„๋“ค)
  • ๋ฌธํ•ญ์„ ํ‘ธ๋Š”๋ฐ ๊ฑธ๋ฆฐ ์‹œ๊ฐ„

    • ๋ฌธํ•ญ์„ ๋นจ๋ฆฌ ํ‘ผ๋‹ค๋ฉด, ์‰ฌ์šด ๋ฌธ์ œ์ผ ๊ฐ€๋Šฅ์„ฑ์ด ๋†’๋‹ค.
      • ํ•˜์ง€๋งŒ ๋ฌธํ•ญ์„ ๋„ˆ๋ฌด ๋นจ๋ฆฌ ํ’€๋ฉด, ์ฐ์€ ๊ฒƒ์ผ ์ˆ˜๊ฐ€ ์žˆ๋‹ค.
    • ๋ฌธํ•ญ์„ ํ‘ธ๋Š”๋ฐ ์˜ค๋ž˜ ๊ฑธ๋ ธ๋‹ค๋ฉด ์–ด๋ ค์šด ๋ฌธ์ œ์ผ ๊ฒƒ์ด๊ณ  ๊ทธ๋งŒํผ ๋งžํžˆ๊ธฐ๊ฐ€ ์–ด๋ ค์› ์„ ๊ฒƒ์ด๋‹ค.
  • ํ˜น์‹œ ๋ฌธํ•ญ์„ ํ‘ธ๋Š”๋ฐ ๊ฑธ๋ฆฐ ์‹œ๊ฐ„์ด ์•„๋‹ˆ์–ด๋„, ์ •๋‹ต์„ ํŠน๋ณ„ํžˆ ์ž˜ ๋งžํžˆ๋Š” ๋ฌธ์ œํ’€์ด ์‹œ๊ฐ„๋Œ€๊ฐ€ ์žˆ์„๊นŒ?

  • ๋ฌธ์ œ๋ฅผ ๋งŽ์ด ํ‘ผ ์‚ฌ๋žŒ์ผ ์ˆ˜๋ก ๋‹น์—ฐํžˆ ์ดํ›„์— ์ •๋‹ต๋ฅ ์ด ๋Š˜์–ด๋‚  ๊ฒƒ ๊ฐ™์€๊ฐ€?

    • ๋‹น์—ฐํžˆ ๊ทธ๋ ‡๋‹ค๊ณ  ๋‹จ์ •์ง€์„ ์ˆ˜ ์žˆ์„ ๊ฒƒ์ด๋ผ ์ƒ๊ฐํ–ˆ์ง€๋งŒ ๋‘ ๊ฐ€์ง€์˜ ์ผ€์ด์Šค๋ฅผ ๊ณ ๋ คํ•ด์•ผ ํ•œ๋‹ค.
      • ์ดˆ๋ฐ˜๋ถ€ํ„ฐ ์›๋ž˜ ์ •๋‹ต์„ ์ž˜ ๋งžํžŒ ๋ถ€๋ฅ˜ (์ดํ›„ ์ •๋‹ต๋ฅ ์ด ๊ฐ์†Œํ•˜๋Š” ์ถ”์„ธ๋ฅผ ๋ณด์ž„)
      • ์ดˆ๋ฐ˜์—๋Š” ์›๋ž˜ ์ •๋‹ต์„ ์ž˜ ๋ชป ๋งžํžŒ ๋ถ€๋ฅ˜ (์ดํ›„ ์ •๋‹ต๋ฅ ์ด ์ƒ์Šนํ•˜๋Š” ์ถ”์„ธ๋ฅผ ๋ณด์ž„)
  • ๊ฐ™์€ ์‹œํ—˜์ง€๋ฅผ ์—ฐ๋‹ฌ์•„ ํ’€๊ฑฐ๋‚˜ ๊ฐ™์€ ํƒœ๊ทธ๋ฅผ ์—ฐ์†์ ์œผ๋กœ ํ’€๋ฉด ์ •๋‹ต๋ฅ ์ด ์˜ค๋ฅด๊ฒŒ ๋ ๊นŒ?

  • ๋” ๋งŽ์ด ๋…ธ์ถœ๋œ ์‹œํ—˜์ง€ (๋น„๊ต์  ๋งŽ์€ ์‚ฌ๋žŒ๋“ค์ด ํ‘ผ ์‹œํ—˜์ง€๋Š” ์ •๋‹ต๋ฅ ์ด ๋†’์„๊นŒ?)

๋”ฐ๋ผ์„œ, EDA์‹œ์— ์ „์ฒด์ ์ธ ํ๋ฆ„์„ ๋‹จ์ •์ง“๊ณ  ์ „์ฒด์— ๋Œ€ํ•œ ์ •๋‹ต๋ฅ ์„ ๋ณด๋Š” ๊ฒƒ๋ณด๋‹ค๋Š” ์ดˆ๊ธฐ์˜ N๊ฐœ์˜ ๋ฌธํ•ญ์— ๋Œ€ํ•˜์—ฌ ์ •๋‹ต๋ฅ ์„ ๋ณด๊ณ  ๋”ฐ๋กœ Plot์„ ๊ทธ๋ ค๋ณด๋Š” ๊ฒƒ์ด ์ข‹์•„๋ณด์ผ ๋“ฏ ํ•˜๋‹ค.

  1. Seed ์‹คํ—˜
seed Valid AUC Public LB AUC ์ฐจ์ด
77 0.7357 0.7273 0.0084
777 0.7318 0.7237 0.0081
123 0.7381 0.7244 0.0137
1234 0.7386 0.7231 0.0155
1058 0.7357 0.7242 0.0115
1995 0.7378 0.7221 0.0157
2014 0.7425 0.7276 0.0149

seed=777์ผ ๋•Œ, ์ฐจ์ด๊ฐ€ 0.0081๋กœ ๊ฐ€์žฅ ์ž‘๋‹ค.

Clone this wiki locally