Home [Week 04 / Day 014] ํ•™์Šต ๊ธฐ๋ก
Post
Cancel

[Week 04 / Day 014] ํ•™์Šต ๊ธฐ๋ก

๐Ÿ“ ์˜ค๋Š˜ ํ•œ ์ผ

  • ๊ฐ•์˜ ์ˆ˜๊ฐ• ๋ฐ ํ€ด์ฆˆ
    • [DL Basic] 9, 10๊ฐ•
    • [DL Basic] 4๊ฐ• ์‹ค์Šต
    • [DL Basic] CNN, Generative Model ํ€ด์ฆˆ
  • ๊ธฐ๋ณธ ๊ณผ์ œ 1, 2
  • ๋…ผ๋ฌธ ๋ฆฌ๋”ฉ


๐Ÿ‘ฅ ํ”ผ์–ด์„ธ์…˜ ์š”์•ฝ

์˜ค๋Š˜ ํ”ผ์–ด์„ธ์…˜์—์„œ๋Š” batch normalization, UI/UX, nn.Sequential๊ณผ nn.ModuleList, Markov chain์— ๋Œ€ํ•ด์„œ ์ด์•ผ๊ธฐ๋ฅผ ๋‚˜๋ˆ„์—ˆ๋‹ค. ๋‚˜๋Š” CNN ์‹ค์Šต ์ฝ”๋“œ ์ค‘ parameter๋ฅผ ์ดˆ๊ธฐํ™”ํ•˜๋Š” ํ•จ์ˆ˜์ธ init_param()์ด๋ผ๋Š” ํ•จ์ˆ˜์—์„œ ๋“ค์—ˆ๋˜ ์˜๋ฌธ์„ ํ† ๋Œ€๋กœ weight initialization์— ๋Œ€ํ•ด์„œ ์กฐ์‚ฌ ํ›„ ๋ฐœํ‘œํ–ˆ๋‹ค. ์ด ๊ณผ์ •์—์„œ BN์˜ weight๋Š” scaling factor $\gamma$ (default 1)์ด๊ณ , bias๋Š” shifting factor $\beta$ (default 0)๋ผ๋Š” ๊ฒƒ์„ ์•Œ ์ˆ˜ ์žˆ์—ˆ๋‹ค.


๐Ÿ“š ๊ณผ์ œ ๋‚ด์šฉ ์ •๋ฆฌ

์‹ค์Šต๊ณผ ๊ฒน์น˜๋Š” ๋‚ด์šฉ์ด ๋งŽ์•„ ๋”ฐ๋กœ ์ •๋ฆฌ๋ฅผ ํ•˜์ง€ ์•Š์•˜๋‹ค.


๐Ÿพ ์ผ์ผ ํšŒ๊ณ 

์˜ค๋Š˜์€ DL Basic์˜ ์ด๋ก  ๊ฐ•์˜๋ฅผ ์™„๊ฐ•ํ–ˆ๋‹ค. ์–ด์ œ ๋“ค์—ˆ๋˜ Transformer๋ถ€ํ„ฐ ๋”ฐ๋ผ๊ฐ€๊ธฐ ํž˜๋“ค๋‹ค๊ณ  ๋Š๊ผˆ๋Š”๋ฐ, ์˜ค๋Š˜ ๋“ค์€ Generative Model๋„ ๋งŒ๋งŒ์น˜ ์•Š์•˜๋‹คโ€ฆ ๋ชจ๋‘ ํ•ฉ์ณ 1์‹œ๊ฐ„๋„ ์•ˆ๋˜๋Š” ๋ถ„๋Ÿ‰์ด์—ˆ์Œ์—๋„ ๋ถˆ๊ตฌํ•˜๊ณ  ๋“ฃ๊ณ  ์ •๋ฆฌํ•˜๊ณ  ๋ณต์Šตํ•˜๋Š” ๋ฐ์— ์˜ค์ „ ์‹œ๊ฐ„์„ ์ „๋ถ€ ์“ด ๊ฒƒ ๊ฐ™๋‹ค. ์˜ค๋Š˜์˜ ํ”ผ์–ด์„ธ์…˜์—์„œ๋Š” ์—ญ์‹œ๋‚˜ ์—ฌ๋Ÿฌ ์ธ์‚ฌ์ดํŠธ๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ์—ˆ๋‹ค. ํŒ€์›๋ถ„๋“ค์ด ์ด์ „์— ํ•˜์…จ๋˜ ์—ฐ๊ตฌ, ๋…ผ๋ฌธ ๋ถ„์„, ํ”„๋กœ์ ํŠธ ๋“ฑ์— ๋Œ€ํ•œ ์ด์•ผ๊ธฐ๋ฅผ ๋“ฃ๋Š” ๊ฒƒ๋„, ์ˆ˜์—…์—์„œ ๋‹ค๋ฃฌ ๊ฒƒ์— ๋Œ€ํ•ด ๋” ์ž์„ธํžˆ ์กฐ์‚ฌํ•œ ๊ฒƒ์„ ๋“ฃ๋Š” ๊ฒƒ๋„ ํ•ญ์ƒ ์žฌ๋ฏธ์žˆ๋‹ค! ๊ทธ๋ฆฌ๊ณ  ์ด๊ฑด ๋‹ค๋ฅธ ์ด์•ผ๊ธด๋ฐ, ๋ฐ”๋กœ ์˜ค๋Š˜ ๋งฅ๋ถ์ด ๋„์ฐฉํ–ˆ๋‹ค! ์•„์นจ์— ๋ฐฐ์†ก๋˜์—ˆ์ง€๋งŒ ํ”ผ์–ด์„ธ์…˜ ์ดํ›„์— ๋งฅ๋ถ์„ ์—ด์–ด๋ณด๊ณ  ์‹ถ์–ด์„œ ๊พน ์ฐธ๊ณ  ๊ฐ•์˜๋ถ€ํ„ฐ ๋“ค์—ˆ๋‹ค. ๋‚ด์ผ๋ถ€ํ„ฐ๋Š” ๋ณธ๊ฒฉ์ ์œผ๋กœ ํ™˜๊ฒฝ์„ ์…‹ํŒ…ํ•˜๋ ค ํ•œ๋‹ค.


๐Ÿš€ ๋‚ด์ผ ํ•  ์ผ

  • ๊ฐ•์˜ ์ˆ˜๊ฐ• ๋ฐ ํ€ด์ฆˆ
    • [DL Basic] 7, 8๊ฐ• ์‹ค์Šต
    • [DL Basic] RNN ํ€ด์ฆˆ
    • [Data Viz] ๋“ค์„ ์ˆ˜ ์žˆ๋Š” ๋ฐ๊นŒ์ง€
  • ๊ธฐ๋ณธ ๊ณผ์ œ ์™„๋ฃŒ
  • ๋ฉ˜ํ† ๋ง (๋…ผ๋ฌธ ์Šคํ„ฐ๋””)
  • ์ฝ”๋”ฉํ…Œ์ŠคํŠธ ๋ฌธ์ œ ํ’€๊ธฐ
  • ๋งฅ๋ถ ๊ฐœ๋ฐœ ํ™˜๊ฒฝ ์…‹ํŒ…
This post is licensed under CC BY 4.0 by the author.

[Week 04 / Day 013] ํ•™์Šต ๊ธฐ๋ก

[Week 04 / Day 015] ํ•™์Šต ๊ธฐ๋ก