[Week 04 / Day 014] ํ์ต ๊ธฐ๋ก
๐ ์ค๋ ํ ์ผ
- ๊ฐ์ ์๊ฐ ๋ฐ ํด์ฆ
- [DL Basic] 9, 10๊ฐ
- [DL Basic] 4๊ฐ ์ค์ต
- [DL Basic] CNN, Generative Model ํด์ฆ
- ๊ธฐ๋ณธ ๊ณผ์ 1, 2
- ๋ ผ๋ฌธ ๋ฆฌ๋ฉ
๐ฅ ํผ์ด์ธ์ ์์ฝ
์ค๋ ํผ์ด์ธ์
์์๋ batch normalization, UI/UX, nn.Sequential
๊ณผ nn.ModuleList
, Markov chain์ ๋ํด์ ์ด์ผ๊ธฐ๋ฅผ ๋๋์๋ค. ๋๋ CNN ์ค์ต ์ฝ๋ ์ค parameter๋ฅผ ์ด๊ธฐํํ๋ ํจ์์ธ init_param()
์ด๋ผ๋ ํจ์์์ ๋ค์๋ ์๋ฌธ์ ํ ๋๋ก weight initialization์ ๋ํด์ ์กฐ์ฌ ํ ๋ฐํํ๋ค. ์ด ๊ณผ์ ์์ BN์ weight
๋ scaling factor \(\gamma\) (default 1)์ด๊ณ , bias
๋ shifting factor \(\beta\) (default 0)๋ผ๋ ๊ฒ์ ์ ์ ์์๋ค.
๐ ๊ณผ์ ๋ด์ฉ ์ ๋ฆฌ
์ค์ต๊ณผ ๊ฒน์น๋ ๋ด์ฉ์ด ๋ง์ ๋ฐ๋ก ์ ๋ฆฌ๋ฅผ ํ์ง ์์๋ค.
๐พ ์ผ์ผ ํ๊ณ
์ค๋์ DL Basic์ ์ด๋ก ๊ฐ์๋ฅผ ์๊ฐํ๋ค. ์ด์ ๋ค์๋ Transformer๋ถํฐ ๋ฐ๋ผ๊ฐ๊ธฐ ํ๋ค๋ค๊ณ ๋๊ผ๋๋ฐ, ์ค๋ ๋ค์ Generative Model๋ ๋ง๋ง์น ์์๋คโฆ ๋ชจ๋ ํฉ์ณ 1์๊ฐ๋ ์๋๋ ๋ถ๋์ด์์์๋ ๋ถ๊ตฌํ๊ณ ๋ฃ๊ณ ์ ๋ฆฌํ๊ณ ๋ณต์ตํ๋ ๋ฐ์ ์ค์ ์๊ฐ์ ์ ๋ถ ์ด ๊ฒ ๊ฐ๋ค. ์ค๋์ ํผ์ด์ธ์ ์์๋ ์ญ์๋ ์ฌ๋ฌ ์ธ์ฌ์ดํธ๋ฅผ ์ป์ ์ ์์๋ค. ํ์๋ถ๋ค์ด ์ด์ ์ ํ์ จ๋ ์ฐ๊ตฌ, ๋ ผ๋ฌธ ๋ถ์, ํ๋ก์ ํธ ๋ฑ์ ๋ํ ์ด์ผ๊ธฐ๋ฅผ ๋ฃ๋ ๊ฒ๋, ์์ ์์ ๋ค๋ฃฌ ๊ฒ์ ๋ํด ๋ ์์ธํ ์กฐ์ฌํ ๊ฒ์ ๋ฃ๋ ๊ฒ๋ ํญ์ ์ฌ๋ฏธ์๋ค! ๊ทธ๋ฆฌ๊ณ ์ด๊ฑด ๋ค๋ฅธ ์ด์ผ๊ธด๋ฐ, ๋ฐ๋ก ์ค๋ ๋งฅ๋ถ์ด ๋์ฐฉํ๋ค! ์์นจ์ ๋ฐฐ์ก๋์์ง๋ง ํผ์ด์ธ์ ์ดํ์ ๋งฅ๋ถ์ ์ด์ด๋ณด๊ณ ์ถ์ด์ ๊พน ์ฐธ๊ณ ๊ฐ์๋ถํฐ ๋ค์๋ค. ๋ด์ผ๋ถํฐ๋ ๋ณธ๊ฒฉ์ ์ผ๋ก ํ๊ฒฝ์ ์ ํ ํ๋ ค ํ๋ค.
๐ ๋ด์ผ ํ ์ผ
- ๊ฐ์ ์๊ฐ ๋ฐ ํด์ฆ
- [DL Basic] 7, 8๊ฐ ์ค์ต
- [DL Basic] RNN ํด์ฆ
- [Data Viz] ๋ค์ ์ ์๋ ๋ฐ๊น์ง
- ๊ธฐ๋ณธ ๊ณผ์ ์๋ฃ
- ๋ฉํ ๋ง (๋ ผ๋ฌธ ์คํฐ๋)
- ์ฝ๋ฉํ ์คํธ ๋ฌธ์ ํ๊ธฐ
- ๋งฅ๋ถ ๊ฐ๋ฐ ํ๊ฒฝ ์ ํ