[Week 02 / Day 009] 학습 기록

📝 오늘 한 일

• 데일리 스크럼
• 기본 과제 1, 2 제출
• 강의 수강 및 퀴즈
  • [PyTorch 7강]
  • [PyTorch 8강]
• 피어세션
• 오피스아워

👥 피어세션 요약

• Further Question (PyTorch 5강)
  1. DataLoader에서 사용할 수 있는 각 sampler들을 언제 사용하면 좋을지 같이 논의해보세요.
     • 참고 자료: https://subinium.github.io/pytorch-dataloader/
     • batch의 data가 biased 되어 있을 때, 균등 분포로 추출하기 위해서 사용할 수 있을 것 같다.
     • sampler와 다르게 shuffle은 완전히 랜덤이다.
     • shuffle=True 시엔 random sampler와 같다.
  2. 데이터의 크기가 너무 커서 메모리에 한번에 올릴 수가 없을 때 Dataset에서 어떻게 데이터를 불러오는게 좋을지 같이 논의해보세요.
     • generator를 사용할 수 있을 것 같다.
     • 일반적으로, 데이터를 path 경로로만 저장해두고, __getitem__ 안에서 파일을 불러오는 식으로 한다.
• 수업 관련 질문 & 토의
  • 왜 가상 메모리를 실제 사용할 수 있는 메모리 크기보다 더 크게 설정하는가? 그리고 swap이 일어나 HDD로 내려가게 되면, 앞단의 프로세스가 죽어도 그 데이터가 남아있는지 궁금하다.
    • OS 단에서도 가비지 콜렉터가 존재한다. (안쓰는 memory 주기적으로 kill)
    • HDD ↔ memory 왔다갔다 하는 것은 소스코드, 파일 데이터라고 알고 있다. 그 데이터들은 프로세스에서 사용이 끝나도 HDD에 남아있어야 한다.
  • GIL (전역 인터프리터 락)
    • 중요하다.
    • 파이썬이 느린 이유. 파이썬 최초 구현 당시 메모리 관리 쉽게 하기 위해 하나의 스레드가 자원을 독점하는 형태로 구현하였다. (single process 처럼 처리한다.)
    • 그 당시에는 CPU 하나만 썼기 때문에 괜찮았지만, 지금은 멀티코어가 당연하므로 제약점이 된다.
  • DataParallel, DistributedDataParallel은 윈도우에서 안돌아간다.
    • multi-process 기반은 윈도우에서 지원하지 않는다. (보안상의 이유로 fork를 금지한다.)
    • Linux를 많이 쓰는 이유이다.
  • 모델 병렬화 관련 예제 코드
    • https://tutorials.pytorch.kr/intermediate/model_parallel_tutorial.html

📚 과제 내용 정리

따로 Notion에 정리 중이다.

🐾 일일 회고

결국 어제 과제를 하다가 밤을 샜다…. 🥱 다행히 과제를 모두 완료하고 무사히 제출하였지만, 하루종일 체력적으로 너무 힘들었다. 5개월 동안 부스트캠프를 진행해야 하는데, 앞으로는 이렇게 밤을 새는 일은 없도록 해야할 것 같다. 그리고 오늘 저녁에는 기본 과제에 대한 오피스아워가 있었다. 과제를 하면서 gather 함수가 가장 헷갈렸었는데, 오피스아워에서 gather 함수에 대해 자세하게 다뤄주셔서 도움이 많이 되었다! 내일부터는 다시 정상적인 루틴을 찾아야 겠다.

🚀 내일 할 일

• 강의 수강 & 퀴즈
  • [PyTorch 9강]
  • [PyTorch 10강]
• 스페셜 피어세션
• 마스터 클래스