[Week 07 / Day 029] 학습 기록

📝 오늘 한 일

• (age model) 성능이 좋았던 것들을 다시 5-fold CV & no-fold로 학습 및 결과 확인
• age, gender, mask model 모두 조합해서 제출해보기 (세미 앙상블)
• 멘토링

🧪 시도했던 것

• 어제의 실험 결과 중 제일 성능이 괜찮았던 top 4개에 대해 5-fold CV & no-fold로 돌려보고 성능을 확인했다.

  크게 loss의 종류로 나눠볼 수 있다.

  • focal loss
    • 10-AdamP-StepLR-FL-v0-age_group_5fold/nofold
    • 10-AdamP-StepLR-FL-v1-age_group_5fold/nofold
  • label smoothing
    • 02-AdamW-StepLR-LS-v5-age_group_5fold/nofold
    • 04-AdamP-StepLR-LS-v2-age_group_5fold/nofold

• 위의 것들 중 결과가 좋았던 것들을 이용하여 age, gender, mask model을 모두 조합해서 세미 앙상블을 진행했다.

  gender, mask model은 팀원분께서 성능이 괜찮았다며 공유해주신 pit model을 사용하였다.

  • 여러 조합으로 세미 앙상블을 진행해보고, submission 파일을 육안으로 대조도 해보았으나 성능이 그렇게 향상되지 않았다.
    • age group을 나누는 기준값을 바꿔보면 좋겠다는 생각이 들었다.

• 따라서 위 실험 결과 중, focal loss에서 제일 좋았던 10-v0과 label smoothing에서 제일 좋았던 02-v5에 대해서 age group을 나누는 기준값을 (30, 60)에서 (29, 59)로 바꾸어서 실험했다.

  • 그 결과, 02-v5에서 (29, 59)로 바꾸어 5-fold CV 진행한 것 중 가장 좋았던 한 가지 모델만 사용하여 제출한 것의 LB F1 Score가 0.7478로 높게 나왔다!
  • 02-v5와 10-v0에서 (29, 59)로 바꾸어 5-fold CV 진행한 것 중 가장 좋았던 각각의 모델을 앙상블 하여 제출한 것은 LB F1 Score가 0.7444로 나왔다.

  나의 제출 기록

🙂 좋았던 점

대회가 처음이어서 당연한 것일 수도 있지만, 앙상블을 처음으로 진행해보았다. 또한 실험 결과를 기록하면서 더 높은 F1 score를 위해 실험 방향을 수정해나가는 것도 유익한 경험인 것 같다.

☹️ 개선할 점

focal loss, label smoothing 등 각각의 개념에 대한 이해가 부족한 것 같다. 그래서인지 실험을 진행함에 있어 주관이 개입되는 것 같다.. 시간이 없다는 핑계로 급하게 실험만 하고 있는데 각각의 개념을 따로 정리하는 시간이 필요할 듯하다.

🐾 일일 회고

해야할 실험이 몰아쳐서 정신이 하나도 없다. 오피스아워에 참여할 시간이 없어서 오피스아워는 주말에 듣기로 했다. 오늘은 멘토링도 있었는데 역시나 오늘도 여러 꿀팁들과 인사이트들을 얻어갈 수 있었다! 오늘이 멘토님과 함께하는 마지막 멘토링이어서 너무 아쉽기도 하다. 😢

🚀 내일 할 일

• 전체 앙상블을 통해 최종 제출에 포함시킬 모델 선별