그간 빠삐용강아지 바빴다는 변명과 함께
밀린 회고를 부랴부랴 써본다...

밀린 회고이기 때문에 배웠던 내용 위주로 러프하게 작성하였답니다.


29일차
날짜 : 2026-02-09


Four F’s of Active Reviewing
Facts : 딥러닝 핵심 개념인 프레임워크, 전이학습, 파인튜닝, optimizer의 계보에 대해 배우고, 오후엔 VGG16 모델로 캐글 강아지 품종 분류 실습을 진행함
Feelings : 이론 공부는 가장 중요하면서도 지루한 일이다. 오전에 optimizer가 어떻게 발전해왔는지 배울 때만 해도 그런가보다 했는데, 오후에 Streamlit으로 SGD와 Momentum, Adam 등 optimizer를 시각화해보면서 차이가 확실히 와닿았다. 역시 시각화 도구는 중요한 것 같다.
Findings : 층이 깊다고 무조건 성능이 좋아지지 않는다. 전이학습 시 CNN 레이어를 freeze하면 학습 효율이 올라간다. 파인튜닝은 특정 태스크 한정 과도하게 특화되면 그 태스크만 잘하게 되는 trade-off 문제가 있다. 그래서 등장한 게 RAG라고 한다.
Future : 빠삐용강아지 오후에 실습했던 optimizer.py를 돌려보며 AdaGrad, EMA 기반 옵티마저까지 추가로 비교해보았다.