What talk about DL troubleshooting?

Debugging의 중요성은 여기서도 강조된다.

가장 이상적인 시간 배분은 8-90%의 시간은 Debugging에 1-20%의 시간만이 코드를 작성하는데 드는 시간이다. 그만큼 Debugging이 개발에 있어 중요함을 알 수 있다.

Why is DL troubleshooting so hard?

• Implementation bugs

  • Deep Learning에서 대다수의 버그는 보이지 않는 곳에서 생긴다.
  • 코드를 작성하며 구현하는 도중 실수나 오류는 Invisible하기에 오류가 생길 여지가 높다.

• Hyper parameter choices

  • Hyperparameter의 값에 따라 성능은 천차 만별이다.
  • 절대적인 최적값은 존재하지 않으므로 알아서 잘 설정해야한다...
  • Hyperparameter란? →모델링 할 때 사용자가 직접 세팅해주는 값

  A model hyperparameter is a configuration that is external to the model and whose value cannot be estimated from data.

  • They are often used in processes to help estimate model parameters.
  • They are often specified by the practitioner.
  • They can often be set using heuristics.
  • They are often tuned for a given predictive modeling problem.

• Data/model fit

  • Data의 종류에 따라 성능이 나빠질 수 있다.
  • 동물 ImageSet에서 확인 된 성능이 식물 ImageSet에서도 같은 성능이 나올거란 보장은 없다

• Dataset construction

  • 실제로 현업에서 Dataset을 정하는데 75%의 시간이 소비 됨.
  • 5가지 Dataset construction issues
    • Lack of Data
    • Class imbalance
    • Noisy labels
    • 다른 분포에서 Train / test
    • etc..

결국 Troubleshooting이 어려운 주된 이유는 아래와 같다.

• 버그를 찾는 것 그 자체가 어려움

• 같은 성능 저하를 일으키는 요소가 다양함.

  • 같은 스케일의 성능 저하의 원인이 될 수 있는 Source가 다양함.