HealthyAI

Focal Loss Focal Loss는 Imbalanced Data 문제를 해결하기 위한 손실함수에요. Object Detection 모델 중 1 stage detector (YOLO, SSD) 와 같이 anchor box를 활용해 dense prediction을 하는 모델들은 현재까지 사용하고 있는 Loss function 이에요. ref:Focal Loss CE Loss 의 한계 CE Loss 는 모든 sample 에 대한 예측 결과에 동등한 가중치를 둔다는 점이 단점이에요. Foreground 와 Background 모두 같은 Loss 값을 가진다는 것이 문제에요. Background 케이스의 수가 훨씬 더 많기 때문에 같은 비율로 Loss 값이 업데이트되면 Background 에 대해 학습이 훨..

Regularization Backgrounds Overfitting이 일어나지 않게 하고, generalization performance(일반화 성능)를 높이기 위해 필요한 방법들을 말해요. 모델의 복잡성을 조절하고 처음 본 test data에 일반화된 성능을 더 잘 보여줄수 있게 해줘요. Overfitting(과적합) 정의 : 학습데이터에 과하게 치중되게 학습되어 테스트 데이터, 성능평가 시 좋은 성능을 보이지 못하는 현상을 말한다. 발생 매개변수가 많고 표현력이 높은 모델, 훈련데이터가 적은 경우에 주로 발생 가중치 매개변수의 값이 커서 주로 발생 Regularization 방법 L1, L2 regularization Cost function(loss function) = Loss + Regula..

보호되어 있는 글입니다.

Transfer Learning (전이 학습) 다른 문제를 해결하는 과정에서 배운 패턴들을 이용하여 비슷한 문제를 해결하는 것을 의미한다. 컴퓨터 비전 분야에서는 Transfer Learning의 의미가 사전 학습된 모델 (= pre trained model)을 사용하여 비슷한 문제를 해결하는 것으로 표현되고 있다. Deep Learning Model 계층적 특징들의 표현을 자동으로 학습할 수 있습니다. 첫번째 층에서 계산된 기능은 일반적이며 다른 문제 도메인에서 재사용할 수 있다. 반면 마지막 층에서 계산된 기능은 구체적이며 선택한 데이터셋 및 task에 따라 달라집니다. Lower layers refer to general features (problem independent) Higher layer..

학습 목적 딥러닝에서의 학습이란 최대한 틀리지 않도록 정확성을 높여 나가는 것이다. '얼마나 틀리는지'에 대해 나타내는 함수가 손실 함수(Loss Function) 이다. 따라서 학습의 목표는 손실함수의 최솟값을 찾는 것이다. 손실함수가 최솟값을 갖을 때의 매개 변수의 값을 찾아내야 하며, 손실함수의 최솟값을 찾아 나가는 것을 최적화 (= Optimization) 라 한다. 그리고 이를 수행하는 최적화 알고리즘을 Optimizer 라고 한다. 최적화 방법에는 손실함수의 기울기를 활용한 다양한 경사법들이 존재한다. 다양한 최적화 방법들(optimization) (= 경사법들) 중 요즘은 Adam 을 가장 많이 사용하는 추세다. 우선 다양한 최적화 방법들에 대해 적어 놓았다. Optimization Algo..