HealthyAI

1. Object detection What is object detection? 이미지 내 물체의 위치와 물체의 종류를 맞추는 문제에요. Application Autonomous driving Optical Character Recognition(OCR) 2. Two - Stage Detector Traditional methods HOG = Histogram of Oriented Gradients, SVM = Support Vecor Machine 사람 경계선의 평균 - 사람을 찾는데 도움이 돼요. 사람의 직관을 통해 알고리즘 설계 SVM : 선형 분류기 관찰할 물체인지 판별하는 도구 Selective Search bounding box 를 추천 해줘요. over segmentation - 잘게 쪼개..

Focal Loss Focal Loss는 Imbalanced Data 문제를 해결하기 위한 손실함수에요. Object Detection 모델 중 1 stage detector (YOLO, SSD) 와 같이 anchor box를 활용해 dense prediction을 하는 모델들은 현재까지 사용하고 있는 Loss function 이에요. ref:Focal Loss CE Loss 의 한계 CE Loss 는 모든 sample 에 대한 예측 결과에 동등한 가중치를 둔다는 점이 단점이에요. Foreground 와 Background 모두 같은 Loss 값을 가진다는 것이 문제에요. Background 케이스의 수가 훨씬 더 많기 때문에 같은 비율로 Loss 값이 업데이트되면 Background 에 대해 학습이 훨..

Regularization Backgrounds Overfitting이 일어나지 않게 하고, generalization performance(일반화 성능)를 높이기 위해 필요한 방법들을 말해요. 모델의 복잡성을 조절하고 처음 본 test data에 일반화된 성능을 더 잘 보여줄수 있게 해줘요. Overfitting(과적합) 정의 : 학습데이터에 과하게 치중되게 학습되어 테스트 데이터, 성능평가 시 좋은 성능을 보이지 못하는 현상을 말한다. 발생 매개변수가 많고 표현력이 높은 모델, 훈련데이터가 적은 경우에 주로 발생 가중치 매개변수의 값이 커서 주로 발생 Regularization 방법 L1, L2 regularization Cost function(loss function) = Loss + Regula..

보호되어 있는 글입니다.

Transfer Learning (전이 학습) 다른 문제를 해결하는 과정에서 배운 패턴들을 이용하여 비슷한 문제를 해결하는 것을 의미한다. 컴퓨터 비전 분야에서는 Transfer Learning의 의미가 사전 학습된 모델 (= pre trained model)을 사용하여 비슷한 문제를 해결하는 것으로 표현되고 있다. Deep Learning Model 계층적 특징들의 표현을 자동으로 학습할 수 있습니다. 첫번째 층에서 계산된 기능은 일반적이며 다른 문제 도메인에서 재사용할 수 있다. 반면 마지막 층에서 계산된 기능은 구체적이며 선택한 데이터셋 및 task에 따라 달라집니다. Lower layers refer to general features (problem independent) Higher layer..

Model model.save() 학습의 결과를 저장하기 위한 함수 모델 형태(architecture)와 파라미터를 저장 모델 학습 중간 과정의 저장을 통해 최선의 결과모델을 선택 만들어진 모델을 외부 연구자와 공유하여 학습 재연성 향상 checkpoints 학습의 중간 결과를 저장, 최선의 결과를 선택 earlystopping 기법 사용시 이전 학습의 결과물을 저장 loss와 metric 값을 지속적으로 확인 저장 한다 일반적으로 epoch, loss, metric을 함게 저장하여 확인 colab에서 지속적인 학습을 위해 필요 transfer learning 다른 데이터셋으로 만든 모델을 현재 데이터에 적용 일반적으로 대용량 데이터셋으로 만든 모델의 성능이 좋다 현재의 DL 에서는 가장 일반적인 학습 ..

Dataset & DataLoader Deep Learning Process Data - collecting, cleaning, pre processing Dataset ToTensor(), CenterCrop() transforms init() call() Dataset init() len() getitem() DataLoader batch, shuffle Model Dataset class 데이터의 형태를 정의하는 클래스 데이터를 입력하는 방식의 표준화 Image, Text, Audio 등에 따른 다른 입력정의 import torch from torch.utils.data import Dataset class CustomDataset(Dataset): def __init__(self, text, la..

보호되어 있는 글입니다.

AutoGrad, Optimizer Layer = Block of Lego AutoGrad pytorch 의 핵심은 자동 미분의 지원 w = torch.tensor(2.0, requires_grad = True) y = w ** 2 z = 10 * y + 25 z.backward() w.grad torch.nn.Module 딥러닝을 구성하는 Layer의 base class Input, Output, Forward, Backward 정의 학습의 대상이 되는 parameter(tensor) 정의 nn.Parameter Tensor 객체의 상속 객체 nn.Module 내에 attribute 가 될 때는 required_grad = True로 지정되어 학습 대상이 되는 Tensor autograd의 대상이 된다..

Pytorch PyTorch Pytorch의 핵심은 자동 미분의 지원 - backward 함수 사용 Define by run 즉시 확인 가능하다 - Pythonic code Dynamic computation graphs 연산 과정 그래프 Back propagation 성능 차이 중요 AutoGrad 를 사용할 때 실행 시점에서 정의 한다. debugging 측면에서 중간중간 디버깅이 가능하다는 측면에서 유리하다. 다양한 형태의 DL을 지원하는 함수와 모델을 지원함 GPU support, Good API and community Tensor data types 기본적으로 tensor가 가질 수 있는 data 타입은 Numpy와 동일 numpy 에서 사용하는 기법 동일 슬라이싱 torch.ones_like..