Perceptron MLP input, hidden, output layer 신경망 학습 : 순전파-손실 계산-역전파 과정 Gradient Descent Optimizer Learning Rate - decay, scheduling Weight Initialization - Xavier, He Overfitting weight decay (regularizer) Dropout Early Stopping Cross Validation GridSearch, RandomSearch learning rate : 얼마나 이동할지(보폭)을 조정하는 hyperparameter 🌀 Learning rate Decay/Scheduling 학습률 감소/계획법 학습률이 너무 낮으면 최적점에 이르기까지 너무 오래 걸리거나, ..
오늘은 이 3개에 대해 배워보겠다. Perceptron MLP input, hidden, output layer 신경망 학습 : 순전파-손실 계산-역전파 과정 Gradient Descent Optimizer Learning Rate Weight Initialization Regrularzation Weight Decay Weight Scheduling Dropout Early Stopping Cross Validation GridSearch, RandomSearch 🌀 신경망 학습 순전파 : 입력 신호 정보를 입력층부터 출력층까지 전달하여 값을 출력한다. 손실 계산 : loss function을 사용하여 예측값, 실제값의 차이 계산 역전파 : 손실을 줄이는 방향으로 경사하강법을 통해 각 가중치 갱신 학습..
앞으로 신경망에 대해 배울 것들이다. 오늘은 이 3개에 대해 배워보겠다. Perceptron MLP input, hidden, output layer 신경망 학습 : 순전파-손실 계산-역전파 과정 Gradient Descent Optimizer Learning Rate Weight Initialization Regrularzation Weight Decay Weight Scheduling Dropout Early Stopping Cross Validation GridSearch, RandomSearch 🌀 Perceptron 신경망을 이루는 가장 기본 단위로, 하나의 신호를 입력받아 다수의 신호를 출력한다. 퍼셉트론은 크게 두 부분으로 나눌 수 있다. 가중합 (Weighted Sum) weight, bi..
타겟 분포 불균형 문제 해결해보자. target balancing methods class weight, undersampling, oversampling 기법 train데이터에만 under, oversampling 적용해야함 프로젝트에 사용할 데이터의 불균형 문제를 진단하고, 균형을 맞춰주는 기법 적용 지금까지 배운 선형 모델, 트리 기반 모델로 다중 클래스 분류 문제를 해결하기 위한 모델링 수행 가능 앙상블 기법을 활용해 불균형 분류 문제 해결 🌀 Scaling (복습) 각 feature은 각자 다른 단위를 가지고 있다. 이러한 단위 차이는 몇몇 회귀 모형이나, 머신러닝 기법에서 문제를 일으킬 수 있다. 또한, 거리 기반의 모델링 시, 상대적으로 범위가 넓은 변수는 거리 계산에 더 많은 기여를 하게 ..
고객이 AI전문가에게 던지는 두 가지 질문 모델이 왜 그렇게 예측했나요? 모델은 비지니스 문제를 해결할 수 있을까요? 🌀 머신러닝문제의 특성 조건에 맞는 데이터가 있다. 충분한 양의 데이터 풀고자 하는 문제상황을 잘 반영하는 데이터 타겟과의 상관관계가 있을 것으로 추정되는 데이터 Non-ML방법으로는 풀기 어렵거나, 현재의 Non-ML 방법이 더 이상 성능 향상의 여지가 보이지 않는다. 장/단기적으로 ML 시스템을 지속하기 위한 비용을 부담할 수 있다. ML 모델은 예측값이 액션으로 연결될 때 가치를 따진다. 현 상황의 단순 분석을 위해서는 ML모델보다는 통계적인 기법을 활용하는 편이 좋다. ML 모델의 예측값이 본인이 제공하고자하는 서비스에서의 어떤 행위로 이어지는지 확인해야함. 데이터 과학자 실무 프..
전에 배웠던 Feature Importance는 각 특성이 증가/감소 시 모델의 예측값이 어떻게 변하는지와 같이 모델의 예측에 어떻게 영향을 주는지 알 수 없었다. 밑에 나올 ICE plot, PDP를 통해, 특정 관측치에 대해, 특정 특성값을 변화시킬 때 모델의 예측 양상이 어떻게 변하는지 파악해보자! 🌀 Individual Conditional Expectation (ICE) plot 특정 feature를 변화시켰을 때, 모델의 예측값이 어떻게 변화하는지를 개별 datapoint별로 시각화한 그래프 개별 datapoint의 예측값 변화를 보기 때문에 모델의 예측값이 어떤 이유로 변화하는지를 추적할 수 있다. 데이터에 등장하는 x의 모든 값에 하나씩, 해당 변수의 모든 샘플을 그 값으로 대체 이미 학습..
🌀 ML 모델의 interpretability ml 모델은 점점 복잡해지고 있어, 점점 모델에 대해 설명하기가 힘들어진다. 그 결론들이 어떤 과정을 통해 나온 것인지 설명하기 어렵다. (black-box problem) ‘안에서 무슨 일이 일어나고 있는지 모른다’는 관점에서 ML 모델의 해석이 필요하다. ML 모델을 해석한다는 것은 어떤 뜻일까? 모델의 의사결정에 대한 이유 제시 모델이 주요하게 학습한 규칙 및 피쳐를 찾는다. 위 기석을 기반으로, 일반적인 상황에서 모델이 안정적인 결과를 낼 수 있을지 검토함. 왜 ML 모델을 해석하는 것이 중요할까? ML 모델을 학습하고 평가 데이터셋에서 좋은 성능을 확인한다면, 모델이 결정을 내린 이유를 궁금해할 필요 없이 그냥 믿으면 되지 않을까? 모델의 검증 데이..
🌀 Hyperparmeter Tuning 알고리즘을 사용하여 모델링 할 때 최적화하기 위해 조절해보자. 튜닝에 정답은 없음 !!! Tuning의 기본 요소 튜닝 대상 모델 범위 조합 선택 방법 ex) random 선택, exhaustive(모든 조합시도) 검증 방법 ex) cross validation , validation set 제공 등 scoring metric (명확히 정의하지 않으면, 의도하지 않은 하이퍼파리미터 조합이 선택될 수 있다.) : metric 값이 가장 우수한 hyperparameter 조합 선택! 직접 튜닝 다른 툴들 사용하기 전, 하이퍼파라미터 범위 등에 대해 대략적으로 감을 잡기 위해 필수적인 과정 추천 방법 hyperparameter들을 default값으로 두고, 3개 이내의..
