https://untitledtblog.tistory.com/150 [머신 러닝/딥 러닝] 합성곱 신경망 (Convolutional Neural Network, CNN)과 학습 알고리즘 1. 이미지 처리와 필터링 기법 필터링은 이미지 처리 분야에서 광범위하게 이용되고 있는 기법으로써, 이미지에서 테두리 부분을 추출하거나 이미지를 흐릿하게 만드는 등의 기능을 수행하기 untitledtblog.tistory.com 이미지데이터를 다룰 때 CNN이 사용된다. 행렬형태로 데이터를 입력받아 정보 손실이 적기 때문이다. 또한 필터들을 모수화 (parameterization)할 수 있을 정도의 model parameter만 필요하며, CNN의 마지막 fully-connected layer는 원본 이미지가 아닌 풀링 ..

Softmax Classification 다중 분류기 클래스가 여러개인 것을 분류하기 위해 소프트맥스를 사용한다. 이중분류기를 활용해서 0,1을 반복하는 방식으로 구현할 수 있다. 예를 들어 A,B,C 로 분류한다면, 질문3번을 통해서 분류할 수 있다. "C or not", "A or not", "B or not " 소프트맥스 함수는 함수에 들어오는 값들을 확률값으로 바꿔주는 기능을 한다. 클래스가 여러개 이기 때문에 sigmoid 가져왔을 때, 0.5보다 큰 값인지 확인하고 또 "얼마나" 큰 값 인지도 알아야한다. 과정을 정리하면 Model 에 sigmoid 함수를 씌어주고 softmax 함수를 사용해 확률값으로 바꾸고 one-hot encoding으로 확률값 중에 가장 높은 클래스를 선택해 해당 클래..

Binary Classification은 딥러닝에서 분류하고자하는 것이 0,1로 나타날 수있는 2가지일 경우 사용한다. 스팸판정에서 Spam[1], Ham[0], SNS에서 피드의 show[1], hide[0] 등에 사용된다. 1단계) Linear regression H(x) = Wx + b 2단계) Logistic/sigmoid function (sig(t)) 로지스틱 함수는 다음과 같다. 이 함수를 통해서 0,1로 mapping이 가능해진다. 로지스틱 함수를 씌우면 복잡해서 convex 가 보장되지 않는다는 문제점이 생긴다. 그래서 Linear Regression Model에서 사용했던 Gradient Descent Method는 사용될 수 없다. Log 기반의 새로운 cost 함수를 사용해 분모의 ..

딥러닝_Linear Regression Implementation 선형회귀모델 Cost Function 은 실제값과 모델값의 차이를 수치화한 함수이다. Linear Regression Implementation의 모델은 다음과 같다. Model : H(x) = Wx+b 이 모델 손실함수를 최소화하는 방법이 Gradient Descent Method(경사하강법)이다. 경사하강법은 경사(기울기)를 측정한 다음 밑으로 하강하는 방식이다. 편미분하면 기울기가 나오고 기울기가 0에 가까울 수록 cost가 가장 작은 값에 수렴한다. 경사하강법은 convex function에만 유용하다. 우리의 목적은 global cost mean을 찾는 것인데 local cost minimum에서 편미분이 0이되어 업데이트가 더 ..