Hyeseung

밑바닥부터 시작하는 딥러닝 5단원 - 오차역전파법 p 148 - 187 신경망의 가중치 매개변수의 기울기 -> 수치 미분을 사용하여 구현함 수치 미분은 단순하고 구현하기도 쉽지만 계산 시간이 오래 걸린다는 것이 단점 따라서 가중치 매개변수의 기울기를 효율적으로 계산하는 '오차역전파법'에 대해 학습해보자. 오차역전파법 : 오차를 역으로 전파하는 방법 (Backward propagation of errors) 계산 그래프 (computational graph) 국소적 계산 각 노드는 자신과 관련한 계산 외에는 아무것도 신경 쓸 게 없다 전체 계산이 아무리 복잡하더라도 각 단계의 국소적인 계산은 단순함. 계산 그래프의 이점 ? 1. 국소적 계산 2. 중간 계산 결과를 모두 보관 가능 3. 역전파를 통해 '미분..

밑바닥부터 시작하는 딥러닝 4단원 - 신경망 학습 p 108 - 146 더보기 학습이란? 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 신경망이 학습할 수 있도록 해주는 지표 → 손실함수 목표 : 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것 ! 손실 함수의 값을 가급적 작게 만드는 기법으로 함수의 기울기를 활용함 신경망의 특징은 데이터를 보고 학습할 수 있다는 점이다. = 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다 1. 데이터 주도 학습 기계학습은 데이터가 생명이다 ! 어떤 문제를 해결하려고 할 때, 패턴을 찾아내야 할 때 사람의 경험과 직관을 단서로 시행착오를 거듭하며 일을 진행한다. 반면 기계학습에서는 사람의 개입을 최소화하고 수집한 데이터로부터 ..

▷ 밑바닥부터 시작하는 딥러닝 p 78 - 106 1 ) 다차원 배열 넘파이의 다차원 배열을 사용하면 신경망을 효율적으로 구현할 수 있다 「 3 × 2 배열 」 0번째 차원 - 원소 3개 1번째 차원 - 원소 2개 1 행렬의 곱 두 행렬의 곱 계산 Y = np.dot(A,B) 2 신경망에서의 행렬의 곱 2 ) 3층 신경망 구현 핵심: 신경망에서의 계산을 행렬 계산으로 정리할 수 있다 표기법 회귀: 항등 함수 2클래스 분류: 시그모이드 함수 다중 클래스 분류: 소프트맥스 함수 3 ) 출력층 설계 기계학습 문제는 분류와 회귀로 나뉜다 분류: 데이터가 어느 클래스(class)에 속하는지 회귀: 입력 데이터에서 (연속적인) 수치를 예측 출력층에서 사용하는 활성화 함수가 달라진다 일반적으로 회귀에는 항등 함수를,..

▷ 밑바닥부터 시작하는 딥러닝 p64 -78 1 신경망 0층 : 입력층 1층 : 은닉층 2층 : 출력층 → 2층 신경망 (가중치를 갖는 층은 2개뿐) ↓ 2 활성화 함수 h(x) h(x) : 입력 신호의 총합을 출력 신호로 변환하는 활성화 함수 「 2단계로 처리」 1. 가중치가 곱해진 입력 신호의 총합 a 를 계산 2. 그 합을 활성화 함수에 입력해 결과 y 출력 퍼셉트론에서는 활성화 함수로 계단 함수를 이용한다 계단 함수 (step function) : 임계값을 경계로 출력이 바뀜 계단 함수 이외의 함수를 사용하면 어떻게 될까? ▼ 신경망의 세계 ! 3 시그모이드 함수 sigmoid function 신경망에서 자주 이용하는 활성화 함수 퍼셉트론과 신경망의 주된 차이 : 활성화 함수 ! (차이점) 시그노..

퍼셉트론이란? 딥러닝(신경망)의 기원이 되는 알고리즘이다. 퍼셉트론은 다수의 신호(흐름)를 입력으로 받아 하나의 신호를 출력한다. 입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치가 곱해진다 뉴런에서 보내온 신호의 총합이 정해진 한계를 넘어설 때만 1을 출력한다 (뉴런이 활성화) 정해진 한계 = 임계값 = 세타 퍼셉트론의 동작 원리 단순한 논리 회로 세타를 $-b$ 로 치환 $b$ : 편향 : 뉴런이 얼마나 쉽게 활성화(결과로 1 출력) 하는지 조정 $w_1, w_2$ : 가중치 : 각 입력 신호가 결과에 주는 영향력(중요도) 조절 AND 게이트 NAND 게이트 OR 게이트 XOR 게이트 → 베타적 논리합 퍼셉트론의 한계 선형과 비선형 퍼셉트론은 직선 하나로 나눈 영역만 표현할 수 있다는 한계가 있다 ..

규제선형 회귀모델 경사하강법에서 weight를 업데이트를 할 때 알파 값으로 패널티를 부여하여 회귀계수의 값을 의도적으로 감소시켜 오버피팅을 포함한 회귀분석의 문제점을 보완할 수 있다. L1이라는 규제를 선형회귀식에 추가하여 - 예측영향력이 적은 설명변수들의 회귀 계수값을 0으로 만듬. : L2 규제를 선형회귀식에 추가 - 상대적으로 큰 회귀 계수 값들을 통제하여 회귀 계수값을 작게 구성합니다. : L1 과 L2규제를 함께 결합하여 예측영향력이 적은 설명변수를 제거하고, 회귀계수값이 너무 큰 설명변수는 작은 회귀계수값으로 계산되도록 통제 - 2가지 규제 방식 - L1 규제 : weight 값에 절대값을 씌운 패널티 -라쏘 - L2 규제 : weight..