[인공지능] 오차역전파법

Backpropagation (오차역전파법) : 오차를 역으로 전파하는 방법, 가중치 매개변수의 기울기를 효율적으로 계산

Computational graph (계산 그래프) : 계산 과정을 그래프로 나타낸 것, 복수의 Node와 Edge로 표현

• 국소적 계산을 전파함으로써 최종 결과를 얻음
  • 국소적 계산 : 전체에서 어떤 일이 벌어지든 상관없이 자신과 관계된 정보만으로 결과를 출력할 수 있도록 하는 것

• 국소적 계산으로 각 노드에서 단순한 계산에 집중하여 문제를 단순화 가능
• 중간 계산 결과를 모두 보관 가능
• 역전파를 통해 미분을 효율적으로 계산

Forward propagation (순전파) : 계산을 왼쪽에서 오른쪽으로 진행

 

역전파 : 순방향과는 반대 방향으로 국소적 미분을 곱함

연쇄법칙 : 합성함수의 미분은 합성함수를 구성하는 각 함수의 미분의 곱으로 나 타낼 수 있음

• 합성함수 : 여러 함수로 구성된 함수

z = x + y의 미분

z = x ∙ y의 미분

 

ReLU 계층 계산 그래프

 

Affine 계층 : 어파인 변환을 수행하는 계층

• Affine transformation: 신경망의 순전파 때 수행하는 행렬 내적

Softmax 함수 : 입력값을 정규화하여 출력