[딥러닝 기초] 미분

딥러닝에서 미분은 굉장히 중요한 역할을 합니다. 딥러닝 내 gradient를 구하는 것이 미분을 사용하기 때문입니다. 고등학교 시절 다들 배우셨겠지만, 미분은 순간 기울기를 구하는데 사용됩니다. 딥러닝은 해당 시점에 낮은 값으로 움직일 수 있는 값을 찾는 것이기 때문에, 미분을 사용하여 해당 위치에서의 내려가는 곳을 찾아 gradient를 구합니다.

그렇다면, 간단하게 많이 사용되는 미분에 대해 알아보도록 하겠습니다!

1. 미분계수

가장 기초적인 것부터 알아보겠습니다.

위 그래프에서, x₁ 과 x₂사이 순간 기울기를 구해보겠습니다.

이 도함수를 바탕으로 여러 함수들의 미분법에 대해 알아보겠습니다!

2. 곱의 미분법

{f(x)g(x)}' = f'(x)g(x) + f(x)g'(x)

곱의 미분법 증명은 다음과 같습니다.

 

3. 몫의 미분법

몫의 미분법은 쉽게 말하면 분수 함수 미분입니다. 분수함수 미분은 다음과 같은 과정으로 이루어집니다.

4. 합성함수의 미분법

합성함수의 미분법은 딥러닝에서 특히 중요합니다! 뒤에 나오는 경사 하강법의 모든 계산이 대부분 이 합성함수의 미분법으로 이루어지기 때문입니다! 그리고, 이 경사하강법은 딥러닝 학습의 기초인 역전파의 기본이 되죠. 이제, 합성함수의 미분법에 대해 자세히 알아보겠습니다!

{f(g(x))}' = f'(g(x))g'(x)

해당 수식의 유도식은 다음과 같습니다.

AI, 딥러닝의 기초 지식은 미분입니다 우리 모두 열심히 공부해서 딥러닝을 이해하는데 문제없도록 해요!