인공지능을 위한 수학 - 2. 미분

 

✅ 경사하강법 (Gradient Descent)

• 머신러닝에서 모델의 오차를 줄이기 위해 사용하는 최적화 기법.
• 기울기를 따라 오차가 작아지는 방향으로 조금씩 이동하며 최적의 파라미터를 찾아요.
• 핵심 수식:θ:=θ−α⋅∇J(θ)\theta := \theta - \alpha \cdot \nabla J(\theta)

---

✅ 상미분, 편미분, 전미분

구분 설명

상미분	한 개 변수에 대한 미분
편미분	여러 변수 중 하나만 고정하고 미분
전미분	변수들이 서로 의존할 때, 전체 변화를 계산하는 미분

---

✅ 라이프니츠 표기법 vs 라그랑주 표기법

표기법 형태 특징

라이프니츠	dy/dx	변수 관계 명확, 연쇄법칙에 유리
라그랑주	f′(x)	간단하고 함수 중심 표현

---

✅ 선형회귀와 최소제곱법

• 선형회귀: 데이터를 설명할 수 있는 직선을 그려 예측하는 모델.
• 최소제곱법: 예측값과 실제값 사이의 오차 제곱합을 최소화하는 방식으로 직선을 찾음.

---

✅ 멱함수, 지수함수, 로그함수, 삼각함수, 초등함수

함수 종류 형태 특징

멱함수	x^n	거듭제곱 함수
지수함수	a^x	빠른 성장/감소
로그함수	log_a x	지수함수의 역함수
삼각함수	sin⁡x,cos⁡x\sin x, \cos x	주기적 현상 모델링에 사용
초등함수	위 함수들의 조합	기본 함수들의 상위 개념

---

✅ 오차역전파법 (Backpropagation)

• 신경망에서 오차를 출력층에서 입력층으로 거꾸로 전달하며,
• 각 층의 가중치를 조정하는 방법.
• 체인 룰을 활용하여 기울기 계산 후 경사하강법으로 학습.

---

✅ 시그모이드 함수, 표준 시그모이드 함수, 렐루 함수

함수 이름 수식 출력 범위 특징

시그모이드	11+e−x\frac{1}{1 + e^{-x}}	(0, 1)	확률처럼 해석, 기울기 소실 발생
표준 시그모이드	시그모이드와 동일	(0, 1)	같은 함수
렐루	max⁡(0,x)\max(0, x)	[0, ∞)	단순하고 성능 좋음, 뉴런 죽음 가능