인공지능을 위한 수학 1: 딥러닝을 읽기 위한 기초 개념 지도

딥러닝을 처음 공부하면 신경망, 활성화 함수, 거리, 각도, 주파수처럼 서로 멀어 보이는 개념이 한꺼번에 나온다. 이 글은 개별 공식을 외우기보다 각 수학 개념이 모델의 어느 부분에서 쓰이는지 다시 찾기 위한 학습 지도다.

인공지능 수학의 기초 개념을 공부하며 남긴 교재 사진

먼저 답하면: 무엇부터 연결해야 할까

• 함수는 입력을 출력으로 바꾸는 규칙이다.
• 벡터와 거리는 데이터를 좌표로 보고 비교하게 해 준다.
• 미분은 파라미터를 어느 방향으로 바꿀지 계산하는 데 쓰인다.
• 확률과 통계는 예측의 불확실성과 모델 평가를 다룬다.
• 삼각함수와 푸리에 변환은 주기와 주파수 성분을 표현한다.

이 다섯 줄이 뼈대다. CNN, RNN, k-NN 같은 이름은 이 뼈대 위에 놓인 서로 다른 모델과 계산 방법이다.

딥러닝은 무엇을 학습하는가

딥러닝은 여러 층의 신경망을 이용해 입력에서 예측에 필요한 표현을 학습하는 머신러닝의 한 갈래다. ‘사람의 뇌처럼 작동한다’는 비유는 입문 설명에는 편하지만 실제 계산을 이해하기에는 부족하다. 모델은 정해진 연산을 순서대로 수행하고, 손실 함수의 값을 줄이도록 파라미터를 갱신한다.

용어	핵심 구조	읽을 때 주의할 점
DNN	여러 변환 층을 쌓은 신경망	층이 깊다는 사실만으로 성능이 보장되지는 않는다
CNN	국소 연결과 가중치 공유를 활용하는 합성곱 구조	이미지뿐 아니라 시계열·신호에도 쓸 수 있다
RNN	이전 상태를 다음 계산에 전달하는 순환 구조	긴 의존성 학습과 병렬화에 제약이 있을 수 있다
LSTM	gate로 정보의 보존과 갱신을 조절하는 RNN 계열	vanilla RNN의 장기 의존성 문제를 완화하지만 만능 해법은 아니다

최근의 시퀀스 모델을 모두 RNN으로 설명할 수는 없다. Transformer처럼 recurrence 없이 attention을 사용하는 구조도 널리 쓰인다. 따라서 ‘텍스트는 RNN’처럼 문제와 모델을 일대일로 외우기보다 구조가 어떤 가정을 두는지 보는 편이 정확하다.

활성화 함수가 필요한 이유

선형 변환만 여러 번 이어 붙이면 전체도 하나의 선형 변환으로 합쳐진다. 활성화 함수는 중간에 비선형성을 넣어 더 복잡한 관계를 표현할 수 있게 한다.

함수	정의	주로 확인할 점
ReLU	max(0, x)	계산이 단순하지만 음수 구간의 gradient가 0이다
sigmoid	1 / (1 + exp(-x))	출력은 0과 1 사이지만 큰 절댓값에서 gradient가 작아진다
tanh	(exp(x)-exp(-x)) / (exp(x)+exp(-x))	출력이 -1과 1 사이이고 역시 포화 구간이 있다
softmax	exp(zᵢ) / Σⱼ exp(zⱼ)	한 축의 값을 합이 1인 분포 형태로 바꾼다

softmax는 각 원소에 독립적으로 적용하는 함수가 아니다. 어느 차원을 클래스 축으로 정할지가 결과를 바꾼다. 실제 구현에서는 overflow를 피하도록 안정화된 라이브러리 함수나 log-softmax 결합 손실을 사용하는 것이 안전하다.

지도학습과 비지도학습을 문제 형태로 구분하기

• 회귀는 집값이나 소요 시간처럼 연속적인 수치를 예측한다.
• 분류는 스팸 여부나 이미지 종류처럼 정해진 class를 예측한다.
• 군집화는 정답 label 없이 비슷한 관측값을 묶는 대표적인 비지도학습 문제다.

지도학습은 정답 label이 있는 예제로 입력과 출력의 관계를 학습한다. 비지도학습은 label 없이 데이터의 구조나 표현을 찾는다. 실제 문제에서는 self-supervised learning처럼 이 구분의 경계에 놓인 방법도 있으므로, 이름보다 학습 신호가 어디에서 오는지 확인하는 것이 좋다.

k-NN으로 거리의 역할 이해하기

k-nearest neighbors는 새 점과 가까운 학습 예제 k개를 찾아 분류하거나 값을 예측한다. 2차원에서 두 점 (x₁, y₁), (x₂, y₂) 사이의 Euclidean distance는 다음과 같다.

d = sqrt((x₂ - x₁)² + (y₂ - y₁)²)

거리를 쓰는 모델에서는 feature scale이 중요하다. 한 feature가 01이고 다른 feature가 0100,000이면 뒤의 feature가 거리를 사실상 지배할 수 있다. 그래서 scaling 여부, 거리 metric, k, 동점 처리 방식을 검증 데이터에서 함께 확인해야 한다. 차원이 커질수록 거리만으로 이웃을 구분하기 어려워지는 점도 고려한다.

각도와 주파수가 연결되는 지점

도수법은 한 바퀴를 360도로, 호도법은 원의 반지름과 호의 길이 비로 각도를 표현한다.

2π rad = 360°
π rad  = 180°

미분과 삼각함수의 식은 radian을 기준으로 가장 자연스럽게 정리된다. 푸리에 변환은 신호를 시간 또는 공간 축에서 주파수 축의 표현으로 바꾼다. 컴퓨터가 유한한 샘플을 다룰 때는 주로 discrete Fourier transform을 사용하며, 결과는 각 주파수 성분의 크기와 위상을 담는 복소수 계수다. 이를 단순히 ‘순수한 파동으로 쪼갠다’고만 기억하면 sampling rate, aliasing, window 같은 실제 조건을 놓치기 쉽다.

공부 순서 체크리스트

1. 함수와 그래프를 읽고 입력·출력의 shape를 적는다.
2. 벡터의 norm, dot product, distance를 구분한다.
3. 편미분과 chain rule로 gradient 계산을 따라간다.
4. 평균·분산·조건부확률로 데이터와 손실을 해석한다.
5. 작은 예제로 모델의 forward 계산과 parameter update를 직접 확인한다.

다음 글인 미분과 역전파 정리는 3번을, 확률·통계와 추정 정리는 4번을 이어서 다룬다.

자주 묻는 질문

수학을 모두 끝내야 딥러닝을 시작할 수 있나

그럴 필요는 없다. 작은 모델을 실행하면서 필요한 함수, 선형대수, 미분, 확률 개념을 되돌아오는 방식이 효율적이다. 다만 공식을 복사하는 데서 멈추지 말고 입력 shape와 가정, 단위를 직접 확인해야 한다.

softmax 출력은 언제나 확률인가

값은 0 이상이고 선택한 축의 합은 1이지만, 그것만으로 모델의 확률이 현실의 불확실성과 잘 맞는다는 뜻은 아니다. calibration은 별도로 평가해야 한다.

k-NN에도 학습이 필요한가

전통적인 의미의 parameter 최적화는 거의 없지만 학습 데이터를 저장하고, scaling·metric·k를 정하는 과정이 필요하다. 예측 시점에는 이웃 검색 비용도 든다.

참고 자료

• PyTorch Autograd 튜토리얼
• scikit-learn Nearest Neighbors
• NumPy Discrete Fourier Transform