인공지능을 위한 수학 4: 평균·분산부터 MLE·Bayes 추정까지

평균, 분산, 상관계수, 표준화, maximum likelihood는 각각 떨어진 용어가 아니다. 데이터의 중심과 퍼짐을 요약하고, 변수 사이의 관계를 확인한 뒤, 관측값으로 알 수 없는 parameter를 추정하는 흐름으로 연결된다.

이 글은 수식을 나열하기보다 모집단과 표본의 구분, 단위, data leakage처럼 실제 모델링에서 자주 놓치는 경계를 중심으로 다시 정리한 학습노트다.

평균·분산부터 추정까지 공부하며 남긴 교재와 필기

평균과 편차: 중심을 정하는 출발점

값 x₁, …, xₙ의 arithmetic mean은 다음과 같다.

x̄ = (1/n) Σᵢ xᵢ

각 값의 deviation은 xᵢ-x̄다. 평균보다 크면 양수, 작으면 음수다. 같은 데이터에서 평균 기준 편차의 합은 0이므로, 퍼짐을 재려면 부호가 상쇄되지 않도록 제곱하거나 절댓값을 사용한다.

평균은 중심을 요약하지만 outlier에 민감하다. 분포가 크게 치우치거나 극단값이 중요한 데이터라면 median, quantile, histogram도 함께 확인해야 한다.

분산과 표준편차: 모집단과 표본을 구분한다

모집단 전체의 분산은 보통 다음처럼 쓴다.

σ² = (1/N) Σᵢ(xᵢ-μ)²

표본으로 모집단 분산을 추정할 때 흔히 쓰는 unbiased sample variance는 분모가 n-1이다.

s² = [1/(n-1)] Σᵢ(xᵢ-x̄)²

standard deviation은 variance의 제곱근이다. variance의 단위는 원래 단위의 제곱이지만 standard deviation은 원래 단위로 돌아오므로 해석하기 쉽다. ‘분산은 항상 1/n’이라고 외우면 모집단 기술과 표본 추정을 혼동하게 된다.

Covariance와 correlation

두 변수가 평균에서 함께 어느 방향으로 벗어나는지 보는 값이 covariance다.

Cov(X,Y) = E[(X-E[X])(Y-E[Y])]

양수면 큰 값끼리, 작은 값끼리 함께 나타나는 경향이 있고 음수면 반대 방향의 경향이 있다. 하지만 covariance의 크기는 두 변수의 단위와 scale에 의존한다.

Pearson correlation coefficient는 covariance를 두 standard deviation으로 나눈다.

ρ = Cov(X,Y) / (σₓσᵧ)

그래서 단위가 없고 -1에서 1 사이의 값을 갖는다. 다만 Pearson correlation이 측정하는 것은 선형 관계다. 0에 가깝다고 관계가 전혀 없다고 단정할 수 없고, 큰 상관이 원인과 결과를 뜻하지도 않는다. scatter plot과 데이터 수집 과정을 함께 봐야 한다.

Z-score와 feature scaling

z-score는 값이 평균에서 standard deviation 몇 배만큼 떨어져 있는지 나타낸다.

z = (x-μ) / σ

머신러닝 문서에서는 이를 standardization이라고 부르는 경우가 많고, ‘normalization’은 문맥에 따라 0~1 scaling이나 vector norm 조정을 뜻하기도 한다. 용어보다 식과 적용 축을 확인해야 한다.

Min-Max scaling은 학습 데이터의 최솟값과 최댓값으로 범위를 바꾼다.

x_scaled = (x-x_min) / (x_max-x_min)

가장 중요한 운영 원칙은 scaler를 training data에만 fit하고 validation·test·inference에는 같은 parameter로 transform하는 것이다. 전체 데이터에서 평균과 최댓값을 먼저 계산하면 평가 대상의 정보가 학습 과정에 새어 들어간다. Min-Max 방식은 새 데이터가 학습 범위를 벗어나면 0보다 작거나 1보다 클 수도 있다.

Likelihood와 Maximum Likelihood Estimation

확률 모델 p(x|θ)를 정하고 관측 데이터 D={x₁,…,xₙ}가 주어졌다고 하자. likelihood는 관측값을 고정한 채 parameter θ의 함수로 본다.

L(θ;D) = Πᵢ p(xᵢ|θ)
θ_MLE = argmaxθ L(θ;D)

likelihood는 ‘parameter가 참일 확률’이 아니다. 선택한 parameter 아래에서 지금의 데이터가 얼마나 잘 설명되는지를 비교하는 함수다. 독립을 가정한 여러 확률의 곱은 매우 작아질 수 있고 미분도 번거로워, 보통 log-likelihood를 최대화한다.

log L(θ;D) = Σᵢ log p(xᵢ|θ)

log는 단조 증가하므로 최대점을 바꾸지 않으면서 곱을 합으로 바꾼다. 단, 데이터의 독립성이나 분포 형태 같은 모델 가정까지 자동으로 옳게 만들지는 않는다.

Bayesian estimation: prior를 포함한 갱신

Bayes rule은 prior와 likelihood를 결합해 posterior를 만든다.

p(θ|D) = p(D|θ)p(θ) / p(D)

• p(θ): 데이터를 보기 전 parameter에 대한 prior
• p(D|θ): parameter가 주어졌을 때 데이터의 likelihood
• p(θ|D): 데이터를 본 뒤의 posterior
• p(D): posterior가 적분해 1이 되도록 하는 evidence

MLE는 likelihood를 가장 크게 하는 한 parameter 값을 찾는다. Bayesian inference는 parameter의 posterior distribution을 다룬다. 필요에 따라 posterior mean, credible interval, posterior predictive distribution 같은 요약을 사용한다. prior의 영향은 데이터 양과 모델에 따라 달라지므로 무엇을 사용했는지 명시해야 한다.

모델링 전에 확인할 순서

1. 관측 단위와 target, feature의 단위를 적는다.
2. missing value와 outlier, 분포 형태를 시각화한다.
3. 모집단을 기술하는지 표본에서 추정하는지 구분한다.
4. scaling parameter는 training split에서만 계산한다.
5. likelihood의 분포 가정과 독립성 가정을 적는다.
6. point estimate만 보지 말고 uncertainty와 validation 결과를 함께 본다.

이 통계 개념은 선형회귀의 loss·regularization·평가로 이어진다. 기초 모델 용어의 위치가 필요하면 딥러닝 수학 개념 지도부터 다시 볼 수 있다.

자주 묻는 질문

분산은 왜 n으로 나눌 때와 n-1로 나눌 때가 있나

관측한 모집단 자체의 variance를 계산하면 N을 사용한다. 표본 평균을 사용해 모집단 variance를 unbiased하게 추정하는 대표식은 자유도 보정을 위해 n-1을 사용한다. 라이브러리의 ddof 기본값도 확인해야 한다.

상관계수가 높으면 한 변수가 다른 변수를 일으키나

아니다. 공통 원인, 표본 선택, 시간 추세 등으로 높은 correlation이 생길 수 있다. 인과 주장은 연구 설계와 추가 가정이 필요하다.

Standardization을 하면 항상 모델이 좋아지나

항상 그렇지는 않다. 거리나 gradient scale에 민감한 모델에는 중요하지만 tree 계열처럼 영향이 작은 경우도 있다. model pipeline 안에서 validation으로 확인한다.

참고 자료

• NIST Measures of Scale
• NIST Maximum Likelihood
• scikit-learn Preprocessing