일상적·심리학적 선입견에서부터 인공신경망의 활성화 임계치 조절 오프셋(Offset), 가중치(Weight)와의 비교, 그리고 기계학습의 귀납적 편향(Inductive Bias)까지 총정리
뉴런의 활성화에는 외부 자극 뿐만 아니라 편견 (bias) 도 관여한다. 사람들이 어떤 결정을 할 때에는 주어진 정보와 그 정보에 대한 편견에 좌우되어 판단을 하는 경향이 있다.
예를 들면, 거짓말을 자주하여 신뢰감이 떨어진 사람이 설혹 진실을 얘기하더라도 이미 그 사람이 거짓말쟁이라는 편견이 있기 때문에 우리는 그 사람의 말을 선뜻 믿지 않을 것이다. 그러나 신뢰성이 있는 사람이 같은 얘기를 한다면 우리는 그 말을 믿게 된다.
이처럼 신경망에서는 동일한 자극에 대해서도 편견 즉, 이미 형성되어 있는 시냅스의 연결 강도(또는 임계 상태)에 따라 다른 결과를 초래할 수 있다.
Wikipedia : Bias 에 따르면, Bias는 학문 분야와 맥락에 따라 여러 가지 다양한 의미를 갖습니다 :
어떤 사물이나 집단, 사람에 대해 사전에 가지고 있는 선입견이나 치우친 견해입니다. 외부에서 객관적인 정보가 유입되더라도 기존의 편견에 의해 해석이 왜곡(확증 편향, 인지 편향)됩니다.
신호나 회로의 기본 작동점을 0이 아닌 특정 기준 전압/전류 레벨로 이동시키는 일종의 '오프셋(Offset)' 또는 바이어스 전압입니다. 트랜지스터가 선형 증폭 구간에서 동작하도록 기저치를 제공합니다.
추정량(Estimator)의 기댓값과 추정하려는 모수(True Parameter)의 참값 사이의 평균적인 차이(과대 또는 과소 추정되는 경향)를 의미합니다.
인공신경망(Artificial Neural Network)의 기본 처리 단위인 인공 뉴런(퍼셉트론)은 다수의 입력값 $x_i$에 대해 각각의 가중치 $w_i$를 곱한 후, 여기에 반드시 독립적인 상수인 편향(Bias, $b$) 을 더하여 활성화함수 (Activation Function) $f(\cdot)$에 전달합니다.
인공신경망의 학습(Training)이란 손실 함수(Loss Function)를 최소화하기 위해 가중치 $W$와 편향 $b$를 동시에 최적화해 나가는 과정입니다. 두 파라미터는 성격과 역할에서 뚜렷한 대비를 이룹니다 :
| 비교 항목 | 가중치 (Connection Weight, $w$) | 편향 (Bias, $b$) |
|---|---|---|
| 수학적 역할 | 기울기 (Slope) 및 입력 신호의 증폭/감쇠 | 절편 (Intercept) 및 활성화 함수의 평행이동(Offset) |
| 입력 $x$와의 관계 | 입력값 $x_i$에 직접 곱해짐 ($w_i \cdot x_i$) | 입력값과 무관하게 독립적으로 더해짐 ($+ b$) (가상 입력 $x_0 = 1$에 대한 연결 가중치 $w_0$로 해석 가능) |
| 기하학적 효과 | 결정 초평면(Hyperplane)의 기울기 및 방향 회전(Rotation) | 결정 초평면을 원점으로부터 밀거나 당기는 평행이동(Translation) |
| 의미론적 해석 | 특정 입력 특성(Feature)이 결과에 미치는 중요도와 기여도 | 뉴런 자체가 기본적으로 활성화되기를 좋아하는 고유 성향/역치 |
| 경사하강법 갱신 | $\frac{\partial L}{\partial w_i} = \frac{\partial L}{\partial z} \cdot x_i$ (입력의 크기에 비례하여 갱신) | $\frac{\partial L}{\partial b} = \frac{\partial L}{\partial z} \cdot 1$ (입력과 무관하게 일정한 기울기 전달) |
| 비유 (1차 방정식) | $y = ax + b$ 에서 기울기 $a$ | $y = ax + b$ 에서 $y$절편 $b$ |
| 생물학적 비유 | 시냅스의 결합 강도 (Synaptic Plasticity) | 신경 세포체(Soma)의 기저 흥분 역치 (Threshold $\theta$) |
시그모이드 함수 $\sigma(z) = \frac{1}{1 + e^{-z}}$를 사용할 때 :
두 클래스를 분리하는 직선의 방정식입니다 :
단일 뉴런의 파라미터 $b$ 외에도, 기계학습 및 딥러닝 이론 전체에서 귀납적 편향 (Inductive Bias) 은 모델의 일반화 성능을 좌우하는 가장 본질적인 개념입니다.
Wikipedia : Inductive Bias : 대강 (informally) 말하자면, 기계학습 알고리즘의 귀납적 편향(Inductive Bias)은 학습자가 지금까지 만나보지 않았던 미지의 상황(Unseen Data)에서 정확한 예측을 하기 위해 사용하는 추가적인 사전 가정 (additional assumptions) 을 의미한다.
기계학습에서는 목표 출력(Target Output)을 예측하기 위해 학습할 수 있는 알고리즘 구축을 목표로 한다. 이를 위해 학습자에게는 입력과 출력값의 관계를 보여주는 유한한 수의 훈련 예제가 주어진다.
성공적인 학습 이후에 학습자는 훈련 데이터셋에는 존재하지 않는 새로운 입력에 대해서도 올바른 출력값을 추측해야 한다. 그러나 아무런 사전 가정이 없다면, 유한한 데이터 뒤에 숨겨진 무한히 많은 함수 후보 중에서 단 하나를 선택할 수 없다. 즉, 보이지 않는 상황의 출력을 결정하기 위해 대상 함수(Target Function)의 성질에 대해 사전에 부여하는 가정이 바로 Inductive Bias이다.
Inductive bias 의 고전적인 예가 바로 오컴의 면도날 (Occam's Razor) 이다. 그것은 목표 함수에 대해 '훈련 데이터와 일치(Consistent)하는 여러 가설들 중에서 가장 단순한(Simple) 가설이 실제로 가장 좋은 것'이라고 가정한다.
• 공간적 국소성(Spatial Locality): 인접한 픽셀끼리 강한 상관관계가 있다.
• 이동 불변성(Translation Equivariance): 이미지 속 고양이는 위치가 바뀌어도 여전히 고양이다.
• 시간적 순차성(Temporal Ordering): 데이터는 시간 축에 따라 순서대로 발생하며, 마르코프적인 인과적 연속성을 가진다.
• 최소한의 구조적 편향: 고정된 지역성 대신 자기주의(Self-Attention)를 통해 모든 토큰 간의 동적 관계를 자유롭게 모델링 (막대한 데이터셋 필요).
머신러닝과 신경망의 총 예측 오차(Total Expected Error)는 다음과 같이 수학적으로 세 부분으로 분해됩니다 :
모델의 가정이 너무 단순하여 훈련 데이터의 내재된 복잡한 패턴을 제대로 학습하지 못한 상태입니다. 훈련 데이터와 테스트 데이터 모두에서 높은 오차를 보입니다.
모델이 너무 복잡하여 훈련 데이터의 무작위 노이즈까지 지나치게 완벽하게 학습한 상태입니다. 훈련 오차는 거의 0에 가깝지만, 새로운 테스트 데이터에서는 심각한 오차를 유발합니다.