Bias
뉴런의 활성화에는 외부 자극 뿐만 아니라 편견 (bias) 도 관여한다. 사람들이 어떤 결정을 할 때에는 주어진 정보와 그 정보에 대한 편견에 좌우되어 판단을 하는 경향이 있다. 예를들면, 거짓말을 자주하여 신뢰감이 떨어진 사람이 설혹 진실을 얘기하더라도 이미 그 사람이 거짓말쟁이라는 편견이 있기 때문에 우리는 그 사람의 말을 선뜻 믿지 않을 것이다. 그러나 신뢰성이 있는 사람이 같은 얘기를 한다면 우리는 그말을 믿게된다. 이처럼 신경망에서는 동일한 자극에 대해서도 편견 즉, 이미 형성되어 있는 시냅스의 연결 강도에 따라 다른 결과를 초래할 수 있다 (뉴로 컴퓨터 : 오창석, 내하출판사, 1996. Page 46).
Wikipedia : Bias : Bias 는 여러 가지 다른 의미를 가지고 있다. 대부분은 일종의 offset (파생. 차감계산. 벌충) 과 관련되어 있다. 편견 (prejudice), 통계, 과학, 전기등에서 다른 의미로 사용된다 .....
Wikipedia : Inductive Bias : 대강 (informally) 말하자면, machine learning algorithm 의 inductive bias 는 학습자가 지금까지는 만나보지 않았던 상황에서 정확한 예측을 하기 위해 사용하는 추가적인 가정 (additional assumptions) 을 의미한다. Machine learning에서는 어떤 목표 출력 (target output) 을 예측하기 위해 학습할 수 있는 알고리즘 구축을 목표로 한다. 이를 위해 학습자에게는 입력과 출력값의 관계를 보여주는 제한된 수의 훈련예가 주어진다. 성공적인 학습 이후에, 학습자는 훈련동안에는 보이지 않던 예들 까지도 정확한 출력에 가까워지도록 추측한다. 그런 경우에 어떤 추가적인 가정이 없이는 (보이지 않는 상황이 가상의 출력값을 가지기 때문에) 해결될 수 없다. Target function 의 성질에 대해 필요한 가정과 같은 것이 inductive bias 라는 말에 포함된다. Inductive bias 의 고전적인 예가 Occam's Razor 이다. 그것은 target function 에 대해 가장 단순한 무모순 (consistent) 의 가설이 실제로 가장 좋은 것이라고 가정한다. 여기서 무모순이란 것은 학습자의 가설이 알고리즘에 주어진 모든 예에 대해 정확한 출력을 낳는다는 것을 의미한다.
Wikipedia : Bias (Statistics) : 통계학에서 bias 는 적어도 두 개의 다른 의미를 가지는데, 하나는 매우 나쁜 (very bad) 것으로 고려되는 어떤 것을 언급하는 것이고, 다른 하나는 때때로 바람직한 (desirable) 어떤 것을 의미한다. 두가지 모두 어떤 추론을 위한 estimator 가 측정되는 것의 평균에 비해 over or under estimate 되는 것을 의미한다. .......