Claude Shannon
(미국 전기공학자 수학자, 1916~2001)
..... Claude Elwood Shannon 은 정보이론 (information theory) 의 아버지라 불리우며, 실제적인 디지탈회로 설계이론 (digital circuit design theory) 의 초석을 놓은 사람이다 ...........
미국 전기공학자·수학자. 미시간주 출신. 정보 이론의 창시자이다. 1936년 미시간대학 졸업 후 매사추세츠공과대학 대학원에서 전기공학과 수학을 전공하고 40년 수학박사 학위를 받았 다. 섀넌은 1938년의 석사논문에서 계전기접점 회로망의 해석에 처음으로 불대수(Boolean Algebra)를 응용하였다. 그는 접점의 개폐를 논리변수의 값 0과 1에 대응시키고 회로망의 한 쌍의 단자가 통하고 있는지의 여부를 논리식으로 나타내었다. 이 이론은 계수형 회로의 설계를 그때까지의 경험적인 기법에서 공학으로 발전시켰던 점에서 획기적인 것이었다. 41년에 벨텔레폰연구소에 들어갔으며 제 2 차세계대전중에는 통신의 잡음과 암호해독 등을 연구하였다. 48년 ＜통신의 수학적 이론＞이라는 제목의 논문을 발표하였다. 이 논문은, 정보를 수량적으로 다루는 방법을 고찰하여 ＜정보량＞의 정의를 세우고, 이 개념을 사용하여 통신의 기본문제를 논한 것으로, 통신의 효율화를 비롯하여 정보전달의 여러 가지 문제가 어떻게 이론적으로 취급되는지를 명확히 하였다. 그는 정보전달에서 통신계의 모델을 제시하고, 다음에 ＜정보원을 확률과정으로＞ 파악하여, 그 확률분포에 관하여 통계열역학과 같은 형의 ＜에나트로피함수＞를 도입함으로써 정보량을 정의하였다. 이것은 1928년 R.V.L. 하틀리의 선택의 자유도에 의한 정의의 직접적인 확장이었다. 그리고 잡음이 없는 통신로에서의 부호화정리를 하고, 조건부 엔트로피·상호정보량·통신로 용량 등의 개념을 도입, 잡음이 있는 통신로를 통하여 정보를 전송하는 경우의 ＜섀넌의 제 2 부호화정리＞를 도출하였다. 이 논문에는, 이 정보이론들의 기본개념과 여러 정리가 제시되어 있을 뿐만 아니라, 현재 데이터 압축의 기초이론으로서 발전하고 있는 ＜속도-변형이론＞에 대한 최초의 고찰이 포함되어 있다. 원부호화의 이론(1959), 2방향통신로(1961), 자동장치이론에 관한 연구 등 중요한 업적이 있다. .......
샤논은 정보단위로서 2진법 또는 비트를 택했다.비트는 갤런,온스,인치가 각 부피,무게,길이의 측도인 것처럼 정보량의 측도이다.1비트는 2가지의 똑같은 확률을 가진 메시지 가운데 하나의 선택이다."그것이 이것이냐?"는 질문에 대해 "예" 또는 "아니오"의 답이 가능하다."예"는 메시지를 받은 사람의 마음속에 있는 모든 불확실성을 제거해주는데 왜냐하면 그는 가능한 두 선택지 가운데 어느 하나가 답이라는 것을 알고 있기 때문이다."아니오"라는 답도 모든 불확실성을 제거해주는데 답이 첫 번째 것이 아니라 두 번째 것이라는 것을 알 수 있기 때문이다.
이것은 단지 2개의 부호-"예"는 1,"아니오"는 0-로 되어있기 때문에 아주 융통성 있는 코드이다. 1은 무선 또는 전신 채널을 통해 전기적 임펄스의 형태로 송출하고 0은 임펄스가 송출되하지 않도록 하는 방식으로 전달할 수 있다.또는 "온"(on),"오프"(off)의 스윗치 형태로 표현할 수도 있다.비가 오고 있는지 아닌지 애매하다면 "비가 오고 있는가?"라고 물으면 된다.1또는 0의 송출이 답을 제공해줄 것이다.똑같은 것이 동전을 던져서 앞,뒤 어느것이 나올 것인가의 선택에,룰렛에서 붉은 것 또는 검은 것이 나올 것인가의 선택에,짝수가 나올 것인가 홀수가 나올 것인가의 선택에도 적용가능하다.
term :
제어 (Control) 사이버네틱스 (Cybernetics) 정보이론 (Information Theory) Claude Shannon Norbert Wiener
site :
Claude Shannon : University of St Andrews
Claude E. Shannon: Founder of Information Theory : Graham P. Collins
paper :
video :
컴퓨터과학이 여는 세계 - 샤논의 정보이론 : SNU : 이광근 : 2016/03/07 ... 동영상 82개