시각 상

(The visual image)

 

컴퓨터와 마음 : Philip N. Johnson-Laird 지음, 이정모. 조혜자 옮김, 민음사, 1991, Page 69~95 (원서 : The Computer and the Mind: An Introduction to Cognitive Science, Harvard Univ. Press, 1988)

 

시각에서 계산의 문제

시각과정의 제약조건

시각의 첫 단계 : 회색 수준 배열

시각의 두 번째 단계 : 강도변화 위치의 파악

시각적 여과

수학에 대한 주 (주)

시각의 신경생리

시각의 세 번째 단계 : 일차 스케치

초기 시각과정의 부담

 

시각 (Vision)

······시지각에서 핵심이 되는 것은 영상의 구조로부터 실제 바깥세상의 구조에 대해 추론하는 것이다. 시각 이론은 어떻게 이런 추론이 행해지는가에 대한 이론이며, 그 이론의 주관심은 이러한 추론을 가능하게 만드는 물리적인 제약과 가정들에 있다. ..... 마 (David Marr)

 

우리가 갖는 시각에 대한 세 가지 고정적인 생각 (믿음) 을 고려해 보자. 첫째는 종종 표현되는 것처럼 시각은 아주 쉬운 것이라는 것이다. 눈은 텔레비전의 카메라와 같아서 눈을 특정 장면에 맞추면, 그 장면은 등록되고, 여러분의 머리 속에 그것의 사진이 투사된다는 것이다.

<상식심리학 (folk psychology)> 에서 나온 이야기의 문제점은 간단하다 : 즉 그 사진은 누가 바라보며, 어떻게 보는가 이다. 분명히 지각의 마지막 결과가 하나의 사진일 수는 없다. 왜냐하면 미술관 벽에 걸린 하나의 그림이 누군가에 의해 지각이 되어야 비로소 의미를 지니는 것처럼, 그 지각의 사진도 누군가에 의해 다시 지각되어야만 하기 때문이다. 이러한 믿음은 설명의 문제를 한 단계 뒤로 밀쳐놓았을 뿐이다. 계산주의적 입장에서 보자면, 시각을 이런 방식으로 간주하는 것은 올바른 결과를 가져올 수 없기 때문에 쓸모가 없다.

두 번째 믿음은 시각이 불가능하다는 것이다. 눈은 텔레비전의 카메라와 같다. 여러분은 눈을 특정장면에 초점을 맞추고, 그 장면을 등록한다. 그러나 사물들의 배열이 달라도 똑같은 영상이 만들어질 수가 있다. 따라서 뇌는 여러분이 어떤 특정 배열을 보고 있는지를 알아낼 수가 없다.

더욱 복잡한 이런 논의를 하나의 예를 들어 살펴보자. 눈이 바로 세워져 보이는 가느다란 막대 하나를 본다고 가정하자. 사실상 그 막대는 관찰자를 향해서, 아니면 그 반대편으로 기울어져 있을 수 있지만 망막에는 동일한 영상이 투사될 수 있다. 그림 4.1 은 세가지 가능성들을 보여준다 : 각각의 막대들은 모두 위에서 아래까지가 시각적으로 같은 각도에서 투사되므로 동일한 영상을 만든다. 이 그림에서는 단지 세 가능성만을 보여주지만, 길이나 두께, 위치가 결합하여 적절한 시각적 각도를 만들어 주면, 눈은 무한한 수의 서로 다른 막대들에 대해 동일한 영상을 형성할 것이다.

그림 4.1 : 망막에 동일한 영상을 투사하는 세 개의 서로 다른 막대.

이러한 회의적인 논의에 대한 자연적인 반응은 다음과 같을 것이다 : 나는 두눈을 가지고 있고, 두 눈은 각기 막대의 영상을 약간 다르게 만들며, 나는 막대의 진짜 방향을 알아내기 위해 이러한 불일치를 사용할 수 있다. 비슷하게 내가 걸어 돌아다니거나 머리를 옆으로 움직인다면, 각기 다른 관점에서 그 막대를 볼 것이고, 그래서 결과된 영상은 단 하나의 특정 방향과만 일치할 것이다. 이에 대하여 회의주의자는 답변할 것이다 : 아주 좋다. 그러나 그렇다면 한눈을 감거나 움직이지 않고 서 있을 때 지각은 불가능하다. 그러나 어떻게 뇌가 입체시를 행하는지, 즉 어떻게 뇌가 두 개의 망막상의 약간의 불일치로부터 깊이를 지각하는지, 그리고 각기 다른 관점에서 나온 영상들을 어떻게 합치는지에 대한 설명을 나에게 해주어야 한다라고 답변할 것이다.

세 번째의, 그리고 가장 도움이 되는 견해는 뇌에서는 시각이 쉽게 행해지지만 우리가 이해하기는 어렵다는 것이다. 여러분은 보통 자동적으로, 그리고 전혀 노력을 기울지니 않고 사물들을 본다. 이러한 용이성은 세계와 직접 접촉하는 주관적인 경험을 일으키는데, 이는 막대한 진화상의 이점을 갖는다. 만약 여러분이 호랑이를 본다면, 여러분은 피한다. 여러분은 시각과정이 적절하게 작용하고 있는지를 점검하려고 멈추어 서지는 않을 것이다. 그러나 종들에게 이점이 되는 것이 인지과학에서는 문제를 야기시킨다. 어떻게 시각이 작용하는지를 발견하는 것은 어렵다.

그러한 문제를 해결하기 위해서는 계산이론에서의 교훈을 염두에 두어야 한다. 즉 우리는 적어도 세가지의 각기 다른 설명수준을 필요로 한다. 우리는 무엇이 (what) 계산되는지에 대한 이론이 필요하다 - 즉 처리할 입력정보는 무엇이며, 그것에서부터 무엇이 획득되어야 하며, 어떤 제약조건이 그 처리과정을 주도할 것인지 이다. 우리는 어떻게 (how) 그 체계가 계산을 수행해 가는지에 대한 이론, 즉 그 체계가 사용하는 절차에 대한 계산이론이 필요하다. 또한 우리는 기저의 신경생리 (절차가 구현되는 신경세포들의 <하드웨어>) 에 대한 이론이 필요하다. 이런 수준들 중 어느 하나에만 제한된 연구들은 정확한 설명을 산출하지 못하는 것 같다. 이런 세 수준들을 모두 다루는 시각이론은 작고한 데이비드 마 (David Marr) 와 그 동료들, 특히 니쉬하라 (Keith Nishihara), 포지오 (Tomaso Poggio), 울만 (Shimon Ullman) 에 의해 이루어져 왔다. 나는 그들의 설명을 따르려고 한다. 왜냐하면 그들은 그 이론을 컴퓨터 프로그램으로 모형화했고, 이는 로봇의 시각에 유용하게 쓰일 것이기 때문이다.

시각에서 계산의 문제

앞 장에서 자신의 우주를 배회하도록 하게 한 운 나쁜 로봇은 시작점으로 가는 길을 <추측항법> 에 의해서만 발견한다. 시각은 로봇으로 하여금 어디로 가야 할지를 보도록 할 수 있겠지만, 그러려면 눈이 필요하다. 눈의 기능은 두 가지이다. 눈은 광자 (quanta of light) 의 에너지를 내적인 상징부호로 전환하는 감광소 (light - sensitive elements) 들의 배열인 망막을 가져야만 한다. 빛은 표면들에 의해 모든 방향으로 반사된다. 따라서 눈은 한 장면의 각 지점에서 오는 빛을 망막의 모든 곳이 아니라 단일한 한 지점에 떨어지도록 해야만 한다. 작은 핀 구멍이나 렌즈는 이런 식으로 빛에 초점을 맞춘다. 그러나 그것은 이론일 뿐, 헬름홀츠가 지적했듯이 인간의 눈은 완벽한 기구가 아니다.

조도 (illumination) 와 장면 내 표면의 광배열과 표면에서 반사되는 광량은 특수한 형태로 빛이 망막에 떨어지게 한다. 망막 내의 세포들은 이러한 에너지를 신경충동으로 전환한다. 이러한 신경충동은 빛과 렌즈의 물리작용과 시신경 세포의 생화학적 작용에 의존한다. 따라서 인지가 전적으로 심적 상징들을 변형하는 계산의 문제만은 아니다. 상징들은 세상과의 물리적인 상호작용에 의해 만들어질 수 있다. 이러한 상호작용은 신비롭다고 할 수는 없다. 로봇이 사용할 전자 카메라는 인간의 눈보다 훨씬 조야한 방식이기는 하지만 광 에너지를 전기 충격으로 전환시키는 센서 (감광기) 에 의존한다. 우리는 이러한 것을 상세히 다루지는 않겠지만, 그 후 무엇이 잇따라 일어나는지를 다룰 것이다.

로봇에게 궁극적으로 계산되어야 하는 것은 자신의 행동을 주도할 수 있는 삼차원 세계에 대한 상징적인 표상이다. 로봇이 눈을 한 장면으로 움직이면, 로봇과 장면 내의 사물들과의 위치관계, 그리고 사물간의 공간적 관계를 분명히 하는 표상을 형성하게 할 것이다 (만일 정보가 더 이상의 계산 없이도 쓸 수 있다면, 하나의 상징은 처리과정이 그 정보를 처리할 수 있도록 분명히 해준다는 제2장의 내용을 독자는 기억할 것이다). 표상은 또한 모양과 색채, 결, 조도를 분명하게 할 수도 있다. 만약 로봇이 세상을 돌아다닌다면, (장면이 움직이는 것이 아니라) 로봇이 움직이고 있음을 나타내는 표상은 운동적인 것일 것이다. 로봇은 사물들에 부딪치거나 구멍에 빠지지 않고 사물들을 돌아서 여행하도록 그 표상을 사용할 수 있을 것이다. 만약 장면 내의 사물들이 움직인다면, 로봇은 그 사물들이 앞으로 어디에 위치할 것인지를 예측하는데 그 표상을 사용할 수 있을 것이다. 만약 두 사물이 충돌한다면, 표상은 역동적이 될 것이다. 로봇은 한 물체가 다른 물체를 움직이도록 야기 (cause) 한다는 것을 알 것이다. 만약 사물들이 로봇에게 친숙한 것이라면, 로봇은 그것들이 무엇인지를 알아차릴 것이고, 로봇은 이전에 본 적이 없는 사물들, 즉 낯선 종류의 나무나 이상한 모양의 책장 같은 것까지 파악할 수조차 있을 것이다. 요약컨대 인간의 시각처럼 로봇의 시각도 그 망막에 떨어지는 광 패턴에서 세상에 대한 모델을 구성할 것이다.

시각과정의 제약조건

경험론자들은 마음을 백지상태로 생각하고, 시각을 가능케 만드는 정보는 외부의 실제세계 내에 존재하는 것으로 생각한다. 합리주의자들은 마음이 지식 (정보) 을 지니고 있고 그것을 세상에 부과 (투사) 한다고 생각한다. 두 경우는 모두 옳은 듯이 보인다. 눈에 부딪치는 광 패턴 내에 정보가 있지만, 그러나 시각과정 역시 물리적 세계의 본질에 대한 가정들에 의존하기 때문이다. 시각은 오히려 다음의 등식에서 x값을 찾아내는 문제와 같다 :

     5 = x + y

이 등식은 잘 구성된 식이 아니다. 5 중 얼마만큼이 x에서 온 것이고, 얼마만큼이 y 에서 온 것인지를 결정할 방식이 없기 때문이다. 사전 지식으로부터 여러분이 y 는 1 이하의 값을 가질 것 같다고 가정할 수 있다면, x 는 4 보다 큰 값을 가질 것이라고 추측할 수 있다. 시각에 있어서, 세상에 대한 가정들은 불완전하게 구성된 문제를 해결할 수 있도록 만든다.

깁슨 (J. J. Gibson) 은 표면에서 반사된 빛과 망막에 모아진 빛은 많은 양의 정보를 담고 있다고 강조하였다. 이 명제는 두 개의 영상들에 대한 투사적 기하 분석에서 보여져 왔다. 그런 증명들 가운데서, 롱겟 히긴스 (Christopher Longuet - Higgins)는 한 물체의 표면 위에 다섯 개의 점들이 있을 때 한 각도에서 찍힌 사진과 다른 각도에서 찍힌 사진이 대응될 수 있다면, 그 장면에 대한 완전한 삼차원적 기하형태가 파악될 수 있다는 것을 보여주었다. 즉 두 개의 카메라에 대한 표면의 방향과, 카메라들의 서로에 대한 상대적인 위치가 만들어질 수 있다. 혼 (Berthold Horn) 과 그 동료들은 모양에 대한 유사한 증명을 구성하였다. 즉 어떤 사물의 표면이 부드럽고 광택이 없어서 빛을 균일하고 확산적으로 반사하며, 그 영상의 어떤 점들의 방향이 알려져 있다면, 그 영상의 강도값들로부터 그 사물의 모양이 복원될 수 있다는 것이다.

망막에 떨어지는 빛이 지니는 정보의 양과는 상관없이, 한 장면 내의 사물들과 정체와, 시각이 의식에 분명하게 해주는 사물들의 성질들을 파악하는 심적 기제들이 있어야만 한다. 그러한 기제 없이는 망막 상들은 텔레비전 카메라에서 만들어진 영상 이상의 유용성을 갖지 못할 것이며, 소박한 견해와는 반대로, 아무것도 볼 수 없을 것이다. 만약 로봇이 위험한 지역을 여행해야 한다면, 장애물과 함정을 알아보고 그것들의 위치를 알기 위해 카메라에 의해 만들어지는 영상들을 처리해야 한다. 이러한 과정들은 세상에 대한 가정들에 의존해야만 한다.

세상에 대한 가정은 두 가지 방식으로 획득될 수 있다. 그것들은 수백만 년의 진화의 결과로 신경체계 내에 내장될 수 있고, 아니면 한 사람의 일생을 통해 학습될 수 있다. 두 종류의 가정은 모두 지각에서 일부분을 담당하지만 각기 다른 방식으로서 이다. 이 장에서 나는 시각상을 구성하게 되는 초기 시작단계들을 집중적으로 다룰 것이다. 다음 장에서는 깊이 지각을 다룰 것이다. 이들은 둘 다 생득적인 일반 제약조건들에 의존한다. 제 6 장에서 나는 일생을 통해 획득되는 지식을 다루며, 그것이 어떻게 지각에 영향을 미치는지를 볼 것이다.

시각의 첫 단계 : 회색 수준 배열

시각의 첫 단계는 망막 위에 모아진 빛과 망막세포들 내의 시각 색소와의 물리적인 상호작용으로 이루어진다. 인간의 망막은 1억 개가 넘는 감광세포들로 구성되어 있다. 그것들 중 중심부 가까이에 있는 적은 수의 세포들 (약 600 만 개) 은 세 개의 파장 중 한 파장의 빛에 최대로 반응하도록 분화되어 있다. 이런 세 종류의 세포들, 소위 <원추제> 는 빨강과 초록, 파랑에 아주 민감하다. 지각되는 모든 범위의 색채들은 이러한 식의 입력에 전적으로 의존하여 지각된다. 망막의 나머지 세포들, 소위 <간상체> 는 덜 분화되어 있어 넓은 범위의 빛의 파장에 반응한다.

그림 4.2 : 회색 수준 상 : 장면 (576 × 454 픽셀) 의 강도값을 점별로 표상.
(From T. Poggio, Vision by man and machine. Scientific American, April 1984, p.70)

그림 4.3 : 그림 4.2의 왼편 작은 사각형 내의 부분들에 대한 강도값.
(From T. Poggio, Vision by man and machine. Scientific American, April 1984, p.70)

망막세포의 반응과 전자 카메라의 반응은 사실상 감광 표면의 각 지점에서의 강도값의 이차원적 배열로 이루어진다. 이들 값은 숫자로 표시될 수 있다 (숫자가 클수록 빛의 강도는 더 강하다). 만약 우리가 색채를 무시한다면, 이런 숫자들은 회색빛의 강약으로 다시 전환될 수 있고 따라서 <회색 수준 영상 (grey - level image)> 으로 알려진 그림으로 전환될 수 있다. 그림 4.2 는 전자 카메라로 찍은 회색 수준 영상이고, 그림 4.3 은 이들 회색 수준 배열의 작은 부분에서 각 강도들에 대응하는 숫자를 제시한 것이다. 인간의 망막은 훨씬 더 많은 요소들 (아니면, <그림 요소들> 을 의미하는 <픽셀 (pixels, 화소)>) 로 이루어진 배열을 산출한다.

회색 수준 영상은 장면 내에 있는 것을 표상한 것과는 거리가 멀다. 회색 수준 영상이 뚜렷이 해주는 것은 배열의 각 지점에서의 빛을 임의의 척도상에서 상대적 강도로 나타내 주는 것이다. 더욱 유용한 정보는 다음 처리 단계에서 얻어진다.

시각의 두 번째 단계 : 강도변화 위치의 파악

여러분이 눈을 반쯤 감고 앞에 있는 장면을 얼핏 본다면, 장면이 빛의 강도가 서로 다른 부분들로 구성되어 있음을 볼 것이다. 빛의 방향과 그것이 눈에 반사되는 양에 따라 밝은 부분들과 어두운 부분들이 있다. 강도는 사물의 가장자리에서 변화하는 경향이 있으며, 선화의 효과가 보여주듯이 그러한 가장자리들은 지각에서 중요한 단서가 된다. 따라서 시각체계는 각기 다른 강도의 부위들간의 경계가 어디에서 일어나는지를 결정하기 위해 회색 수준 배열을 분석해야 한다. 그러나 많은 경계는 가장자리에서보다는 조도와 반사광도에서의 변화 때문에 일어나며, 어떤 가장자리들은 분명한 강도의 경계를 만들지 못한다. 따라서 시각 체계는 어떤 경계가 사물들의 가장자리에 해당하는지를 결정해야만 한다.

그림 4.3에서와 같은 회색 수준 배열 내의 정보는 어느 정도의 <잡음 (noise)>, 즉 빛 자체에서와 눈에서 일어나는 무선적인 변이를 포함한다. 잡음을 제거하기 위한 간단한 기법은 배열 내의 각각의 값을 그것의 지역 평균, 즉 그것과 그것에 이웃한 것들의 값의 평균으로 대치하는 것이다. 이 생각은 회색 수준 배열에서 나온 (의도적으로 단순화시킨 값을 가진) 일차원적인 작은 한 부분을 예로 들어볼 수 있다 :

이 부분은 다음의 강도 그래프와 대응한다 :

 

초보적 지역평균기법은 각 값을 그것과 그것 양 옆에 값 하나씩을 더하여 평균값을 설정하는 것이다. 따라서 위 배열의 중심부 가까이에 있는 3 의 강도값은 그 옆에 있는 것들의 강도값과의 평균, 즉 1 / 3 (4 + 3 + 6) 으로 설정하고, 이 평균값은 정수로 올리면 4 가 된다. 왼쪽 끝의 강도값 4 는 4 + 5 의 평균으로 설정되고, 이는 정수로 내려 4가 된다. 이러한 절차는 배역의 한쪽 끝에서 시작하여 왼쪽에서 오른쪽으로 수학 조작에 따라 각각의 값을 조절하여 지역평균을 산출하는 비중두기 (weighting) 의 한 형태이다. 하나의 배열에 수학적 조작을 적용하는 것은 <회선 (convolution)> 으로 알려져 있따. 위의 배열을 평균내기 조작으로 회선하여 정수화한 것은 다음과 같다 :

이에 대응하는 그래프는 다음과 같다 :

지역적인 불규칙성을 다듬으면 (평활화, smoothing) 두 개의 다른 강도 수준 사이에, 즉 4 의 수준에 있는 영역과 8 의 수준에 있는 영역 사이에 경계가 있을 수도 있음을 드러내 주기 시작한다.

보다 합리적인 평균내기는 더 넓은 범위의 인접부의를 고려하지만 멀리 떨어져 있을수록 평균에 기여하는 정도가 더 작도록 값을 매긴다. 가능한 조작들은 많이 있지만 유용한 것은 흔히 측정에서 나타나는 정상분포 (normal distribution) 에 기초한 것이다. 그림 4.4 는 종 모양의 곡선을 보여준다.

그림 4.4 : 정상분포의 종 모양 곡선.

회색수준 배열에서의 값들이 지역 평균화로 다듬어졌다면, 강도의 경계는 어떻게 탐지되는가? 밝은 부분과 어두운 부분 간의 경계는 어떤 크기 값들에서 다른 크기의 값들로 비교적 갑자기 이동하는 것과 대응한다. 배열에서 이러한 특성을 지닌 부분들은 앞의 그래프에서 나온 것과 같은 값들을 가질 것이다. 여러분이 그 그래프의 막대에 의해 지탱되는 표면을 따라 걸어야 한다면 양 끝의 부위들은 평평할 것이지만 그들 사이에는 가파른 경사가 있을 것이다.

어떤 두 근접한 값들 간의 기울기의 경사정도를 측정하는 간단한 방법은 외쪽에 있는 것에는 -1 을 오른쪽에 있는 것에는 +1 을 곱해 주는 것이고 그 결과들을 더하는 것이다. 그래프의 중심부 가까이 두 개의 근접 강도 값들은 4 와 6 이고, 따라서 그것들 간의 기울기는 : (4 × -1) + (6 × +1) = 2 이다. 우리는 위의 배열을 따라 이런 조작을 계속 적용하여 작업할 수 있다 :

 

결과된 기울기 값은 다음과 같다 :

그리고 그것들을 다음과 같이 그래프에 그릴 수 있다 :

 

각기 다른 강도의 두 영역들간의 경계는 여기에서 강도의 기울기 값들 내의 지역 정점과 대응한다. 경계는 또한 강도 기울기의 변화에서도 보여진다. 위 그림의 표면의 왼쪽 끝에서는 기울기가 일정하고, 그리고서 그 값은 점점 올라갔다가 (0 에서 2 로), 중앙에서 다시 일정하게 유지되다가 (2 에서 2 로) 내려간다 (2 에서 0 으로). 마침내 그 기울기는 배열의 오른편 끝에서 다시 일정하다. 앞서 사용한 우리의 계산 조작은 기울기에서의 이런 변화를 측정하고, 다음과 같은 값을 산출한다 :

이를 그래프로 그릴 수 있다 :

 

영의 값이고, 그래프 곡선이 양수값의 정점에서 음수값의 골까지 가로지르는 중간점을 <영점교차 (zero - crossing)> 라고 부른다. 그것과 그 인접정점과 골은 각기 다른 강도를 가진 두 부위들 간에 경계가 존재한다는 것에 대한 훌륭한 증거를 제공한다.

지역 평균화 조작과 기울기에서의 변화 탐지는 단일한 일차원적인 부분에서가 아니라 이차원에서 수행되어야만 한다. 그런데 두 조작은 하나로 통합될 수 있다. 이러한 통합된 조작은 멕시코 모자처럼 보인다 ; 그림 4.5 는 그 가운데를 통과하는 교차지점을 보여준다.

회색 수준 배열의 각각의 값은 멕시코 모자 형태에 따라 비중값이 주어진 그 이웃한 것들과 함께 평균 내어진다. 그림이 보여주는 것처럼 비중값 매기기는 가까운 이웃에 대해서는 양수로, 더 먼 이웃에 대해서는 음수로 취해질 것이며, 아주 멀리서 고려한 필요가 없는 점들에 대해서는 0으로 줄어든다. 회색 수준 배열의 모든 숫자들은 멕시코 모자를 통해 여과되고, 그 결과로 양수값과 음수값을 포함하는 배열이 나온다. 이들 영역들간의 경계는 영점 교차의 도형을 만든다. 그림 4.6 은 회색 수준 영상과 그것에서 얻어진 영점 교차 도형이다.

그림 4.5 : 지역평균화와 강도 기울기의 변화의 탐지를 조합한 <멕시코 모자> 여과기의 단면도.

시각적 여과

회색 수준 배열을 여과하는 데는 얼마만한 크기의 멕시코 모자가 사용되어야 하는가? 모든 크기의 멕시코 모자 (여과기) 를 사용하면 분리된 강도 변화를 민감하게, 그리고 분명하게 탐지할 것이다. 배열의 많은 요소들에 걸쳐지는 큰 크기의 모자는 아마도 조명의 결과로, 큰 영역에 걸친 강도의 점진적인 변화를 드러낼 것이다. 몇몇의 요소들에만 미치는 작은 모자는 세밀한 강도에서의 많은 작은 변화들을 드러낼 것이다. 인간은 다양한 넓은 범위의 변화에 민감하기 때문에, 우리는 로봇과 인간과 비슷하게 민감하며, 여러 다른 크기의 여과기들 (멕시코 모자) 을 사용하여 회색 수준 배열을 처리하도록 고안할 것이다. 그림 4.7 은 하나의 사진 (회색 수준 영상) 과 그것에서 얻어진 두 개의 영점 교차 도형을 보여준다. 그중 하나는 작은 여과기를 사용한 것이고 다른 하나는 작은 것의 두 배가 되는 여과기를 사용한 것이다.

 

 

수학에 대한 주

미분학에 친숙한 독자들은 가다듬은 회색 수준 배열의 강도 기울기 계산이 일차공간 도함수를 취하는 것과 일치하며, 그 기울기의 변화를 계산하는 것은 이차공간 도함수를 취하는 것과 일치한다는 것을 깨달을 것이다. 이러한 이차 도함수는 이차원에서 균등하게 수행될 수 있다. 예를들어 하나의 픽셀에서 확장되는 모든 통로에다 소위 라플라스의 연산자 (Laplacian operator) 에 의해 동일한 값을 주는 것이다. 이차원적인 가우스 정상분포는 중심값에서 멀어질수록 중요성을 감소시켜 가며, 자료들을 가다듬는다. 멕시코 모자는 두 기능들을 통합한다. 그것은 가우스 정상분포의 라플라스 연산으로서, 강도배열에 따라 회선 (convolute) 되는 것이다.

시각의 신경생리

마 (Marr) 가 지적했던 것처럼, 시각을 단지 신경세포만을 연구함으로써 이해하려고 하는 것은 새가 나는 것을 깃털만 연구해서 이해하려는 것과 같다. 마의 설명의 놀라운 특징들 중 하나는 그 설명이 시각체계가 무엇을 행하는지, 어떻게 그것을 행하는지 그리고 어떤 세포들이 계산을 수행해 내는지를 설명하는 데에 모두 맞는다는 것이다.

인간의 망막 (그림 4.8 참조) 에는 대략 둥그스름한 장에 퍼져 있는 망막 수용기들 집합에서 정보를 수집하는 세포들이 있다. 이러한 <신경절 (ganglion)> 세포들 중 어떤 것들은 시각 장 중앙의 수용기에 떨어지는 빛에 의해서는 흥분되고, 시각 장의 주변에 떨어지는 빛에 의해서는 억제된다. 다른 신경절 세포들은 이와 정반대의 특징을 갖는다. 즉 중앙의 빛에 의해 억제되고, 주변의 빛에 의해서는 흥분된다. 이러한 두 종류의 세포들이 바로 멕시코 모자의 계산을 수행하는데 필요한 세포들이다. 첫 번째 종류의 세포는 모자의 중앙에서 양수의 값을 계산하고, 두 번째 종류의 세포는 주변의 음수의 값을 계산한다. 모든 신경세포는 이따금 자발적으로 신경충동을 일으킨다. 하나의 세포는 보통 그 자발적으로 신경충동을 일으킨다. 하나의 세포는 보통 그 자발적인 점화율에서 달라짐으로써 의미있는 정보를 수록하고, 양수의 값과 음수의 값 모두를 직접 보고 할 수는 없는 것이다. 그 값들은 별개의 세포들에 의해 신호가 보내지는 것이다. 따라서 영점 교차란 두 종류의 신경전 세포의 활동이 거의 동등한 지점에 해당한다.

신경생리학자로서, 노벨상 수상자들인 휴벨 (David Hubel) 과 비젤 (Torsten Wiesel) 은 시각 장의 특정 방향에서 나타난 밝은 선들이나 막대들에 흥분되는 세포들이 뇌의 뒤편에 위치한 시각 피질에 있음을 발견했다. 이러한 세포들에 대한 이전의 해석은 그것들이 사물의 가장자리와 경계, 또 다른 특징들을 탐지한다는 것이었다. 보다 그럴 듯한 해석은 마의 이론에서 시사된다 : 그것들은 영점 교차를 탐지한다는 것이다. 그것들은 이웃하는 망막의 신경절에 의해 흥분되고, 이웃한 망막 신경절은 그것들의 수용장에 취해진 강도 기울기의 변화에 의해 흥분된다.

시각의 세 번째 단계 : 일차 스케치

회색 수준 배열은 각기 다른 크기의 멕시코 모자들 집합을 통해 여과된다. 그 결과는 진화과정이 두뇌 진화과정이 두뇌 속에 새겨진 것 같다는 사실을 고려함으로써 해석될 수 있다. 즉 하나의 사물은 동시에 두 장소에 있을 수 없는 것이다. 그것이 사물의 가장자리이든, 표면의 반사도 변화든 아니면 조명의 변화든 간에 그러하다. 만약에 이러한 현상들 가운데 하나가 어떤 여과된 영상 내에서 영점 교차를 만든다면, 다른 크기의 여과기에서 만들어진 영상들 내에서도 너무 멀리 떨어지지 않는 곳에 대응되는 영점 교차가 있을 것이다. 그러나 가느다란 막대나 다른 상세한 부분들은 큰 여과기들에 의해서는 희미하게 되지만, 작은 여과기에서는 두 개의 영점 교차를 만들 수가 있다. 비슷하게 두 개의 각기 다른 현상들은 같은 장소에서 그러나 각기 다른 크기의 강도변화를 만들 수가 잇다. 따라서 여과된 영상들을 비교하는 것은 아주 유익하다. 일반적으로 그것들이 일치하는 경우 영점 교차란 동일한 물리적 현상의 결과인 것이다.

시각 체계가 여과된 영상을 비교하여 무엇을 추출해 내는지는 논쟁거리이다. 앞에서 설명했듯이 마에게 있어 영점 교차의 상응은 중요한 자료이다. 그러나 곡선이나 모퉁이에서는 각기 다른 크기의 여과기에서 나온 영점 교차들이 배열의 동일한 위치에 놓이지 않는다 (그림 4.7 참조). 더욱이 다음 장에서 보겠지만, 인간의 시각은 영점 교차에 근접한 정점들과 골에 민감한 것 같다. 와트 (Roger Watt) 와 모건 (Michael Morgan) 은 어떤 영점 교차들은 그럴 듯한 잡음에서 비롯된 가짜 결과이므로, 정점과 골에 의존하는 것이 더 낫다고 논의하였다. 그들이 고안했던 프로그램은 여러 다른 크기의 여과기로부터 평균을 구해, 여과과정에서 양수값과 음수값들을 분리시켜 유지하는 것이었다. 정점의 중심 (과 크기) 은 양수의 평균으로 하고 음수의 평균은 골의 중심 (과 크기) 으로 하였다. 따라서 그것들은 막대나 가장자리, 동일 강도를 가진 부위들에 대한 상징적인 표상을 구성하는데 사용되었다.

막대와 가장자리, 얼룩들은 시각 상의 구성되기 위한 기본적인 요소들이다. 그것들은 동판 그림을 조각하는 미술가들이 쓰는 원초적인 종류의 것이다. 각각은 특정 위치와 방향, 길이, 넓이를 가지며, 그 주변 부위들과는 강도에서의 대조를 보인다. 마는 적절한 숫자값을 지니는 상징적인 기술을 사용하여 이 정보를 분명히 하고 있다 :

이것들은 회색 수준 배열을 여과한 결과를 요약하는 도표 내의 위치들에 속한 것이다. 위의 특정 기술은 그림 4.7 (b) 의 상단에 왼편 모퉁이에 있는 철망 아래 있는 얼룩에 적용된다.

그러한 정보는 시각 상의 지엽적인 세부 특징들을 다루며. 마가 , 일차 스케치 (primal sketch)> 라고 부르는 것에 대한 원 자료를 제공한다. 일차 스케치란 시각 상의 완전한 조직화 체계를 명료하게 해주는 것으로서, 여러분이 눈을 가늘 게 뜨고 초점을 흐리게 하여 세상을 바라볼 때 지각하는 것과 같은 것이다. 일차 스케치는 비슷한 요소들을 묶어, 선들과 더 큰 얼룩, 그리고 구조화된 덩어리들을 형성함으로써 구성되며, 이 구성 과정은 점점 더 큰 크기로 반복하여 진행된다.그런데 이런 원리들은 어떤 프로그램으로 구현되어야 한다. 이러한 원리들은 의식적인 노력 없이 자동적으로 시각 상의 조직하기 때문에 그것들을 분리시켜 내기는 어렵다. 그림 4.9 를 보면, 가능한 대안적인 묶음들이 서로 튀어 나타나려 한다. 가능한 하나의 조직화가 이루어지자마자 곧 경쟁적인 후보가 뒤따라 나타난다. 특히 여러분이 눈을 이곳저곳 돌려 본다면 그러할 것이다. 일차 스케치 장면 내의 사물들의 물리적 표면에 위치하는 비연속성을 찾는데 중요한 것이 무엇인지를 드러내 주게 된다. 다시 말해 기저의 원리들은 잘 이해되지는 않았지만, 그 기저 원리는 세상에 대한 내장된 가정들에 의존하는 것 같다.

그림 4.10 : 하몬이 고안한 체크무늬 그림. 약간의 거리를 두고 반쯤 감은 눈으로 보아야 한다.
(From L. D. Harmon, The recognition of face. Scientific American, November 1973, P. 75)

여러분이 사물들을 반쯤 감은 눈으로 바라본다면 정보손실이 있을 것이다. 그러나 역설적으로 이러한 방법은 여러분으로 하여금 달리해서는 드러나지 않는 어떤 것을 보도록 도울 수 있다. 하몬 (Leon D. Harmon) 이 고안한 그림 4.10 의 체크무늬 사진은 여러분이 거리를 두고 가늘 게 뜬 눈으로 봄으로써 그 영상을 희미하게 만들 때에만 사람의 모습이 파악된다. 이 절차로 인해 체크무늬의 뚜렷한 가장자리에 대한 정보가 감축되어진다. 이러한 절차가 없다면, 무늬의 가장자리 정보는 강도의 큰 변화를 해석하는 데에 방해가 된다. 여러분은 강도의 큰 변화만 가지고도 에이브러햄 링컨을 알아볼 수 있다.

초기 시각과정의 부담

오늘날의 기술은 약 백만 개의 감광소를 가진 눈을 가진 로봇을 만들 수 있다. 물론 로봇의 감광소들은 보다 밀접하게 채워진 인간의 망막보다는 더 넓은 면적을 차지할 것이다. 자연 (인간의 생물적 특성) 은 삼차원적으로 아주 적은 규모의 신경배선을 하고, 무수한 계산을 병렬적으로 수행한다. 신경체계 내의 각각의 세포는 다른 세포들과 수천의 연결을 맺으며 그 자체의 계산을 수향한다. 그러나 마이크로 칩과 같은 전자 부품들은 근본적으로 요소들을 이차원적으로 배선하는 것으로 제한되어 있다. 더구나 신경세포들 간의 상호연결보다는 훨씬 적은 수의 연결을 지니고 잇다. 대부분의 디지털 컴퓨터는 최신의 고안품일 뿐이다. 따라서 로봇이 일차 스케치를 구성할 수 있는 프로그램을 가지도록 만들 때의 주 문제는 충분히 빨리 작동하도록 하는 것이다. 여러분이 한 시간에 15 마일로 운전하고 있다면, 2 초가 걸리는 계산은 쓸모가 없다. 여러분이 영상에서 큰 검은 얼룩을 깨달을 때에는 이미 여러분은 그 얼룩을 야기시킨 도로의 구멍에 빠지고 있을 것이기 때문이다.

계산의 주 부담은 회색 수준 배열을 여과하는 것이다. 전자 카메라에서 산출되는 1000 × 1000 배열 내의 각 픽셀은 그것과 이웃한 것들의 값들을 고려한 수학적인 조작을 해야만 하며, 이러한 과정은 각기 다른 크기의 여과기 모두에 대해 반복되어야 한다. 특수한 전자장치들이 이러한 조작을 수행하기 위해 만들어져 왔으나 아직도 신경체계의 효율성에는 미치지 못한다.

세상에 대한 시각능력이라고는 단지 일차 스케치일 뿐인 로봇은 집 파리와 비교될 수 있다. 집파리는 공중에서의 놀라운 민첩성에도 불구하고, 세계에 대한 삼차원적인 모형을 형성하는 것 같지는 않다. 튀빙겐의 라이하트 (Werner Reichatdt) 와 그 동료들이 제시한 바에 의하면, 집파리가 날아다니는 양상은 빠르고 자동적인 기제들에 의해 조절된다는 것이다. 이러한 작용기제 중 하나는 파리의 시야가 급격히 고속으로 확대되면 파리를 착륙행위로 들어가게 하는 것이다. 확대되어 다가오는 표면이 어디이든 간에 파리는 발을 그 표면의 중심부를 향해 옮기며, 발이 표면에 닿자마자 날개의 힘은 떨어진다. 또 다른 한 기제는 파리로 하여금 교미 상대를 추적하게끔 한다. 이 체계는 배경 위에서 움직이는 작은 검은 얼룩에 민감하다. 왼쪽과 오른쪽 날개에 제공되는 상대적인 힘은 시각 장에서의 얼룩의 위치와 각진 (angular velocity ; 운동방향과 속도를 고려할 때의 순간적 변화) 에 의해 좌우되고, 따라서 파리는 목표물을 자기의 시각 장 중간에 오도록 유지하고 그것을 향해 날아간다. 그러나 목표물의 실제 크기는 중요하지 않다. 문제가 되는 것은 시각 상에서의 크기이다. 내가 이 장의 서두에서 말한 시각이 불가능하다는 논의는 이와 같이 파리에 적용된다. 파리의 눈 가까이에 있는 교미 상대와 멀리에서 날아가는 새가 같은 크기의 영상을 투사한다면, 파리는 그 둘의 차이를 알 수가 없다. 그러나 파리가 날아갈 길을 제어하는 생득적인 기제는 작고 가까이에 있는 물체를 향하도록 되어 있다. 만약에 파리가 멀리 있는 새를 가로막고자 한다면, 파리는 실패할 것이다. 그러나 유감스럽게도 그 역의 경우도 사실이 아닐 것이다.

파리의 시각체계는 파리의 세상에 적응된 것이다. 파리에게 시각체계는 교미 상대에게 제대로 접근하고, 표면에 내려앉을 때 필요하며, 또다른 확대되어 다가오는 표면이 자기에게 닥쳐올 때 빨리 날아가는데 필요하다. 만약 우리의 로봇이 보다 풍부한 세계에 거주해야 한다면, 로봇은 사람들이 하는 것처럼 삼차원을 지각해야만 할 것이다. 로봇은 시각 상, 즉 일차 스케치에서 분명하게 만들어진 정보를, 시각상을 일으킨 물리적 표면에 대한 정보를 그대로 포착해 내기 위한 전조물 (precursor) 로 다루어야만 할 것이다.

읽을거리

포지오 (Poggio, 1984) 는 마 (Marr) 의 연구를 훌륭히 짧게 소개한다. 프리스비 (Frisby, 1979) 는 시각에 대하여 근사한 착시현상들로 가득 차고 계산적 접근 방법에 비중을 둔 매력적인 책을 썼다. 메이휴 (Mayhew) 와 프리스비 (1984) 는 컴퓨터 시각에 대해 더 기술적인 설명을 제공한다. 와트 (Watt, 1988) 는 인간 시각의 초기단계를 다룬 전문서이다.