Image Understanding : Dean. Allen. Aloimonos

미래의 지능 로봇과 소프트봇은 인공지능 원리에 의해 설계되어질 것이다. 그러한 시스템들은 세계에 관하여 추론하고 내부 표상 (internal representation) 안에 저장된 지식을 조작함으로써 적절한 행동을 수행한다. 실제로 자율적인 로봇은 직접 세계를 감지해야 한다. 사람이 제어를 하기 위해 중간에 간섭할 수 없다. 생물 시스템은 감각이 발달했다. 이 시스템 중 어떤 것은 기술로 재현될 수 있다. 시각 (Vision), 청각 (Hearing), 촉각 (Tactile Sense), 수중 음파 탐지기 (sonar) 는 인공지능에서 많이 다루는 동물 감각들이다. 지식과 기술이 다양하고 여러 학문 분야와 관계가 있는 '계산적 지각 (computational perception)' 으로 알려진 시각 분야는 정보처리 과정의 원리들을 이해하고, 다양한 감각기구에 의해 제공되는 지각 신호들을 해석하는 것을 목표로 한다.

이 장에서는 시각과 영상에 중점을 둔다. 시각 시스템 설계에 필요한 원리들을 서술하기 전에 우리가 이해하는 인간의 시각 시스템에 대한 일반적인 용어들을 살펴본다. 시각에 대한 완벽한 이론을 제시하기 위해서는 시각에 계획 (Planning), 학습 (Learning), 추론 (Reasoning) 과의 인터페이스를 서술하는 것이 필요하다. 이것은 교재의 제한성 때문에 불가능한 일이다. 이 때문에 영상에서부터 세계에 대한 기술을 복원하는 과정들로서 시각을 취급한다. 그러한 기술은 자동화된 탈 것에서부터 방사선학자들을 위한 작업 단말기에 이르기까지 다양하고 시스템을 설계할 수 있도록 해준다. 만약 영상이 세계에 관한 정보를 추출하는 데 유효하다면, 우리는 영상이 생성되는 방법을 이해해야 한다. 따라서 우선 영상정보의 기하학적이며 광학적 측면들을 이해하고, 다음 영상 단서 (cues) 와 세계에 관한 정보를 연관시키는 제약조건들을 알아내는 데 중점을 둔다. 끝으로 몇가지 응용사례를 제시한다. 특히 물체의 종류를 인식하는 컴퓨터와 자동 운전차 (computer-guided vehicles) 를 소개한다.

1. 센서와 영상 (Sensors and Images)

감각기기 (sensor) 는 환경 안에서 특정한 측면을 측정하는 장치인 독특한 기계들이다. 감각기기는 2 가지 일반적인 범주들에 속한다. 즉 수동감각기기와 능동감각기기이다. 능동감각기기는 주위 환경을 교란하고 교란의 반응을 측정한다. 박쥐들은 장애물을 피하고 먹이를 잡기 위하여 능동 청각 감각기기들은 교란없이 환경을 측정한다. 시각 감각기기들, 눈들 또는 전기기계적인 카메라들은 수동적으로 영상을 연속적으로 기록한다. 이러한 감각기기들은 지정된 범위 안에서 한 파장을 가진 광자의 수에 의해서 빛의 양을 기록한다.

(1) 디지털 영상 (Digital Images)

대부분 카메라는 인간이 볼 수 있는 빛을 기록하고 2 차원 평면상에 격자 요소들을 대응시키는데 이것을 영상 평면이라고 부른다. 그림 1a 는 영상을 보여주며, 그림 1b 는 디지털 컴퓨터 안에서 그 영상의 표상을 보인다. 그러한 표상을 디지털 영상이라고 부른다. 영상이 얼마나 밝은지를 나타내는 정수들의 배열로 표현한다. 이 값을 영상 휘도 (image irradiance) 라고 부른다. 디지털 영상의 생성은 표본추출과 정량화의 문제를 야기한다. 표본추출은 빛 측정을 위하여 영상 평면상에 불연속적인 위치들의 집합을 선택하는 것을 포함한다. 정량화는 광도가 위치하고 있는 범위를 불연속적인 정수들에 할당하는 것을 포함한다. 그림 2 는 원추에 대한 표본 추출과 정량화를 나타낸다.

183

208

209

214

193

138

137

140

138

109

196

194

214

215

105

120

123

118

114

199

200

199

175

208

137

105

120

139

121

200

226

182

150

199

152

102

123

109

121

214

157

113

215

104

105

108

138

215

109

157

105

138

119

118

244

120

138

119

226

157

173

138

137

138

217

244

138

104

177

214

199

168

199

168

152

그림 1 디지털 영상에서 영상 강도는 불연속적으로 표본추출되고 그 값은 일반적으로 정수들로 표현되는 불연속적인 값들의 집합으로 정량화된다. 결과 수치들의 배열 요소들을 화소들이라고 부른다. 이 값들을 명도 수준이라고 부른다. 그림에서 숫자배열은 Sarah Bern-hardt 의 눈의 네모난 부분에 있는 강도들의 배열을 표현한다 (Aloimonos 와 Rosenfeld 에서부터 복사 [1991] ⓒ1991 AAAS. Bettmann Archive 의 사진 제공).

그림 2 표본추출 과정은 함수의 영역을 비연속적으로 나누어 흩어진 각각의 점에 함수값을 할당한다. 그림에서 원추 를 정의하는 평면은 단지 정수 계수만을 허용하여 비연속화된다. 정량화는 함수의 범위를 판별하여 이산적인 집합의 임의의 점에 함수의 값을 대응시킨다. 그림에서 의 크기는 소수점 이하 자리의 값을 절단하여 정수값으로 정한다 (Addison-Wesley 출판사에서 제공한 A Guided Tour of Computer Vision 으로부터 복사).

디지털 영상에서 각각의 수치화된 표본을 화소 (pixel) 라고 부른다. 이 용어는 영상 평면상에서 거리를 나타내기 위하여도 사용된다. 한 영상 위치에서의 한 화소의 정수값을 영상 강도 (image intensity) 또는 수준 (gray level) 이라고 부른다. 디지털 영상은 단지 숫자들의 배열이지만 명도 영역의 배열로서 더 편리하게 표시되어진다. 배열의 요소는 위치와 밝기를 나타내는 한 개의 개별적인 화소를 나타낸다.

(2) 영상 처리에서의 잡음 (Noise in Image Processing)

영상이 컴퓨터에 의해서 이해되기 전에 먼저 감지되어져야 한다. 광학 영상을 전기 영상으로 변환하는 것이 필요하다. 표본 추출과 정량화의 처리에 의하여 이 과정은 다양한 방법으로 원래의 영상을 바꾸거나 잡음을 만들어낸다. 잡음 (noise) 은 처리과정에서 매우 심하게 생성될 수 있다. 그림 3a 와 그림 3b 는 잡음이 섞인 훼손된 영상의 예를 보인다.

다른 감각기기들은 다른 형태의 영상을 제공한다. 컬러판 1a 는 깊이 감각기기에 의해 얻어진 영상을 보인다. 컬러판 2 는 적외선 감각기기에 의해 얻어진 영상을 보인다. 영상 해석을 위해서 필요한 알고리즘과 표상은 영상 형태와 사용된 감각기기에 가장 많이 영향을 받는다. 이 장에서 우리의 가장 강력한 감각인 시각 과정에 대한 계산 측면에 중점을 둔다.

그림 3 (a) 의자의 일부와 큰 실내 식물의 가지와 벽, 마루, 천장의 일부가 보이는 사무실 공간 영상의 잡음이 없는 영상 (b) 잡음에 의해 거칠어진 동일한 영상.

2. 컴퓨터 시각 (Computer Vision)

컴퓨터 시각은 이차원 영상으로부터 변하는 3 차원 세계에 관한 구조와 특성에 대한 자동적인 이해에 관한 인공지능의 한 분야이다. 영상들은 보통 시간과 공간에서 정량화된 크기로 표본추출된다. 따라서 영상들은 쉽게 디지털 컴퓨터로 처리될 수 있다. 영상은 정적이거나 변화하는 단일 또는 다중 사진기에 의해 얻어질 수 있다. 시각 시스템을 변환하는 방법으로 위치 이동, 렌즈의 기울기, 초점, 카메라 렌즈 조절 등이 있다. 시각 시스템이 시각 장치 매개변수의 통제가 가능할 때 능동 시각 시스템이라고 부른다 (그림 4 의 예 참조).

그림 4 보통 머리-눈 시스템이라고 불리우는 능동 시각 시스템이 Transitions Research Corporation 에 의해 고안되었다. 이 시스템은 눈을 가진 사람의 머리와 유사하다. 카메라를 모터에 부착하고 사람의 눈이 하는 것처럼 카메라들은 회전한다. 양쪽 눈들은 수평, 수직축 주위를 회전할 수 있는 대 (목) 에 매달려 있다. 시스템의 모터들은 실시간으로 카메라 영상을 감지하고 처리하는 시간 간격의 지연이 작은 것을 의미한다 (Transitions Research Corporation 의 사진 제공).

(1) 영상에 대한 이해 (Understanding Images)

영상으로부터 3 차원 장면을 "이해" 한다는 것은 무엇을 의미하는가? 이는 수천 년동안 철학자들의 수수께끼였다. 영상으로부터 3 차원 장면의 이해는 수십 년간 과학자들의 수수께끼였다. 생물시각 시스템에는 폭넓은 다양성이 존재한다. 즉 모든 생물이 사람이 하는 방법으로 사물을 보는 것은 아니다. 모든 생물은 감각 능력, 기억과 계산적 능력에 의해 제한되는 자신의 지각 세계를 가진다. 8 개의 간단한 눈을 가진 곤충들, 움직이는 눈을 가진 절지동물, 적외선 감지기를 가진 파충류들, 각 한 눈에 두 개 이상의 망막의 중심을 가지고 있는 고래 등이 있다. 각 생물시각 시스템은 실존물에 대한 영상 정보를 추출한다. 이 정보는 완벽하지 않은 부분적인 정보임에도 불구하고 각 시스템이 목표를 성취하는 데는 충분하며 그들은 생존을 위해 필요한 작업들을 수행한다.

시각을 연구하는 이론적인 방법은 영상으로부터 3 차원 세계를 복원하는 과정으로 간주한다. 그림 5 는 단위로서 지적인 시각처리 시스템을 보인다. 단위들은 다른 인지 양식과 조화를 이룬다. 시각 단위는 세계에 관한 구조와 특성에 관한 정보 데이터베이스의 중심을 형성한다. 이 데이터베이스는 계획, 추론, 기억을 지원하며 시스템이 환경에서 물체를 인식하고 움직이는 것을 허용한다 (컬러판 절에 "물체인식 시스템" 이란 제목의 인공지능의 응용 예를 참조).

그림 5 지능 시스템의 개관. 시스템의 지능은 다양한 인지적인 단위들로 구성된다. 즉 지각, 추론, 기억, 계획 등이다. 지각은 다양한 행동들을 성공적으로 수행하고 적절한 판단을 하기 위하여 나머지 단위들에 의해 사용되어지는 장면을 기술하는 기계적인 행동으로 생각될 수 있다.

(2) 시각과 사고 (Vision Versus Thought)

여기에서는 시각과 사고를 분간한다 (Nalwa 1993). Kanizsa [1979] 는 시각 인식은 지능의 중요한 일부가 아니라는 말에 반박한다. 예를 들면 하나의 정육면체를 형성하기 위하여 그림 6a 에 있는 조각들을 인식할 수 있지만 곧바로 볼 수는 없다. 그러나 그림 6b 에 있는 3 개의 불투명한 띠들의 출현은 우리의 지각을 변하게 한다. 정육면체는 지각적으로 분명해진다. 연구자들은 "보는 것" 이 어떤 것을 창조해내는 것이 아닌 단순히 기계적인 행동이라는 말에 반박한다. 감지된 자료에 의해 허용되는 범위까지 세계의 상태를 추론하는 것이다. 이것이 생물 시스템에서 사실인지는 여기에서는 중요하지 않다. 이 장은 시각과 관련된 이론적인 문제들을 다룬다. 우리는 영상으로부터 3 차원 세계에 관하여 추론되어질 수 있는 것이 무엇인가란 문제를 다룬다. 이 주제에 관한 논의를 Nalwa [1993] 에서 보라.

그림 6 착시 (Greenwood Publishing Group, Inc 의 허가에 의한 Organization in Vision 의 복사)

컴퓨터 시각이 인간의 시각 시스템을 모방하면 어떨까? 신경생리학, 심리학, 정신물리학에서의 연구 주네는 인간과 동물의 시각에 관한 것이다. 눈 이외에는 인간의 시각에 관해서는 알려진 것이 거의 없다. 더구나, 로봇은 로봇의 의도와 목적을 가장 잘 수행하기 위해서 인간의 눈과는 다른 시각적인 기능을 필요로 한다. 그럼에도 불구하고 인간 시각 연구는 그 자체로 흥미가 있으며 영상 이해에 있어서 우리의 노력에 통찰력을 제공한다.

3. 인간의 시각 (Human Vision)

물체와 물체의 성질들이 그대로 우리 두뇌 속에 존재하지는 않는다. 우리가 볼 때 우리 두뇌 속에서는 물체와 물체에 대한 성질들이 계산된다. 인간의 눈은 광학적인 기계이다. 그림 7 은 위에서 본 인간의 눈의 단면도를 보여준다.

그림 7 위에서 본 사람 눈의 수평 단면의 단순화된 그림. 빛은 각막, 수양액, 수정체, 망막에 영상을 최종적으로 형성하는 초자체 (vitreous humor) 를 통과한다. 광 수용체의 중앙의 작은 부분이 포비아 (fovea) 이다. 시신경은 광 디스크로부터 망막에서 시작된다. 모양체 근육은 수정체의 굴곡을 조절한다. 빛이 눈으로 들어가는 홍채 안에 있는 동공을 조절하는 피막이 존재한다. 안구 생리학에 대한 상세한 분석은 Rodieck [1973] 을 보라 (Addison-Wesley Publishing Company 로부터 허가를 받아 A Guided Tour of Computer Vision 으로부터 복사).

(1) 눈에서 두뇌까지의 정보 전달 (Transferring Information from the Eye to the Brain)

영상이 형성되는 방법은 상세하게 다루지 않고 망막에 중점을 둔다. 망막은 빛에 의하여 자극될 때 전기적인 신경 신호를 생성하는 광 수용체를 많이 가진 복잡한 피막이다. 이 신호들은 시신경을 경유하여 시각 경험을 생성하는 두뇌까지 전달된다. 두 가지 종류의 광 수용체가 망막에 존재한다. 이들은 모양에 따라 막대 (rods) 세포와 원추 (cones) 세포라고 부른다.

이 수용체들은 전자기 스펙트럼의 작은 부분에만 민감하다. 막대세포는 파장 함수로서 스펙트럼 전반에서 유사한 변화를 나타낸다. 그러나 원추세포는 3 종류를 보인다. 이들은 시각 스펙트럼의 빨강, 초록, 파랑 부분에 가장 민감하다. 원추세포는 우리들에게 색채시각을 제공하며, 막대세포는 원추세포보다 훨씬 낮은 강도에서 빛을 감지하는 능력 때문에 밤에 볼 수 있는 시각을 제공한다 [Cornsweet, 1970]. 그림 8 은 눈에서부터 두뇌까지 주요 시각적 경로에 대한 단순화된 도식을 제공한다. 각 망막에 비치는 빛은 신경 펄스들로 암호화되어 시신경을 거쳐서 두뇌까지 전송된다.

그림 8 눈에서 두뇌까지 주요 시각 경로에 대한 단순화된 도식. 시신경 섬유들의 교차는 시신경 키아스마 (optic chiasma) 에서 발생한다. 거기서부터 신경 섬유들은 시신경 트랙 (optic tract) 을 경유하여 LGN 까지 진행한다. 이 LGN 으로부터 신경 자극들은 시신경 레디에이션 (optic radiations) 을 경유하여 두뇌의 줄무늬피질 (striate cortex) 까지 전송된다. 인간의 시각에 관하여 우리가 아는 것과 비교하여 시각에 기여하는 두뇌의 부분들의 기능에 관해서는 거의 알려져 있지 않다. 상세한 분석은 Hubel [1988] 을 보라 (Addison- Wesley Publishing Company 로부터 허가를 받아 A Guided Tour of Computer Vision 으로부터 복사).

망막의 오른쪽 부분에 형성되는 시야의 왼쪽 부분은 두뇌의 우반구로 전송되고, 시야의 오른쪽 부분은 좌반구로 전송된다. 거기서 자료가 계산되어 우리가 "볼" 수 있게 된다. 시신경 섬유들은 시신경 키아스마 (optic chiasma) 에서 뒤섞이고, 이후 시신경 트랙 (optic tract) 을 따라 LGN 으로 간다. 여기서부터 신호들은 두뇌의 줄무늬피질 (striate cortex) 까지 전송된다. 각 망막의 중심에 있는 포비아 (fovea) 에는 주변보다 광 수용체의 밀도가 십배 이상 높다. 망막의 나머지 부분은 원추세포보다 막대세포의 광 수용체가 훨씬 강하게 집중되어 있는 데 반하여, 포비아에는 단지 원추세포의 광 수용체만이 집중되어 있다. 결과적으로 우리는 낮에는 민감하고 색채화된 시각을 가지며 밤에는 희미하며 색채가 없는 시각을 가진다.

(2) 시각 정보의 압축 (Compressing Visual Information)

인간 시각에 관하여 주목해야 할 중요한 점은 원추세포의 총 수가 약 6 백만이고 막대세포가 1 억 2 천만이지만 영상을 두뇌에 전달하기 위해서 눈에서 나가는 시신경 섬유들의 총 수는 약 1 백만 정도라는 사실이다. 이와 같이 광 수용체와 시신경 섬유들 사이의 망막 신경 세포들의 기능의 하나는 적어도 망막에 떨어지는 빛에 포함되는 정보를 압축하는 것으로 보인다. 인간 시각에 대한 작업의 다양성을 성취하기 위해 필수적인 정보를 획득하여 두뇌 피질로 전송되는 영상의 분석을 위해 두뇌에 의하여 사용되는 알고리즘과 표상을 알아내는 것과 같다. 이 과정들의 이해는 완벽하지는 않다. 여기서는 작업을 수행하는 더 큰 시스템으로서 시각을 연구하지 않기 때문이다. 따라서 우리는 복원 문제로서 시각을 생각한다.

4. 복원문제로서의 시각 (Vision as a Recovery Problem)

2 가지 유형의 문제가 실용적인 시각 시스템을 시험하기 위한 시금석으로 보통 간주된다. 즉 시각 정보를 사용하여 복잡한 환경에서 성공적으로 움직이는 것과 복잡한 장면에서 (사람 또는 나무들과 같이) 공통적인 사물들의 유형을 인식하는 것이다. 컴퓨터 시각에서 대부분 연구는 이러한 목표들 중의 하나이다. 위의 두 가지 유형의 문제들이 해결된다면 자동화된 시스템은 인간 시각 시스템의 많은 기능을 가질 것이다. 불행하게도 그러한 시스템을 만들어내는 데는 대단한 어려움이 존재한다. 이러한 어려움은 약간의 수직적인 통합을 보이고, 영역 중심 정보를 포함하는 모든 수준의 지식이 사용되는 전체적인 시각 시스템을 만들기 위한 1960 년대와 1970 년대 초반의 시도들의 실패로 알 게 되었다. "그러한 시스템을 완성하기 위해서는 부분적인 것을 삭제하고 많은 과도히 단순화된 가정들을 만드는 것이 불가결하다 (Brady [1982])." 이것은 제한된 수의 작업들을 수행할 수 있는 시스템을 만들게 했지만, 시각에 관한 일반적인 이해를 향상시키지는 않았다. 그 시대에 시각의 복원학파가 Marr [1982] 와 그의 동표들에 의해 추진되기 시작했다.

복원은 한 장면에 대한 한 개나 그 이상의 영상들로부터 사물들에 대하여 정확한 3 차원적 기술을 추출하는 것을 의미하며, 양적으로 사물들의 특성을 복원하는 것이거나 적어도 주어진 작업과 관계있는 특성들을 복원하는 것이다. 만약 한 사물의 특성을 복원할 수 있다면 우리는 그것들을 사용하여 사물을 인식할 수 있다.

시각 문제의 해결이 장면 복원에 있다고 생각한다고 해도 어떻게 일을 진행시킬까하는 방법은 분명하지 않다. 다행히도 계산 분야의 연구가 보여준 크고 복잡한 정보 시스템을 설계하기 위한 표준적인 방법이 존재한다 [Feldman, 1985]. 우리는 시스템을 기능적인 구성 요소들 또는 부시스템으로 나눈다. 이런 부시스템들을 분석하며 부시스템들이 사용하는 정보의 표상을 선택하고 부 시스템들 사이의 통신 언어를 선택한다. 부시스템들은 개별적으로 시험되고 그후 짝을 지어서 시험되고 그 다음에는 모두 함께 시험된다.

우리는 시각 시스템을 만드는 데에 이런 접근을 사용할 수 있다. 영상으로부터 세계의 특정한 특성들을 복원하는 기능적으로 독립적인 부시스템을 사용하여 시각시스템을 만들 수 있다. 우리는 이것들을 부시스템 단위라고 부른다. 시각 복원 연구는 그러한 단위들과 단위들의 통합 연구에 바쳐진다. 인간시각 시스템에서 그러한 단위들의 존재를 설명하는 상당한 증거가 있다. 두뇌 전달 결과로 인한 시각 장애를 가진 환자들의 연구도 그중 하나이다 [Farah, 990].

지각 과정들 (시각 능력의 기본을 이루는 과정들) 은 3 가지 수준에서 이해되어야 한다 [Marr, 1982].

(1) 계산이론의 수준. 우리는 영상 형식의 입력과 계산되어질 양 사이의 관계를 엄밀한 수학적인 과정을 통하여 개발해야만한다.

(2) 알고리즘과 자료구조의 수준. 계산이론이 완료된 후에 입력이 적용되면 원하는 값을 산출하는 알고리즘과 자료 구조가 설계되어야 한다.

(3) 구현 수준. 두 개의 이전 수준들이 개발된 후에 하드웨어나 또는 소프트웨어로 알고리즘을 구현하여야 한다.

이 세가지 수준이 완전히 이해되었다면 지각과정을 이해한다고 말할 수 있겠다.

(1) 무엇을 복원하는가 (What to Recover)

우리가 시각 작업을 수행할 수 있도록 영상에서 무엇을 복원하려고 시도해야 하는가? 대답은 특정한 활용을 목표로 하는 것이 아닌 영상 이해 기술인 컴퓨터 시각에 관한 이론의 본질을 정의한다.

우리가 영상으로부터 복원할 수 있어야 하는 한 가지는 사물들의 형상이다. 많은 양의 시각 복원 연구는 형상, 조직, 가장자리, 다중 관점, 움직임과 같은 영상 단서들로부터 영상화된 사물들의 모양을 결정하는 데 기여했다 (컬러판 3). 만약 우리가 환경의 기하학적인 지식을 복원할 수 있다면 장애물을 피하고, 통로를 찾는 것과 같은 운전 작업들을 수행할 수 있다.

형상은 우리가 복원하기를 원하는 유일한 것은 아니다. 예를 들면, 움직이는 물체의 3 차원 속도를 복원할 수 있다면 우리는 그것을 잡을 수 있고, 그것을 피하고, 그것을 추적할 수 있다. 움직이는 감지기에 의하여 얻어지는 영상의 경우, 모든 영상의 움직이는 속도를 결정해야만 할 수도 있다. 또한, 물체들의 색체를 복원하기를 원하며 알려진 물체의 공간적인 위치와 방향을 복원하며, 영상 강도가 갑작스럽게 변화하는 불연속성을 결정할 수 있기를 원할 수도 있다 (그림 9a). 잘 정의된 장면의 분할에 일치하는 영상의 분할을 결정하기를 원한다 (그림 9c). 또는 잡음에 의해 훼손된 실제 영상으로부터 이상적인 영상을 복원하거나 재저장하기를 원한다.

그림 9 영상의 가장자리를 복원하는 과정은 시각 복원의 한 예이다. (b) 는 (a) 에 있는 영상 가장자리들이 복원된 것을 보인다. 영상의 분할을 복원하는 것은 복원 작업에서 어려운 다른 한 예라고 할 수 있다. (d) 는 (c) 에 있는 장면의 분할을 보인다. ((a) 는 "A Computational Approach to Edge Detection" 에서부터, J. Canny, IEEE AAMI, Vol. 8, No. 6, November 1986, pp.679-698. (c) 와 (d) 는 "Stochastic Relaxation, Gibbs Distributions, and Bayesian Restoration of Images 으로부터" S. Geman and D. Geman, IEEE PAMI, Vol. 6, No. 6, November 1984, pp.721-741).

(2) 영상형성의 기하학적 측면들 (Geometric Aspects of Image Formation)

우리가 시각 복원 문제를 논의하기 전에 영상 형성의 과정을 이해하는 것이 필요하다. 두 가지 문제들이 포함된다 : 즉 영상의 한 점이 보이는 곳의 영상 정보의 기하학적인 측면과 영상의 한 점이 얼마나 밝은가하는 광도 측정의 측면이다.

가장 간단한 영상 장치는 그림 10 에 있는 바늘구멍 카메라이다. 빛이 들어오는 무한히 작은 구멍을 통하여 영상을 형성한다.

기하학적인 관점에서 영상은 물체에서 작은 구멍을 관통하여 영상평면까지 직선으로 비치는 가시광선에 의해 형성된다. 이러한 기하학을 원근투영 (perspective projection) 이라고 하며, 그림 11 에 설명되어 있다.

그림 10 바늘구멍 카메라. 가시광선이 바늘구멍이라고 불리는 작은 열린 구멍을 통하여 카메라에 들어와서 카메라 안쪽 표면에 거꾸로 맺힌 영상을 형성한다.

그림 11 후방에 있는 영상평면을 이용한 원근투영 [Horn, 1986]. 바늘구멍은 X, Y, Z 축에 의해 정의된 원점 O 를 가진 좌표계이다. 빛은 O 에 있는 아주 작은 구멍을 통하여 물체상에 있는 점 P 로부터 영상평면상에 있는 점 P' 에 상이 맺히게 된다.

(3) 원근투영 (Perspective Projection)

단순함을 위하여 그림 12 에서 보여진 영상 평면 뒤에 바늘구멍이 있다고 생각해 보자. 광축은 바늘구멍에서부터 영상평면까지 직각을 이룬다고 정의한다. 바늘구멍에서 원점을 가진 데카르트 좌표를 생각하자. Z 축은 광축으로 할당되고, 영상 방향을 가리킨다. A 는 카메라 전방의 어느 한 점이라고 하자. 점 A 에서 점 O 까지 어떤 광선도 존재하지 않는다고 가정한다. 영상평면에 있는 A 의 A' 영상 위치를 계산하고자 한다. 초점 거리 (focal length) 는 점 O 에서 영상평면까지의 거리이다. V = (X, Y, Z) 는 O 에서 A 를 연결하는 벡터라고 하자. V' = (x, y, f) 는 초점 거리 를 가진 O 에서 A' 를 연결하는 벡터이다. (x, y) 는 카메라 좌표 시스템 OX 와 OY 의 축들과 평행한 x, y 축과 광학축이 원점에서 교차하는 좌표 시스템으로 유도되는 영상 평면상의 A' 의 좌표이다. 다음과 같음은 쉽게 알 수 있다.

(1)

이 방정식은 실세계 좌표점을 영상평면 좌표로 연결시킨다. 이 방정식을 좀더 단순화하기 위해 보편성을 잃지 않고 = 1 이라고 가정한다.

그림 12 전방에 영상평면을 가진 원근투영

그림 13 구형 원근투영에서 물체의 각 점은 구의 중심에 있는 원점 O 를 통과하는 직선을 따라 투영된다.

이것이 원근투영 모형에서 가장 일반적으로 사용되어진다. 그러나 평면 필림이나 망막상에 형성되는 영상은 투영 중심위치보다 높은 곳에 맺힌다. 또한 영상은 평면 영상 표면의 위치와 방향에 의존한다. 그러한 의존성은 그림 13 에서처럼 투영 중심을 중앙으로 하는 구 위에 영상이 투영되도록 하여 제거할 수 있다. 이 투사법을 구형 원근투영 (spherical perspective projection) 이라고 부르며, 거의 구형에 가까운 겹눈을 가지고 있는 곤충의 시각 시스템에서 나타난다.

(4) 정사영 (Orthographic Projection)

원근투영이 거의 정확하게 영상 형성 과정을 모형화하지만 그 결과는 처리하기 힘든 방정식으로 나타난다. 어떤 경우에는 사용하기가 더 쉽고, 작업하기가 더 쉬운 모형으로 정사영 (orthographic projection) 이 존재한다. 만약 원근투영 모형 속에서 Z = Z₀ 에 있는 영상평면에 평행하게 놓인 하나의 장면평면을 가진다면 영상평면과 장면평면에 생기는 두 점들 사이의 거리 비율을 증폭률 라고 정의한다. 따라서 장면 평면상의 작은 간격 (dX, dY, O) 과 대응하는 영상의 작은 간격 (dx, dy) 에서 다음이 성립한다.

그러므로 평균거리 Z₀ 에 있는 장면평면의 작은 사물은 로 확대되어 영상을 생성한다. 그 배율은 대략 장면의 깊이의 변화량이 카메라로부터 장면 점들의 평균거리보다 상대적으로 작을 때 거의 상수값을 가진다. 이 경우 식 (1) 은 와 깊이 Z 의 평균값이 Z₀ 가 될 때 아래와 같다.

(2)

단순하게 하기 위해 만약 이라고 한다면 식 (2) 는 아래와 같이 된다.

(3)

방정식 (3) 은 가시광선이 광축 (그림 14 를 참조) 에 평행한 곳에 있는 정사영 모형을 정의한다. 정사영과 원근투영의 차이는 장면까지의 거리가 장면상에 있는 물체들 사이 거리에 있는 변화보다도 훨씬 클 경우 작아진다. 대략적으로는 광각 렌즈가 사용될 때 원근투영 효과가 크지만 망원렌즈에 의하여 생성된 영상은 정사영에 의해 근사시킬 수 있다 [Horn, 1986].

그림 14 정사영 [Horn, 1986]. 물체의 각 점은 영상평면에 수직인 수직선을 따라 영상 평면쪽으로 투영된다.

(5) 근사원근투영법 (Paraperspective Projection)

정사영은 망막의 중심부에 빛의 투영을 대략적으로 근사시킨다. 그러나 많은 기계 시각의 응용을 위해서는 비실용적이다. 한편 원근투영은 좀더 복잡한 방정식을 포함하며 문제들의 분석을 어렵게 만든다. 근사원근투영법 (paraperspective projection) 은 정사영과 원근투영의 중간쯤에 있으며 원근투영에 꽤 가깝다. 광축을 따라 가리키는 Z 축과 원점 O 를 가지고, 좌표체계 O X Y Z 를 카메라에 관해서 고정시키자. 초점 거리를 = 1 로 가정하고 점 (0, 0, 1) 에 있는 Z 축에 수직인 영상 평면을 고려한다. 그림 15 에 보여진 작은 2 차원 평면의 조각 표면 S 와 투영 평면 Z = d 를 고려하자. 근사원근투영법은 두 단계를 포함한다.

(1) S 는 Z = d 상에 투영된다. 이 투영법은 O 에서부터 물체의 중심 C 까지 평행한 선을 가시광선을 사용하여 투영한다.

(2) Z = d 에서 S 의 투영은 영상 평면상에서 원근투영된다. Z = d 가 영상 평면에 평행하므로 이 투영법은 1/d 배만큼 확대된다.

그림 15 복합원근투영. 점 C 는 평면 S 의 중심이다. S 상의 점들은 원점 O 에서 중심 C 까지 선으로 병렬적인 직선들을 따라 투영면상에 투영된다. 투영된 점들은 원근투영으로서 영상 평면상에 투영된다. 복합원근투영은 물체에서 원점까지 거리가 보여지는 물체의 크기보다 클 때 원근 투영에 잘 근사한다.

근사원근투영법은 영상평면 위에 장면에 관한 투영을 두 부분으로 분해한다. 1 단계는 단축에 의한 왜곡 투영과 위치 결과를 반영한다. 2 단계는 거리와 부가적인 위치 결과들을 반영한다. 근사원근투영법은 보이는 물체의 크기가 원점까지의 거리보다 작을 때 원근투영에 잘 근사된다.

(6) 형상 표상 (Shape Representation)

시각 시스템은 영상을 분석하고 영상화되는 것에 대한 기술을 생성한다. 기술은 장면에서 물체의 형상에 관한 정보를 포함한다. 그러나 물체의 형상만이 기술 내용에 포함되는 것은 아니다. 기술은 여러 수준의 상세함을 가질 수 있으며 많은 관점으로 나타난다. 우리는 영상화되는 것에 관한 아무 것이나 원하는 것은 아니고, 적절한 행동을 취하도록 허용하는 서술을 원한다. 물체의 형상을 묘사하는 합리적인 최초의 과정은 물체 표면의 국소적인 방향 (surface orientation) 을 표현하는 것이다. 우리는 여기서 단지 이러한 수준의 기술만을 고려할 것이다. 표면의 방향은 보통 표면 수직 벡터의 방향으로 표현된다. 다음 두 세부절에서 시각 표면의 형상이 국소적인 방향 정보로부터 어떻게 재구성되어질 수 있는 지를 보인다.

(7) 표면 방향과 원근투영에서의 형상 (Surface Orientation and Shape Under Perspective)

점 (X, Y, Z) 에서 표면 Z = Z (X, Y) 까지의 수직 벡터의 아래와 같다.

만약 의 값을 안다면 아래값도 계산되어질 수 있다.

이 식은 수직 방향이 영상에서 위치의 함수로서 알려진다면 깊이함수 Z(x, y) 는 그 값에 비례하는 정확도로 계산되어질 수 있다는 것을 의미한다. 이 비례값은 결정되어 있지 않다. 즉, 표면이 작으면서 카메라에서 가깝거나 아니면 크고 멀리 떨어져 있을 수 있다.

(8) 표면 방향과 정사영에서의 형상 (Surface Orientation and Shape Under Orthography)

정사영에서 영상 좌표의 한 점은 대응되는 장면 좌표와 동일하다. 즉, . 따라서,

이고

이므로 Z(x, y) 는 상수형 덧셈 항으로 계산될 수 있다. 이와 같이, 만약 정사영에서 표면 방향을 안다면 표면 형상은 알 수 있지만 그 거리는 알 수 없다.

(9) 입체투영 (Stereographic Projection)

Z = Z(X, Y) 표면의 점에서 이라고 하자. 이때 표면에 수직벡터는 아래와 같다.

아래 좌표는 가우스 구 (Gaussian sphere) 위에서 한 점의 위치를 정의한다. 이 위치는 또한 위도와 경도 각도로 정의될 수도 있다.

다른 일반적으로 사용되는 표현은 위도의 탄젠트인 경사와 각도인 기울기 로 표시한다.

국소적인 표면의 수직에 관한 매개변수로서 편미분 을 사용하며 기울기 공간 (gradient space) 의 개념을 생성한다. 좌표 는 형상을 정의한다. 이 방법에서는 가려진 곳과의 경계의 미분값이 무한이 되는 단점이 있다. 표면이 시야에서 벗어나는 것이다. 유사한 문제가 경가-기울기 표상에서 발생한다. 이 경우에 표면 방향에 다른 매개변수 를 사용할 수 있는 데 이를 입체투영 (stereo-graphic) 이라고 부른다. 와 는 아래식으로 와 연결된다.

그림 16 가우스 구의 기울기 공간으로의 (MIT Press 의 허락하에 Robot Vision 으로부터 복사).

그림 17 입체투영 (MIT Press 의 허락하에 Robot Vision 으로부터 복사).

가우스 구의 공식을 사용하면 기울기 공간은 구의 중심으로부터 북극에 접하는 평면에 투영하는 것으로 볼 수 있다. 반면에 입체투영의 공간은 남극에 접하는 평면에 투영하는 것과 같다 (그림 16 과 그림 17 참조).

(10) 원근투영에 대한 기하학적인 성질 (Geometric Properties of the Perspective Projection)

장면에 있는 선 이 의 모든 값들에 대하여 에 의하여 정의된다고 가정하자. 이때 는 선상의 임의의 점이고, 은 선의 방향벡터이다 (선에 포함되어 있는 임의의 벡터). 선상에 있는 임의의 에 해당하는 점은 이다. 그리고 그 영상은 원근투영에서 초점거리를 1 이라고 가정할 때 아래와 같다.

가 커짐에 따라서, 영상 점 는 영상에서 특정한 점 V 로 수렴한다.

단 이고, 이는 선이 영상평면에 평행하지 않음을 의미한다. 점 V 는 선 의 소멸점이라고 부른다. 이 점은 선을 투영하여 확장할 수 없는 영상의 점이다. 평행선들은 소멸점을 가진다. 그림 18 은 소멸점 (vanishing point) 을 보여준다. 그림 19 는 임의의 주어진 직선의 소멸점은 투영 중심점을 통과하는 평행선이 영상평면과 교차하는 곳에 있는 영상 속에 있는 점이라는 것을 보여준다.

그림 18 평행선들은 원근투영에서 소멸점으로 불리우는 한 점으로 수렴한다.

그림 19 그림에서 지각되는 물체는 일정 간격의 직사각형 분할로 나누어진 인도의 도식적인 서술이다. 영상 평면에서 인도의 병렬적인 가장자리는 하나의 소멸점으로 수렴한다. 직사각형 분할을 나누는 병렬적인 (인도에서 틈 사이 또는 연장점) 가장자리 선들은 두번째 소멸점으로 수렴한다.

(11) 렌즈를 사용한 영상 (Imaging with Lenses)

지금까지는 바늘구멍 카메라를 순수 기하학적인 개념으로서 생각했다. 그러나 실제 상황에서는 렌즈를 이용하여 영상화가 된다 (그림 20).

그림 20 렌즈를 사용한 영상. 렌즈의 광학적인 중심은 바늘구멍 카메라에서 바늘구멍의 역할을 한다. 렌즈는 바늘구멍 카메라의 비교적 단순한 기하학적인 구조를 갖고 있는 반면, 바늘구멍 카메라를 사용하여 가능한 것보다 훨씬 넓은 구경으로 빛을 모은다.

렌즈에서 모아진 빛은 한 물체로부터 렌즈의 구경쪽으로 온다. 이 빛은 하나의 뚜렷한 영상점으로 초점에 맺힌다. 보통 렌즈는 영상에 평행한 평면 안에 놓인 물체의 점들만을 초점으로 가져온다. 그러나 얇은 렌즈의 광축은 영상에 수직이라고 가정하면, 다음과 같은 유용한 관계를 가진다.

이때 는 렌즈의 평면으로부터 한 물체상의 점의 거리이며, 는 렌즈로부터 영상점까지의 거리이고, 는 렌즈의 초점 거리이다. 렌즈의 광학적 중심은 바늘구멍 카메라에 있는 바늘구멍 역할을 한다. 시야는 렌즈의 시각 방향에 대한 원추를 설명한다. 광각 렌즈들은 작은 초점 거리를 가지며 큰 시야를 갖는다. 시야의 깊이는 그 장면이 대략적으로 깨끗하게 영상이 맺히는 깊이의 범위이며 렌즈의 구경 (aperture) 은 빛이 렌즈를 관통하는 통로이다.

(12) 영상 형성에 대한 광학적 측면 (Photometric Aspects of Image Formation)

영상에서 한 점의 밝기는 물체표면 점 (장면 복사 (scene radiance) 라고 부름) 으로부터 발산하는 빛의 양과 표면점 (영상 휘도 (image irradiance) 라 부름) 의 영상 위에 떨어지는 빛의 양 사이의 관계에 의존한다. 이 분석은 확장될 수 있다. 초점거리 를 가진 렌즈와 직경 의 둥근 구경을 가진 경우 다음이 성립된다.

이때 Rad 는 물체 표면의 복사이며, Irrad 는 영상 휘도이다. 또 는 렌즈의 광축과 렌즈로부터 물체 쪽으로 향하는 방향 사이의 각도이다. 이 기본적인 관계는 영상 휘도는 장면 광도에 비례함에 보인다. 실제로 인수는 영상 위의 모든 점에 대해 상수이다. 시야가 넓지 않을 때는 영상의 위치가 다양하지만 을 상수로 간주할 수 있다. 따라서 일반적으로 장면에서 밝은 점들은 영상에서 밝게 나타나고, 어두운 점들은 영상에서 어둡게 나타난다.

5. 영상 기술의 복원 (Recovery of Image Descriptions)

실제적으로 영상 분석을 하기 위해서는 대부분 매우 큰 영상 자료의 크기를 감소시켜야 한다. 화소경계 탐지 (edge detection) 와 분할은 대부분 복원 알고리즘에서 중요한 자료 감축 단계이다 (컬러판 절에서 "항공 사진 해석" 이라고 제목이 붙여진 인공지능의 응용 예를 참조). 영상에서 화소경계는 영상 밝기가 갑작스럽게 변하는 부분이다. 화소경계는 화소경계 주위로 분산되는 밝기 함수에 의하여 분류되는데 계단형 화소경계, 지붕형 화소경계, 선형 화소경계가 존재한다. 계단형 화소경계는 강도함수값이 갑작스럽게 변하는 영상 화소경계를 말한다. 지붕형 화소경계는 강도함수의 방향이 갑작스럽게 변하는 화소경계이다. 선형 화소경계는 한 쌍의 이웃한 나란한 계단형 화소경계들이다. 이 책에서는 계단형 화소경계를 주로 다룰 것이다.

(1) 화소경계 탐지 (Edge Detection)

영상에서 화소경계는 장면의 구조에 관한 정보를 부호화하기 때문에 중요하다. 그림 21 의 영상 장면에서 몇 중요한 것은 화소경계 강도를 나타내어서 구별할 수 있다. 이러한 것들 사이에서 수직 표면, 광도, 깊이, 표면 반사도나 이것들의 조합에서 불연속성이 존재한다.

그림 21 (a) 형태의 불연속성 (b) 반사율의 불연속성 (c) 깊이의 불연속성.

화소경계 탐지에는 두 단계가 있다. 첫째, 짧은 선형 화소경계를 탐지하기 위한 알고리즘은 (화소경계 탐지기) 보통 미분이나 모형에 기반한다. 미분을 사용하는 접근 방법은 영상값의 갑작스런 강도 변화를 미분을 통하여 반영한다는 개념으로 영상 강도함수의 미분값이다. 모형기반 접근 방법들은 작은 영역에서 강도가 우리가 가정하는 경계 모형과 일치하는지를 결정하는 것이다.

(2) 미분 도입 방법 (Differentiation Approaches)

함수 의 기울기는 벡터 이다. 계단형 화소경계의 강도함수는 경계에서 큰 기울기 값을 갖는다. 이것은 화소경계를 탐지하는 데 미분 개념 도입의 중요성을 강조한다.

대부분의 기술에서 영상의 임의의 점에서 영상강도 기울기 값이 어떤 임계값을 넘는다면 그 점은 화소경계를 표현하는 것으로 선택된다. 이 절에서 쓰이는 차분방정식은 기울기에 대한 불연속적인 근사를 한다. 기울기를 알아내기 위한 많은 방법이 있는데, 대부분 알려진 방법은 한 개의 점에서 임의의 2 개의 직교 방향으로 영상 강도의 방향성 미분값을 구한다. 만약 와 가 이러한 직교 방향 미분값이라면 그 기울기의 크기는 이고, 에 대한 방향은 이다.

영상에서 2 × 2 윈도우를 고려하고 평면 표면을 영상 강도의 값에 맞춘다면 윈도우로 정의되는 영역의 기울기에 대한 근사값은 윈도우 내 평면의 기울기 값이다. 이런 아이디어에 기반을 두 기울기의 불연속적인 근사값은 그림 22 에 보여진 Roberts 연산자 (Roberts operators) 를 사용하여 계산될 수 있다.

한 점에서 방향성 미분의 근사값을 계산하는 데 사용되는 마스크 (mask) 라고 불리는 2 × 2 나 3 × 3 배열에 의하여 연산자를 표현한다. 예를 들어 만약 이 형의 마스크에 의해 표현된다면 영상에서 점 에 있는 방향성 미분 은 이고, 이때 는 화소 에 있는 영상 강도이다.


0	1		1	0	-1	1		1	1
-1	0		0	-1	-1	1		-1	-1
		a.					b.

그림 22 Roberts 연산자 : (a) 제시된 마스크는 영상의 좌표축에 대각선을 따라 2 × 2 윈도우의 과 를 계산하는 데 사용된다. (b) 제시된 마스크는 영상의 와 좌표축을 따라 2 × 2 윈도우의 과 를 계산하는 데 사용된다.

만약 3 × 3 윈도우 안에 2 차원 표면을 고정시키고 기울기를 얻기 위해 고정된 표면을 미분한다면 그림 23 에 보여지는 Prewitt 연산자인 불연속적인 마스크에 도달한다. 연산자들은 영상 강도 변화들을 강조하여 화소경계를 탐지한다. 동시에 영상 잡음을 두드러지게 할 수도 있으며 거짓 화소경계들을 탐지하기도 한다. 이런 역효과를 상쇄시키기 위해서 영상 평활화가 사용된다. 평활화 마스크는 단지 양수값만을 갖는다. Sobel 연산자의 마스크는 이 원칙을 따라 설계됐다. 이것들은 영상이 평활화된 후에 Robert 연산자가 적용하는 것과 대등하다. Sobel 연산자는 수평 수직 방향의 미분 마스크를 가지고 평균 마스크를 컨벌루션 (convolution) 한 결과와 같다 (그림 24).


-1	0	1	1	1	1
-1	0	1	0	0	0
-1	0	1	-1	-1	-1

그림 23 Prewitt 연산자 : 이러한 마스크들은 3 × 3 윈도우의 중심에 있는 영상의 좌표축을 따라 미분값을 제공한다.


-1	0	1	=	1	1	*	-1	1
-2	0	2	=	1	1	*	-1	1
-1	0	1


1	2	1	=	1	1	*	1	1
0	0	0	=	1	1	*	-1	-1
-1	2	-1

그림 24 Sobel 연산자 : 효과는 평활화한 다음 미분한 것과 같다.

＊ 에 의하여 표시되는 컨벌루션은 두 함수의 가중값 적분 (불연속적인 함수의 경우에는 합) 인데, 처음에는 좌표의 원점을 관하여 대칭 이동시키고 적절히 이동하여 계산하는 연산이다. 가우스함수의 경우처럼 만약 함수 중의 하나가 원점에 관하여 대칭이라면 대칭 이동은 불필요하다. 와 라는 2 개의 함수들은 컨벌루션되었다 (convolved) 고 말하고, 는 컨벌루션 결과 값을 표시한다. 한 개의 변수를 갖는 2 개의 연속 함수 와 의 경우 이다. 그림 25 는 영상을 가우스함수나 가우스함수에 대한 라플라시언함수를 컨벌루션한 결과의 예를 보인다.

그림 25 연속적인 컨벌루션을 설명하는 예들 : (a) 1 차원 가우스함수 G. (b) 가우스함수에 대한 라플라시언 . (c) 빛의 세기가 0 인 서로 다른 1 차원 영상 영역에 2 개의 잡음 봉우리를 표현하는 함수 . (d) 이 잡음의 효과를 감소할 수 있는 G 와 컨벌루션되어 평활화된 결과. (e) 1 차원인 영상 영역에서 빛의 세기가 갑자기 변화하는 것을 표현하는 함수 . (f) 에 가우스함수에 대한 라플라시언 연산을 사용하여 컨벌루션한 결과로 0 을 지나는 곳인 영점교차 (zero crossing) 가 강도의 변화를 나타낸다.

디지털 영상 처리에서 불연속적인 가우스함수는 그 화소의 크기와 이웃 화소들의 크기에 대한 가중값들의 평균을 각 화소에 할당해서 사용된다. 1 차원의 경우에 불연속적인 가우스함수 는 이 되기 위해서 양의 실수를 각각의 정수에 할당한다. 실제로는 3 보다 훨씬 큰 정수나 -3 보다 훨씬 작은 정수에 해당하는 함수값은 가중값을 0 을 갖는다. 다음은 불연속적인 가우스함수의 간단한 예제이다.

번째 화소에 있는 크기가 번째 벡터 요소인, 예를 들면 와 이 되는 영상 벡터 크기에 일치하는 1 차원 영상 광도의 벡터 <10, 10, 10, 10, 25, 10, 10, 10, 10, 10> 를 가정하자. 불연속적인 가우스분포를 이 영상 조각에 컨벌루션하면 영상 끝의 화소 경계위치의 화소들을 제외한 각 화소는 다음과 같이 계산된다.

그 결과로 벡터 <10, 10, 13, 19, 13, 10, 10, 10> 의 값을 갖는 평활화된 영상 조각 (그림 26 참조) 을 얻게 된다.

그림 26 (a) 1 차원 영상 조각의 강도. (b) 불연속적인 가우스함수와 컨벌루션한 결과.

이차원 영상의 경우, 평활화는 적절하게 선택된 표준 편차 를 가진 이차원 가우스함수 을 사용한다. 가우스함수 평활화에 기반을 둔 많이 쓰는 화소경계 탐지기는 Marr 와 Hildreth 에 기인한다 [1980]. Marr-Hildreth 연산자는 영상을 가우스에 대한 라플라시언 연산을 사용하여 컨벌루션한 후 화소경계를 알아내기 위하여 영점 교차 (zero crossing) 시킨다. 특히, 만약 이 라플라시언 연산자이고 G 가 가우스함수, 영상 강도함수가 이면 결과는 아래와 같다.

이 연산자는 직교 좌표를 따라 2 차 편미분을 계산하는 데 연산자 는 화소경계를 따라 영점 교차를 생성한다. 그림 27 은 Canny 화소경계 탐색자에 의한 결과를 갖는다. 이 연산자는 라플라시언 연산자 대용으로 가우스함수로 컨벌루션된 영상 속에 있는 각 점을 몇 개의 1 차원 화소경계 부분 탐지를 위해 사용한다.

그림 27 (a) 원래 영상 (b) 정교한 크기로 추출된 화소경계들 (c) 낮은 해상도로 추출된 화소경계 ("A Computational Approach to Edge Detection," J. Canny, IEEE AAMI, Vol. 8, No. 6, November 1986, pp.679-698 로부터).

(3) 모형기반 접근 방법 (Model-Based Approaches)

앞 절에서 기술된 화소경계 탐지기는 생물학적인 시스템과 닮았기 때문에 잘 알려졌다. 망막에서의 어떤 낮은 수준의 연산은 평활화와 차분 연산과 유사하다. 화소경계를 탐지하기 위해 선택할 수 있는 또 다른 방법은 화소경계를 매개변수 모형으로 개발해서 영상 자료와 잘 대응하는 가를 계산하는 방법이다.

이 범주에서 가장 널리 알려진 연산자는 Hueckel 연산자이다 [Hueckel, 1973]. Hueckel 에 의해 사용된 모형은 다음과 같다. 즉, 이상적인 계단형 화소경계는 영상 강도 화소경계의 짧은 선형 부분 영역이며 그것은 4 가지 자유도를 가진다 : 방향, 위치 그리고 화소경계의 측면에서 강도들 (상수라고 가정) (그림 28 참조). 그 다음 화소경계 탐지는 유사도의 측정에 있다. 영상 윈도우에서 매개변수 모형에 대한 최소평방오차 적합도를 찾는다.

그림 28 계단형 화소경계 모형. 매개변수 와 는 4 가지 자유도를 표현한다. 만약 모형에 자료가 성공적으로 부합된다면 영상에서 경계가 존재함을 선언한다.

(4) 화소경계 그룹화와 허프 변환 (Edge Grouping and Hough Transform)

이전에 서술했던 화소경계 탐지기들은 위치와 방향을 가진 짧은 선들을 생성한다. 유용하려면 이러한 화소경계 조각들은 확장된 화소경계로 모아져야 한다. 곡선은 화소경계들로부터 생성되어야 한다. 이러한 생성을 수행하기 위한 재미있고 유용한 도구는 허프 변환 (Hough transform) 이다. 점들이나 단선형 부분 영역들과 같은 특징들의 집합이 주어진다고 가정하고 이 특징들이 속하는 곡선을 찾기를 희망한다고 한다. 또한 이 곡선의 매개변수를 제외한 함수를 안다고 가정하자. 그러면 곡선의 매개변수들은 2 단계로 탐지된다. 첫단계에서 곡선에 허프 변환을 사용하여 가능한 매개변수 값들의 집합상에서 모든 특징이 대응된다. 2 단계에서는 1 단계에서 대응된 모든 매개변수의 집합의 교차를 탐지한다. 이 교차가 우리가 찾고 있었던 곡선의 매개변수의 값을 제공한다.

직선 위에 놓여진 점들의 집합이 주어진다고 가정하고, 점들이 놓여있는 방정식을 찾기를 희망한다. 선들은 잡음이나 빈 구간이 있거나 또는 구불구불할 수도 있다. 그림 29a 에 있는 점 와 선 방정식을 고려하자. 어떤 선들이 p' 을 교차할 수 있는가? 답은 를 만족하는 와 를 가진 모든 선들이다. 가 고정되어 있다고 간주한다면 마지막 방정식은 공간, 즉 매개변수 공간에 있는 선형방정식이다. 만약 이 추론을 반복한다면 두 번째 점 는 매개변수 공간에서 연관된 선을 가질 것이다. 더구나 이 선들은 점 에서 교차하고, 선에 이 점들을 연결한다. 선 상에 있는 모든 점들은 매개변수 공간에서 점 을 교차하는 선들을 산출한다 (그림 29b 참조).

그림 29 (a) 영상 공간에서 선 (b) 매개변수 공간에서 선.

만약 매개변수 공간에서 제약요소 집합이 공통 교차점을 갖지 않는다면 지정된 매개변수 형식의 곡선은 주어진 자료를 만족시키지 않는다.

(5) 영상 분할 (Image Segmentation)

영상 분할은 영상을 영역이나 덩어리들로 나누는 것을 의미하는 데, 각 분할은 특정한 의미에서 유사함을 가진다. 그러나 이웃 분할은 동일한 의미에서 동종이 아니다 [Nalwa 1993]. 여기서 동종은 예를 들면, 간략하게 크기를 다양하게 하거나 유사한 통계값 또는 색깔 등과 같은 특성에 의해 구별된다. 영상은 다양한 강도의 영역으로 분할되기 때문에 화소경계 탐지는 일반적으로 분할에 선행한다. 분할은 화소분류 (pixel classification), 분리 또는 통합 (spitting or merging) 그리고 최적화 방법 (optimization methods) 에 의하여 수행된다. 화소분류 방법은 가장 단순하다. 화소분류에서 각각의 화소는 명도값으로 분류된다. 명도 크기는 간격으로 나누어지며 명도 간격내에서 모든 화소는 한 개의 등급으로 할당된다. 임계값을 선택하는 것이 어렵다. 임계값을 선택하는 한 접근 방법은 전형적인 명도 히스토그램이 여러 개의 봉우리와 골짜기를 갖는 성질을 이용한다. 크게 밀착되어 있는 영역들은 보통 최대값을 생성하고 반면에 화소경계는 전형적으로 최소값을 생성한다. 그림 30 은 명도 수준의 히스토그램 영상을 보인다. 영상의 분할은 히스토그램에서 선택된 임계값에 기반을 둔다.

그림 30 히스토그램에 기반을 둔 영상 분할. (a) 원 영상. (b) (a) 에 있는 영상의 명도 수준 히스토그램. 각 명도값을 갖는 영상 화소들의 숫자를 그린 것이다. 그림에서 화소들이 동일한 부류에 속하도록 범주화되는 명도들을 나타내는 임계값 후보 집합을 보인다. (c) (b) 의 임계값에 기반을 둔 영상의 분할 (Vishrjit A. Nalwa, A Guided Tour Of Computer Vision (pp.7, 23, 55, 114), ⓒ1993 by AT&T Bell Laboratories. Addison-Wesley Publishing Company 의 허락으로 게재).

이러한 접근에는 몇 가지 문제점들이 있다. 하나의 등급으로 할당한 화소들은 화소들의 공간적 위치들이 분할되는 동안에 무시되어지기 때문에 밀착되어 있는 영역들을 필연적으로 형성하지는 않는다. 부가적으로 임계값 선택은 합리적인 방법으로 수행되지 않을 수도 있다. 즉, 많은 수의 최대값과 최소값이 있을 수 있다. 마지막으로 하나의 화소경계에 의해 분리된 것을 제외하고는 동일한 명도값을 가지는 두 영상영역은 동일한 분할로 분류되어질 것이다. 분할을 위한 최적화 기법은 이 완화과정 (relaxation processes) 들을 일반적인 패러다임으로 한다. 이 패러다임에 의하면 분할 명칭과 같은 후보 목록은 독립적으로 각 항목 (화소 또는 분할) 에 할당되고 신뢰도 수준으로 주어진다. 각 영역 분할의 신뢰도 수준은 강화되거나 이웃 명칭과 양립하는 명칭은 제거된다. 이 단계는 수렴과정까지 반복된다.

물론, 이웃 명칭과의 호환성은 사전에 선택되어진 어떤 모형을 기반으로 측정되어 진다. 이 완화과정은 분할들 사이의 호환성이 갱신되는 방법에 따라 결정적일 수도 있고 확률적일 수도 있다.

만약 그 밖의 다른 지식이 전후 상황이나 예측에 사용되지 않는다면 화소경계 탐지나 분할은 근본적으로 제한적이다. 일반적으로 상위 수준 의미 단서가 쓰이지 않고 사용되어진 정보가 단지 낮은 수준만 일 때에는 영상을 분할하기에는 너무나 많은 방법이 존재한다.

6. 윤곽선으로부터의 형상화 (Shape from Contour)

영상에서 광동의 화소경계 (brightness edge) 를 추정하고 나면 선그림 (line drawing) 을 얻는다. 시각적인 복원에서의 중요한 문제는 선그림으로부터 장면의 3 차원 구조를 추론하는 것이다. 인간은 선그림의 영상으로부터 형상을 복원하는 데는 우수함에도 불구하고, 이 문제에는 원천적인 모호성이 존재한다. 원근법에서 많은 장면의 선그림에서 예를 들면 깊이의 불연속성은 광선의 좁은 원불을 따라 장면의 위치가 한정될 수밖에 없다 (그림 31).

그림 31 무한한 수의 3 차원 그림이 동일한 영상으로 대응된다.

그림 32 네커 (Necker) 의 입방체. 이 그림에서 관찰자는 투명한 면을 가진 상자를 감지하게 된다. 정사각형으로 그려진 상자의 두 면들 중 어느 것이 관찰자에게 더 가까운지에 대한 두 가지 일관성있는 해석이 가능하다. 만약 그림을 자세히 응시한다면 두 개의 해석 사이에서 갈등하게 될 것이다.

윤곽선으로부터의 형상화 (shape from contour) 에 있어 대부분의 연구는 장면을 정량화하고 정성화하기 위해 불투명한 다면체 (opaque polyhedra) 의 영상에 초점을 맞추었다. 윤곽선으로부터의 형상화 처리 단위의 목적은 그림 33 과 같은 다면체 표면 영상으로부터 가능한 한 많은 정보를 추출하기 위한 것이다.

그림 33 다면체로 구성된 장면의 선그림. 검게 나타난 면들은 그늘을 나타낸다. 윤곽선으로부터 형상화 처리 단위의ㅣ 목표는 다양한 면들의 방향에 관한 정보를 유추해 내는 데 있다.

(1) 화소경계 명칭을 사용한 정성적 분석 (Qualitative Analysis Using Edge Labels)

선그림에 대한 분석은 정성화 혹은 정량화될 수 있다. 정확한 3 차원적 설명은 만들어 낼 수 없으므로 정성적으로 다양한 화소경계 명칭을 부여한다. 정량적으로는 평면 표면의 방향을 추측하려고 시도한다. 다음의 분류법은 선그림의 화소경계를 부호화하는 방법을 제안한다 : + (두 면이 나오면서 만난 경계선), - (두 면이 들어가면서 만난 경계선), ↑ (한 면만 보이는 두 면의 경계선). 그림 34 의 바닥에 놓인 상자에 표시된 이 부호들은 + 와 - 는 각각 화소경계를 형성하는 양면이 보이는 볼록선과 오목선을 ↑ 는 한 면만 보이는 두 면의 경계선을 표현한다.

그림 34 바닥면 위에 놓인 육면체

가리는 면은 화살표 방향의 오른쪽이며 가려지는 면은 왼쪽이다. 이 기호 분류를 하는 이유는 모든 경계선은 반드시 하나의 기호를 가져야 한다는 중요한 관찰이며, 그렇지 않은 경우 선을 이루는 면들은 일정하지 않은 방향을 가지는 것이 필요하게 된다. 이러한 관찰을 사용하여 우리는 조직적으로 완전한 모서리 목록 (junction catalog) 을 유도할 수 있다. 이것이 (3 개의 면으로 이루어진) 선그림에서 공통점에서 만나는 화소경계들로 구성가능한 모든 경우를 다 보여주는 것이다 (그림 35).

그림 35 다면체를 구성하는 세 면의 꼭지점의 모서리 목록. 64(=4³) 개의 가지수가 존재 하지만 이 그림의 것들만이 실존한다.

따라서, 선그림에서 그림 35 의 접합기호를 사용해서 기호화하는 것이 불가능한 경우는 물리적으로 존재할 수 없다. 만일 기호화될 수 있다면 그 그림은 즉시 정성적인 해석이 가능하다. 이 장 마지막의 Lisp 구현은 그림 35 의 모서리 목록을 이용하여 다면체 선그림에 명칭 (label) 을 부여하는 알고리즘을 설명하고 있다.

그림 36 무의미한 명칭부여와 비다면체. (b) Mackworth [1977] 참조 (c) Huffman [1971] 참조

(2) 비틀어진 대칭을 이용한 정량적 분석 (Quantitative Analysis Using Skewed Symmetries)

정량적인 접근 방법들 중에서 비틀어진 대칭 (skewed symmetry) 은 평면 윤곽에서 많은 주목을 끌었다. 많은 평면체는 축에 대해서 대칭이다. 이 축과 이 축에 대해서 수직이면서 객체 (object) 와 같은 평면에 있는 또 다른 축은 객체의 자연적인 좌표계 (coordinate system) 를 형성한다. 만일 객체의 면이 가시선 (광축) 에 대해서 수직이라면 좌표축들은 직각을 이룬다. 그렇지 않다면 축은 비틀어지게 된다 (그림 37 의 예를 참조). 비틀어진 대칭은 실 대칭 (real symmetry) 을 반영하기도 하고 그렇지 않기도 한다. 그러나, 만일 비틀어진 대칭이 기울어진 실 대칭의 결과라면 비틀어진 공간에서 객체 방향에 대해 흥미로운 제약이 유도될 수 있다.

그림 37 비틀어진 대칭의 예들

화상에서 방향 를 가지고 방향 를 가진 평면에 위치한 단위 벡터의 영상은 다음과 같은 3 차원 좌표를 가진다.

만일 비틀어진 대칭의 두 축이 영상의 축에 대해서 경사각 와 를 가진다면, 3 차원 공간상의 두 벡터 와 는 다음과 같은 좌표를 가져야 한다.

그러나 3 차원에서 세 개의 벡터가 실 대칭을 반영하므로 그들은 서로 수직이거나 혹은 이어야 한다. 즉,

이다. 의 각도로 축을 회전시킴으로써, 즉 좌표계를 다음과 같이 바꾸면

앞의 식은 일 때 아래와 같이 된다.

따라서 객체의 기울기는 축에 대해서 만큼 기울어진 축과 와 의 방향에 대해서 수직 점근선을 가지는 쌍곡선 상에 있어야 한다 (그림 38 참조).

그림 38 기울기 (gradient) 공간에서 비틀어진 대칭 제약

7. 음영으로부터의 형상화 (Shape from Shading)

명도 수준 (gray level) 변화로부터의 표면 방향 복구 (음영으로부터의 형상화) 는 널리 연구되어 왔다. 컬러판 (color plate) 4 는 음영을 포함한 영상을 보여준다. 사람은 적어도 정성적으로 영상면의 형상을 쉽게 인지할 수 있다. 이 절에서 우리는 나중에 설명할 다른 가정들과 함께 음영에서 표면의 방향을 복원하는 방법에 대해서 설명한다.

면 구성요소에 의해서 반사되는 빛의 양 (면반사량) 은 면의 미세구조, 광학적 성질, 각도 분포, 입사 조명 (incident illumination) 의 편광상태에 의해서 결정된다. 어떤 표면에서는 입사 조명 (조사) 은 표면의 방향에 의해서만 결정되는 특정한 방향으로 반사된다. 이런 표면의 반사는 그림 39 에 묘사된 입사각도 , 위상 , 반사각 로 이루어진 함수 로 표현될 수 있다. 예를 들면, 거울같은 완전 반사의 경우 입사각은 반사각과 같고 입사 벡터, 반사 벡터, 법선 벡터는 같은 평면에 위치하며 위상각은 가 된다. 따라서 반사함수는 아래와 같다.

그림 39 특정 관찰자, 점, 광원의 입사각도 와 위상 , 반사각 를 기술하는 반사의 기하학적 배치

가장 널리 사용되고 있는 표면 반사 모형은 알비도 상수 (alvedo constant) 라 불리는 표면 상수 을 가지는 함수 에 의해서 정의된다. 이 함수는 모든 관찰 방향에서 같은 밝기를 나타내며 완전하게 방사하는 램버시안 표면 (Lambertian surface) 의 반사를 정의한다. 입사각의 코사인은 광원으로부터 가까운 쪽의 표면의 원근법에 따른 축소를 보정하기 위한 것이다.

직각 투영에서 관전 방향과 위상각 는 모든 표면 구성요소에 대해서 일정하다. 그래서 고정된 광원과 관전 위치 그리고 주어진 표면 물질에 대해서 입사에 대한 반사율은 표면 법선 벡터에 의해서만 결정된다. 각 표면 구성요소는 같은 입사를 받는다고 가정하자. 그러면 표면 반사와 영상 명암도 는 표면 법선 벡터에 의해서만 결정된다.

(1) 반사율 지도 (Reflectance Maps)

표면 법선 좌표 에 의해서 표현될 때, 반사율 함수는 반사율 지도 (reflectance map) 라 불리며 로 표기된다. 이 지도는 특정한 광원, 표면 법선, 관측자 위치 등에 대한 주어진 표면 물질을 위한 동일한 표상 (uniform representation) 을 제공한다.

정사영 하에서 를 위한 표현식은 표면 법선 벡터 , 광원 벡터 , 관측자의 방향을 향하는 벡터 (0, 0, -1) 로부터 쉽게 유추된다. 램버시안 반사율 함수에서 를 알비도 상수라 할 때 다음과 같이 표현된다.

고정된 광원과 고정된 반사율 제약 하에서 반사율 지도는 휘도값을 표면 방향과 연관짓는다. 그림 40 은 관측자 근처의 동일한 표면과 광원에 대한 반사율 지도의 등광도 윤곽선 (isobrightness contour) 을 보여준다. 그림 41 은 관측자로부터 멀리 떨어진 동일한 표면과 광원에 대한 반사율 지도를 보여준다.

그림 40 광원이 관찰자의 근처에 있을 때 램버시안 표면에 대한 등광도 윤곽

그림 41 광원이 관찰자로부터 먼 곳에 있을 때 램버시안 표면에 대한 등광도 윤곽선들 (MIT Press 의 사용허가에 의해 Robot Vision 에서 발췌함).

영상 조사 식 은 비선형 1 차 편미분방정식이다. 이 식을 푸는 방법은 특성띠 확장법 (characteristic strip expansion) 이다. 이 방법은 모두 해법면의 탄젠트 평면에 속하는 부분 탄젠트를 가진 공간 곡선 군을 찾음으로써 해법면 을 계산한다. 곡선은 가 곡선의 길이라 할 때 하나의 매개변수를 가진 점 를 집합으로 구체화할 수 있다.

에 대해서 미분하면

이거나

이다. 벡터 은 해법면의 탄젠트 평면에 있다. 평면 또한 같은 평면에 있다. 따라서, 우리는 다음과 같은 결과를 유추할 수 있다.

(4)

(5)

(6)

여기서, 아래 첨자는 편미분을 의미한다.

에 대해서 영상 조사식을 미분하면 가 되고, 이므로 이 된다. 따라서,

비슷하게

따라서, 만일 우리가 영상점 가 방향 를 가진 표면 조각에 해당한다는 것을 알고 있다면, 다른 점들에 이 해법을 확대시킬 수 있다. 만일 부터 까지 그리고 부터 까지 각각 특징띠를 따라서 만큼을 이동시킨다면 5 개의 미분방정식 (4)~(8) 은 영상의 진행이 방향 으로 된다는 것을 보여준다. 이것은 반사율 지도에서 등광도 윤곽선에 대한 법선을 따라간다. 같은 방법으로, 반사율 지도에서 진행 방향은 영상에서 계산된 등광도 윤곽선에 대해서 수직이다. 따라서 만일 우리가 반사율 지도를 안다면, 우리는 표면 방향이 알려진 점들로부터 시작되는 특징 띠를 따라서 점들로서 표면 방향을 추정할 수 있다. 이 방법을 사용하기 위해서 우리는 알려진 표면 방향을 가진 초기점이 필요하다. 알고리즘 또한 표면이 초기점에서 지역적으로 볼록하다는 가정에 의존하고 있다.

(2) 악성 문제 해결 (Solving Ill-Posed Problems)

문제의 해법이 존재하지 않거나 유일하지 않거나 혹은 자료에 연속적으로 의존하지 않을 때 그 문제를 악성 (ill-posed) 이라고 한다. 명암으로부터 형상화하는 문제는 악성이며, 따라서 우리는 추가적인 제약들이 필요하다. 이제 우리는 경계 조건을 따라서 평활화 제약이 어떻게 유일한 해법을 제공하는 가를 설명할 것이다. 윤곽을 경계짓거나 막는 것은 X 의 형상화문제에 경계 조건을 제공한다 (여기서 X 는 명암, 윤곽, 움직임, 스테레오 등을 의미). 만일 이 점 의 명암도이고 가 표면 방향의 입체 좌표 (stereographic coordinates) 라면 가 영상에 속할 때 우리는 다음 식을 최소화하는 표면 를 찾을 수 있다.

단,

이고

합산식의 첫 번째 항은 평활화에 어긋나고, 두 번째 표현은 영상 방사에 의해서 정의된 제약에 어긋난다. 따라서 를 최소화시키는 표면은 영상 방사식을 만족시키며, 또한 최대한으로 평활화시킨다. 매개변수 는 평활화와 방사제약간의 상대적인 중요도를 정의한다. 우리는 에 대해서 각각 미분을 취하고 결과를 0 과 같도록 유도해서 정리하면 된다. 이것은 반복하는 알고리즘의 기초로서 다음과 같은 순환관계를 유도하게 된다.

여기서 괄호 안의 위 첨자는 반복수를 나타내고, 윗선은 부분 평균을 나타낸다. 폐쇄 경계에서 표면 방향은 알려져 있으므로 이 순환은 내부적으로 정보를 전달하고, 이완 (relaxation) 형태로 모든 곳의 방향을 계산한다.

(3) 광도 양안법 (Photometric Stereo)

다중 광원을 이용해서 음영으로부터 형상을 계산하는 또 다른 기술이 광도 양안법 (photometric stereo) 이다 [Woodham, 1980]. 첫째 광원만을 이용해서 얻은 영상의 점 의 명암도를 라 하자. 그러면 의 표면 방향은 로부터 계산된 명도 (brightness value) 에 해당하는 반사율 지도의 등광도 윤곽선으로 제한된다. 비슷하게, 두 번째 광원이 사용되었을 때 표면 방향은 대개 두 개의 등광도 윤곽선의 교점으로 결정된다. 그림 42 는 그 과정을 보여준다. 세 번째 광원은 완전히 모호함을 없애준다.

그림 42 두 개의 광원을 사용한 광도 양안법의 묘사. (a) 첫 번째 광원만을 사용한 등광도 윤곽선들 (b) 두 번째 광원만을 사용한 등광도 윤곽선들 (c) 겹쳐진 두 광원으로부터의 등광도 윤곽선들. 한 점에서의 표면의 방향은 종종 광원의 한 점에서의 강도에 따라 두 등광도 윤곽선의 교차를 찾음으로써 결정된다 (ACM 의 허락 하에 ACM Computing Surveys 에서부터 발췌).

8. 표면결로부터의 형상화 (Shape from Texture)

표면결 (texture) 은 표면 방향에 관한 정보의 중요한 근원을 제공한다. 컬러판 5 와 6 은 자연적인 면의 원근 투시 영상을 보여준다. 사람은 쉽게 표면의 모양을 파악할 수 있는 것처럼 보인다. 표면결로부터 모양을 복원하기 위해서 표면 방향의 왜곡 효과와 영상 기하학은 왜곡이 일어나는 표면결의 성질로부터 구별되어야 한다. 이것은 표면결을 추정한다는 가정이 필요하다. 표면결로부터 평면의 방향을 복원하는 문제는 광범위하게 연구되고 있다. 이 연구들은 표면결과 영상 기하학에 대해서 다른 가정에 기초를 두고 있다.

영상 형상의 과정은 장면의 표현에 왜곡을 가져온다. 이 왜곡들은 거리 효과 (distance effect) (물체는 카메라에 가까울수록 더욱 커 보임) 와 단축 효과 (foreshortening effect) (왜곡은 표면 법선과 시선 사이의 각도에 좌우됨) 이다. 정사영 (orthographic projection) 모형에 단축 효과만이 나타나고 거리 효과는 무시된다. 그러므로 정사영을 이용해서 표면결로부터 형태를 구하는 방법은 제한적인 범위에서만 효과가 있다. 원근투시모형은 두 가지 영향을 다 고려한다.

(1) 표면결 요소의 밀도 (Density of Textural Elements)

표면결로부터의 형상화 문제에 대한 첫 번째 시도자는 Gibson [1979] 이었다. 인간이 어떻게 표면결로부터 표면 방향을 인지하는가를 이론화시키려 시도를 한 결과, 그는 표면결이 표면결소 (texel) 라고 불리는 작은 것으로 이루어진다고 가정하였다. 물론, 이 표면결소는 매우 불규칙적으로 배열될 것이다. 그러나, 우리는 평면의 각 단위 면적이 거의 동일한 수의 표면결소를 포함한다는 의미에서 표면결소들은 균등배열된다고 가정한다. 그러나, 영상에서 표면결소 밀도는 균등하지 않을 것이며 위치적으로는 다양하다. 그러면 영상의 표면결 밀도의 기울기 (최대 변화율의 크기와 방향) 는 표면 방향을 결정하고 크기는 표면 기울기 (surface slant) 와 경사 방향 (direction of the tilt) 에 의해서 정해진다.

배경 투영된 표면결 밀도의 수식은 다음과 같다. 영상 영역 과 가 각각 면적 과 을 가지고, 과 개의 표면결소를 가진다고 하자. 불규칙 원근 투영법 (paraperspective projection) 에서 이 의 중심이고 영상 평면의 식이 일 때 영상에 해당하는 영역의 넓이는 각각 과 이다. 균등 밀도 가정에 의하면 우리는 을 얻을 수 있고, 이것은 다시 다음과 같이 변환될 수 있다.

그림 43 여러 쌍의 구역을 이용해 계산된 기울기 공간에서의 선들. 각 영상 구역의 쌍은 하나의 선을 결정한다. 이상적인 경우 두 쌍의 영상을 사용해 와 를 풀 수 있지만 표본 추출된 오류들을 다루기 위해서는 많은 쌍의 영상 구역들을 사용하고 모든 선들로부터 거리의 합이 가장 작은 점을 계산한다.

이 식은 공간에서 직선을 나타내며, 따라서 두 영상 영역에서 표면결소의 수를 비교하는 것은 경사 공간에서 직선 위에 놓인 로 한정된다. 영상 영역의 두 쌍을 이용하는 것은 이상적으로는 와 에 대해서 풀 수 있다. 그러나 표본추출 과정 (영역의 영상 디지털화와 표면결소의 밀도 파동) 에서 오차가 발생하므로 믿을 만 하지 못한 결과를 초래한다. 확실한 결과를 얻기 위해서 우리는 영상 영역 내의 많은 쌍들을 이룬다. 각 쌍은 경사 공간에서 직선을 구성하고 기대하는 답은 모든 직선으로부터의 거리의 합이 최소가 되는 점이다 (그림 43 참조).

이 방법은 표면결소들이 헤아릴 수 있도록 구별될 수 있어야 한다. 좀더 현실적인 접근은 영상 영역에서 화소경계의 총 길이의 합을 이용한다. 이것들이 각 표면결소 가장자리라고 가정하면 그들의 총 길이의 합은 표면결소의 수에 비례할 것이다. 이 방법을 사용하면 실세계 장면에서 평면 표면의 방향을 복원할 수 있다. 예를 들면, 컬러판 7 은 위로 20° 기울어지고 옆으로 0° 기울어진 방향을 가진 담쟁이덩굴 벽의 영상을 보여준다. 컬러판 8 은 추출된 화소경계를 보여준다. 이 화소경계 영상은 변형된 균등 밀도 가정을 이용해서 복원하는 알고리즘에 따라서 위로 24.5° 기울어지고 옆으로 5.6° 기울어진 방향을 추출하였다.

비평면 표면에 대한 표면결로부터의 형상화 연구는 아직까지는 컬러판 9 에서 보이는 것 같은 균등하게 배치된 균등한 표면결소들을 표면으로 복원하는 이상적인 경우로 제한된다.

(2) 표면결 반사율 지도 (Textural Reflectance Maps)

음영으로부터의 형상화에서 사용된 방법을 표면결로부터의 형상화 문제에 적용시키는 기술이 있다. 모든 표면결소는 대부분 평평하고 동일한 면적을 가지며, 우리는 근사 원근투영법을 사용한다고 가정하자. 는 영상 표면결소의 면적, 는 해당하는 장면 표면결소의 면적, 은 영상 표면결소의 중심, 는 장면 표면결소의 범위라 하면 (초점 길이는 1 이라 가정), 을 장면 표면결소를 포함한 평면의 기울기라 할 때, 이들 간의 관계는 다음과 같다.

을 "표면결 강도 (texture intensity)", 을 "표면결 알비도 (texture albedo)" 라 부르면, 는 명도, 은 명도 를 가진 표면점의 기울기, 를 점의 알비도, 은 광원의 방향이라고 할 때 앞의 식은 영상 방사식 (image irradiance equation) 과 매우 유사하다.

우리는 다음 식을 "표면결 반사율 (textural reflectance)" 이라 부른다.

만일 과 영상의 표면결소의 위치 를 고정시킨다면, 이 식은 표면결 강도의 등고선의 나열로 쉽게 그래프화 할 수 있다. 그림 44 는 간단한 표면결 반사율 지도 (textural reflectance map) 를 묘사한다. 를 이용하면 우리는 음영으로부터의 형상화절에서 음영으로부터의 형상화와 경계 폐쇄화로 윤곽을 복원하던 것과 같은 방법으로 영역 Ω 에서 형상을 복원할 수 있다. 즉, 평활화에 대한 고정적인 상대 중요도를 구체화시키는 상수를 라 할 때 다음 식을 최소화함으로써 가능하다.

이 방법을 사용한 결과가 컬러판 10 에 나타나 있다.

그림 44 표면결 반사율 지도

9. 양안 시각 (Stereo)

컴퓨터 시각에서 양안 시각 (stereo) 의 이용은 다른 관점에서 얻어진 두 장의 영상으로부터 3 차원 구조를 복원하는 것을 의미한다. 입체사진술의 처리에 깔린 기본적인 아이디어는 3 각 측량에 기초를 두고 있다 (그림 45 참조). 장면의 한 장의 영상을 다루어 보자. 3 차원에서 어떤 눈에 보이는 객체 점의 위치는 투영의 중심과 점의 영상 사이를 연결하는 직선 위에 위치하도록 제약을 받는다. 따라서, 두 개의 서로 다른 관점에서 얻은 두 개의 영상이 주어진다면 양쪽 영상에서 관찰되는 어떤 객체점의 위치라도 두 직선의 교차점에 놓이게 된다. 두 직선의 교차점을 찾음으로써 장면의 점을 위치시키는 과정을 3 각 측량이라고 부른다. 그러나, 그럴 듯한 3 각 측량을 위해서는 한 영상의 객체점의 위치를 다른 영상의 위치에 반드시 "맞추어야" 한다. 두 영상의 특징들간의 짝을 이루도록 하는 것이 바로 대응문제 (correspondence problem) 이다. 두 개의 영상에서 여러 점들 간의 대응이 유일하지 않을 때는 3 각 측량은 한 장면에 대해 여러 다른 해석을 내리도록 만들기도 한다 (그림 46 참조).

그림 45 3 각 측량을 통한 양안 시각

그림 46 영상 내의 점들의 대응 (correspondence) 의 모호성은 주어진 한 장면에 대한 여러 가지 해석을 이끌어 낸다.

(1) 대응문제 다루기 (Addressing the Correspondence Problem)

대응문제는 컴퓨터 시각에서 가장 어려운 문제들 중에 하나이다. 해결책을 위한 많은 연구들이 있었다. 카메라가 서로 다른 관측 시야를 가지고 한 쪽만 가려지기도 하기 때문에 한 영상에서 어떤 점들은 다른 영상에서 대응되는 점들이 없기도 할 것이다.

서로 대응을 시키기 위해서 다른 영상에서 모든 점들을 찾아야 할 때도 있다. 다행스럽게도 외극 제약 (epipolar constraint) 이라 불리는 탐색공간을 줄이는 간단하고 강력한 제약이 존재하기 때문에 2 차원적인 탐색은 필요없다. 그림 47 을 보자. 투영의 두 개의 중심을 관통하는 평면을 외극 평면 (epipolar plane) 이라고 부른다. 외극평면은 기준선을 포함하는 평면이다. 두 개의 영상 면과 외극 평면을 교차하는 직선을 외극선 (epipolar line) 이라고 한다. 한 외극선상의 한 점에 대응점은 다른 영상에서 해당하는 외극선으로 제한된다는 것이 그림 47 에서 명백하게 나타난다.

그림 47 외극선의 기하학적 배열. 그림에서 두 영상 면들 각각은 서로 다른 투영 중심을 갖는다. 두 개의 투영 중심을 통과하는 평면은 외극 평면이라고 부른다. 외극 평면이 두 영상 중 어느 하나와 교차하는 선은 외극선이라 불린다.

계산상의 편의를 위해서 대개의 경우 두 개의 영상 면들은 기준선과 평행한 동일 평면을 선택한다. 양안 시각 영상이 기준선과 평행하고 동일 평면상에 있을 때 그들은 교정되었다고 한다. 마지막으로 자주 나타나는 것은 두 개의 대응 영상점들의 차이에 의해서 발생하는 벡터를 의미하는 항으로서 부동값 (disparity) 이라고 부른다. 양안 시각 구성에서 왼쪽과 오른쪽 카메라의 영상 면이 동일 평면상에 있는 그림 4 를 보라.

그림 48 양안 시각은 좌우가 동일한 카메라 평면들에서 출발한다. 는 각 카메라의 초점거리이고 는 기준선이다.

만일 이 왼쪽 카메라의 좌표 체계에 해당하는 3 차원 점이고 과 이 각각 왼쪽과 오른쪽 영상에서 의 영상이라면 우리는 다음 식을 얻을 수 있다.

따라서,

이 식들은 로 나타나는 수평 부동값만이 존재한다는 것을 의미하고, 과 는 3 각 측량 과정을 의미한다.

두 개의 영상간의 대응을 만드는 것에 포함된 문제점들은 (a) 두 영상간에 대응되는 것은 어떤 실체 (요소, 점) 들인가, (b) 대응을 어떻게 수행하는가, (c) 대응의 성공 여부를 어떻게 계산하는가 하는 것이다. 대응 연구는 외극선을 조화시키는 것으로 제한된다. 양안 시각 대응 문제를 다루는 기술에는 두 가지 일반적인 부류가 있다. 영상 명도를 대응시키는 데 기초를 둔 방법과 가장자리를 대응시키는데 기초를 둔 방법이 그들이다.

(2) 강도에 기초한 짝짓기 (Intensity-Based matching)

해당하는 외극선을 따라 대응시킬 때 그 영상 강도에 의해서 점들을 짝짓기시킬 수 있다. 이 접근법은 대응점들은 동일한 강도를 가진다는 가정 하에서 이루어진다. 이 가정은 일반적인 경우에 있어서는 사실이 아니다. 이런 이유로 만일 강도에 기초를 두고 점들을 조화시킨다면 다양한 영상 영역의 강도형태들간의 유사도 측정을 최소화시켜야 한다. 물론 그 구역은 작은 구역이거나 외극선, 혹은 전체 구역일 수도 있다.

두 가지 성공적인 유사도 측정은 제곱차합 (sum of squared difference : SSD) 과 교차상관 (cross-correlation : CC) 이다. 만일 와 가 각각 왼쪽과 오른쪽의 영상이라면 영역 W 에 해당하는 SSD 와 CC 는 다음과 같이 정의된다.

한 영상을 다른 영상에 대응시키려면 어떤 외극선 상의 영상점에 중심을 둔 작은 구역을 선택해서 해당하는 외극선을 따라 가장 잘 대응되는 영상 구역을 찾는다. 그러면 구역의 중심은 대응점으로 선택될 수 있다. 이런 종류의 대응에서 가장 중요한 문제점은 이용하는 구역의 크기에 영향을 받는다는 것이다. 만일 구역의 크기가 너무 작다면, 충분한 영상 구조를 잡기 어려울 것이며, 잡음에 민감해지고 따라서 틀린 대응을 얻게 된다. 만일 너무 크다면, 대응점 주변의 강도가 작을 것이라는 가정에 어긋나게 된다. 그림 49 는 강도에 기초한 대응을 사용해서 계산된 양안 시각 시스템의 결과를 보여준다.

그림 49 (a) 야외 장면을 찍은 한 쌍의 양안 시각 영상. (b) 계산된 부동값 영상. 높은 강도는 픽셀들의 이미지 위치 사이의 낮은 부동값을 의미한다. 낮은 강도는 높은 부동값을 의미한다 ("Stochastic Stereo Matching Over Scale", S. Barnard, International Journal of computer Vision, Vol. 3, pp. 17-32, 1989. Kluwer Academic Publishing 제공).

(3) 화소경계에 기초한 짝짓기 (Edge-Based Matching)

이 기법으로 화소경계 (edge) 를 찾아내고 대응 외극선을 이용해서 화소경계들 간의 교점을 대응시킨다. 물론, 이 기법은 외극선을 따라가는 화소경계가 아니거나 화소경계를 포함하지 않는 영역에 대해서는 별효과가 없다. 화소경계에 기초한 방법은 화소경계 연속 제약 (edge continuity constraint) 의 이점을 가진다. 만일 한 영상에서 외극선을 가진 화소경계의 교점이 해당하는 외극선을 가진 어떤 화소경계의 교점과 대응을 이룬다면 해당하는 외극선을 가진 이 두 화소경계의 모든 다른 교점들도 또한 일치되어야 한다. 화소경계에 기초한 방법은 외극선을 따라서 지역적으로 구별이 되는 영상점들에 대해서만 깊이를 제공한다. 따라서 특정 성질들을 지닌 관점에서 표면을 가정하는 중간 점에서 깊이를 초정하는 몇몇 기술들이 고안됐다.

10. 시각 움직임의 분석 (Analysis of Visual Motion)

양안 시각에서는 고정된 관측자에 의한 시각 인식 (visual perception) 으로 한정을 지었다. 이동하는 관측자는 더 많은 세계를 시험할 수 있다. 어떤 환경 하에서 카메라가 움직이고, 연속된 영상을 찍는다면 이동 관측점 차원이라는 부가적인 차원을 가진 영상 자료를 많이 얻을 것이다. 더 많은 정보를 이용하면 더 쉽게 복원을 할 수 있다. 시간변화 영상 (time-varying imagery) 을 이용한 형상 복원은 기초적인 이론이 동일하기 때문에 양안 시각 복원의 일반적인 형태이다. 모든 장면점 (scene point) 은 모두 투영선 위에 있고, 따라서 장면 점들의 다중선들은 점의 공간적인 위치를 결정한다. 양안 시각과 이동 시각간의 가장 커다란 차이점은 양안 시각에서는 두 대의 카메라의 위치가 알려져 있다는 것이다. 이동 시각에서는 연속해서 영상 프레임을 모으는 카메라들의 상대적인 위치는 일반적으로 모른다. 따라서, 시간변화 영상의 이용에서 먼저 결정되어야 할 것은 카메라와 장면간의 상대적인 움직임이다.

(1) 운동 방향장 (Motion Fields)

시간변화 영상 이해에서 중요한 개념은 Gibson 에 의해서 소개된 운동 방향장 (motion field) 이다. 그림 50 은 구름으로 덮인 날에 등고도 비행시 장면을 주시하는 비행사의 눈에 비친 운동 방향장을 나타낸 것이다. 운동 방향장은 영상점에 부여된 벡터들이다. 각 벡터는 해당하는 장면점의 영상 운동을 나타낸다. 관측자가 돌지 않고 앞으로나 혹은 뒤로만 움직일 때, 모든 영상 운동 벡터는 (만일 관측자가 장면에 접근한다면) 확장 초점 (focus of expansion) 으로부터 사방으로 방사되거나 (만일 관측자가 장면으로부터 멀어진다면) 축소 초점 (focus of contraction) 으로 모이게 된다. 그림 51 에서 볼 수 있듯이, 확장 초점은 영상 면에서 이동 관측자의 이동 방향의 교차점으로 정의된다. 따라서, 이동 방향이 영상 면과 평행하다면, 운동 방향장 벡터는 평행하며 확장 초점은 무한하게 된다 (그림 52 참조).

그림 50 등고도 비행시 정면을 바라보는 비행사의 시야 운동장 (Houghton Mifflin Publishing Company 의 허락하에 Tne Perception of the Visual World 에서 발췌).

그림 51 확장 초점 (Houghton Mifflin Publishing Company 의 허락하에 The Perception of the Visual World 에서 발췌).

그림 52 등고도 비행시 오른쪽을 바라보는 비행사의 운동 방향장 (Houghton Mifflin Publishing Company 의 허락하에 The Perception of the Visual World 에서 발췌).

만일 관측자가 (관측선을 따라갈 필요는 없지만) 원점을 통과하는 축 주위를 맴돌고 있다면 운동 방향장은 원뿔 단면 (conic section) 의 집합에 대해 접선으로 된다. 이와 같은 경우에 3 차원의 모든 점들은 회전축에 수직인 평면상에서 원을 따라 움직인다. 이 원형 경로의 원근 영상은 원에 의해서 정의된 원뿔과 회전축간의 교차점이 된다 (그림 53a 참조). 주어진 점에 대한 원뿔의 구멍 각과 회전축을 형성하는 영상면의 각 사이의 관계에 따라서 다른 2 차 곡선들이 교차점에 대해서 얻어지게 된다. 그러나, 관측자가 제한없이 고체의 성질을 가지고 (이동과 회전) 움직이고 있다면, 확장 초점 (혹은 축소 초점) 과 회전 중심은 운동 방향장에서 쉽게 알기 어려울 수도 있다 (그림 53b 참조).

그림 53 (a) 회전 운동 방향장 : 회전의 중심 (두 점선의 교차점에서) 은 회전의 축이 영상 표면과 교차하는 그 점이다. (b) 9 × 9 격자상의 점들에서 표본추출된 일반적인 고체의 움직임에 대한 운동 방향장.

앞서 지적을 했듯이, 장면 복원을 진행하기 전에 움직이는 관측자는 운동 방향장을 입력으로 사용하는 자신의 운동을 복원하여야 한다. 조금 더 형식을 갖추어 이야기하면 운동으로부터의 구조 (structure from motion) 문제는 다음과 같이 정의된다 : 어떤 환경에서 이동 과 회전 을 하면서 고체적 (rigidly) 으로 움직이는 관측자에 대해서 관측자가 수집한 영상들을 입력으로 이용해서 관측자의 운동과 장면의 구조를 복원한다 (그림 54 참조).

그림 54 고체적으로 움직이는 관찰자

운동과 구조를 측정하는 것은 입력되지는 않지만 추산되어야만 하는 운동 방향장을 입력으로 사용함으로써 가능하다. 따라서, 운동으로부터의 구조 (structure from motion) 의 문제는 운동 방향장의 측정과 해석의 두 가지 요소로 구성된다.

여기서 우리는 다중 운동 물체나 고체가 아닌 움직이는 객체로 구성된 장면의 경우는 다루지 않는다. 더군다나 추격, 추적, 귀환, 결합과 같은 시각 운동의 문제는 다루지 않는다. 오직 정적인 장면에서 움직이는 관측자에 의한 운동과 구조의 복원만을 다룬다.

(2) 운동 방향장 추산 (Motion Field Estimation)

장면과 관련이 있는 관측자의 상대적인 운동은 영상 면에서 광도 패턴의 운동을 발생시킨다. 영상 면에서의 광도 패턴의 순간적인 변화는 분석되어 영상에서의 움직임을 묘사하는 2 차원 벡터장인 광학 흐름장 (optical flow field) 을 만들 게 해준다. 영상에서의 변화 속도인 광학 흐름은 운동장에 대한 근사값이다.

각 화소의 광학 흐름값은 지역적으로 계산된다. 즉, 작은 시공간적인 이웃에 대한 정보만이 광학 흐름을 추정하기 위해서 사용된다. 일반적으로 작은 부분만을 관찰함으로써 영상점의 실제 속도를 계산하는 것은 불가능하다. 두 순간적인 시간에 작은 구멍을 통해서 전체 특징과 비해서 작은 특징 (선, 막대기, 윤곽의 일부) 을 지켜보고 있다고 상상해보자 (그림 55 참조). 이 작은 구멍을 통해서 관측하는 한 특징의 각점을 다음 순간 정확하게 어디로 이동시켜야 하는 가를 결정하는 것은 불가능하다. 국부적인 측량으로부터 직접적으로 얻을 수 있는 정보는 법선 흐름 (normal flow) 이라고 불리는 특징에 수직인 속도 구성요소들 뿐이다. 그러나, 특징에 평행한 광학 흐름의 구성요소를 결정할 수는 없다. 렌즈구경문제 (aperture problem) 라고 불리는 이 모호함은 광학 흐름을 국부적으로 측정하는데, 구체적으로 적용되는 기법에 상관없이 독립적으로 존재한다. 렌즈구경이 특징의 끝점 주변에 위치하는 경우에는 두 시각에서의 정확한 끝점의 주변에 위치하는 경우에는 두 시각에서의 정확한 끝점의 위치가 알려져 있으므로 실속도는 계산될 수도 있다. 따라서, 렌즈구경 문제는 강한 명도 기울기를 가진 영역 (예를 들면, 화소경계) 에서 존재하고 모퉁이 같은 고차원 명도 변화를 가지는 위치에서는 존재하지 않을 수도 있다.

그림 55 (a) 시각 에 작은 구멍 사이로 보이는 선 특성. (b) 시각 에 특징은 새로운 위치로 이동했다. 각 점이 어떻게 이동한 것인지를 정확히 결정할 수는 없다. 지역적인 측정에 의해서는 그 직선에 수직인 움직임의 구성 요소만이 계산될 수 있다.

그러므로 어떤 광학 흐름 과정은 두 가지 계산 과정을 갖는다. 첫 단계에서 영상에 대한 정보의 어떤 형태를 유지한다고 가정하면 국부적으로 계산가능한 속도 정보가 구해진다. 변하지 않는다고 가정된 정보의 종류에 따라 세 가지 서로 다른 접근 방법이 구별될 수 있다 : 영상 명도는 변하지 않는다는 가정에서 기울기에 근거를 둔 접근 방법, 국부 명도 분포의 보존을 가정하는 상호관계에 근거를 둔 접근 방법과 시공간 주파수 공간에서 기울기에 근거를 둔 방법과 유사한 시공간 에너지에 근거를 둔 방법. 두 번째 단계에서 광학 흐름벡터의 다른 구성요소들을 계산하기 위해서 추가적인 가정들이 필요하다. 평활화 방법의 일종이나 장면의 형태가 광학 흐름 값에 대한 제약을 구하기 위해서 기하학적으로 모형화된다. 여기서 우리는 기울기기반 접근 방법을 설명한다.

Horn 과 Schunck [1981] 에 의해서 소개된 기울기기반 접근 방법은 주어진 장면에 대해서 해당하는 영상점에서 명도 는 시간에 관계없이 일정하게 유지된다는 가정에 기초를 두고 있다. 만일 점 가 시간 에 영상점 으로, 시간 에 영상점 로 투영된다면 다음과 같이 쓸 수 있다.

(9)

만일 1 차 테일러 순열 확장으로 식 (9) 의 오른쪽을 전개하고, 영상점 의 속도를 로 나타낸다면 광학 흐름을 의 편미분인 과 관련시키는 다음의 식을 얻는다.

(10)

이 제약을 광학 흐름 제약식 (optical flow constraint equation) 이라고 부르고, 이는 렌즈 구경 문제를 간단하게 한다. 이 선형식은 속도공간 에서 선을 정의한다. 따라서, 기울기 방향의 벡터 구성요소만이 계산될 수 있다. 만일 영상의 모든 점에 운동 제약식을 적용한다면, 법선 흐름이 계산될 것이다 (그림 57 참조).

그림 56 광학 흐름 (optical flow) 에 관한 제약들. 식 은 기울기 를 따라 의 요소만이 추정가능하고, 영상점 를 통해 윤곽에 접하는 흐름의 구성요소에 관한 정보를 갖고 있지 못하다는 것을 명시한다.

광학 흐름을 계산하기 위해서는 더 많은 정보가 필요하다. 그와 같은 정보들은 관측하는 장면에 관해서 만들 수 있는 추가적인 가정으로부터 온다. 고려할 만한 제한은 평활화, 즉 형태 복원을 위해서 복원문제로서의 시각에서 묘사된 것과 유사한 방법으로 흐름장을 평활화시키는 것이다. 만일 와 같이 양적으로 평활화로부터의 이탈을 측정한다면 흐름 추정은 다음 함수를 최소화시키는 것으로 계속될 수 있다.

여기서 는 기하학적 제약을 의미한다. 전과 마찬가지로 는 제약의 상대적인 중요도와 평활화의 가정 사이의 상태중요도이다.

(3) 운동 방향장 해석 (Motion Field Interpretation)

광학 흐름장의 측정 후에 3 차원 운동과 형태와 연관될 수 있는 운동 방향장 (motion field) 의 근사값에 접근할 수 있다. 그림 54 의 관측자가 고체 운동 을 할 때 이 상황을 관측자는 고정되어 있고 반대로 주위 장면이 반대 방향으로 움직인다고도 생각할 수 있다.

따라서, 관측자 좌표 체계에서 점 는 속도 나 아래의 식으로 움직이고 있다.

그러면 영상 투영식 (초점 길이가 1 이라고 가정) 와 시간에 대해 미분하면,

을 얻을 수 있다. 여기서

을 나타낸다. 모든 점에서 운동 방향장은 두 부분으로 구성된다. 하나는 직선 운동에 의한 것이고 다른 하나는 회전에 의한 것이다. 이중 병진 (translation) 운동 부분만이 장면의 구조 (Z) 에 의존적이다. 앞의 식으로부터 운동 방향장은 깊이 (Z) 와 전이벡터 (U, V, W) 의 비례 축소 하에도 변하지 않는다는 것을 쉽게 유도할 수 있다. 따라서, 알려지지 않은 축소값 (형태) 에 대해서만 전이 방향 (U/W, V/W) 과 깊이 Z 를 유도할 수 있다.

앞의 식으로부터 다음을 구할 수 있다.

이 식은 변수로서 U/W, V/W, 를 가지고 광학 흐름이 측정가능한 모든 영상점에서 적용되는 비선형식이다. 그와 같은 식체계의 해는 3 차원 운동 매개변수를 제공한다. 이 문제에서 야기되는 비선형은 운동에서 구조를 설명하는 많은 연구의 대상이 되었다.

기법들 중의 하나는 관측 장면의 형태를 모형화하는 것에 기초한다. 관측 표면이 평평하고, 광학 흐름장이 부드럽게 변화한다고 가정하면 여러 가지 알고리즘이 부분적인 정보만으로부터 3 차원 운동을 추정가능하게 한다. 광학축 주위의 장면의 표면 조각은 평면이나 2 차 방정식에 의해서 근사된다. 그러면 광학 흐름과 그의 미분에 대한 정보를 이용함으로써 3 차원 운동과 형태를 얻는 것이 가능하다. 그러나, 국부적 광학 흐름만을 사용하는 어떤 방법도 완전하게 다른 관측자 운동이 국부적으로 유사한 운동장을 생성할 수 있기 때문에 안정적이지 못하다. 예를 들면, 영상 면의 축의 근처의 영역에서 축 둘레의 3 차원 회전은 축을 따라서 직선 운동할 때 생성되는 것과 유사한 흐름장을 생성한다.

최근 몇 년 동안 기술들은 전체 시각장에서 정의된 3 차원 운동에 관련된 성질들을 사용함으로써 전체적으로 운동 방향장을 특징짓는 것으로 보여왔다. 예를 들면, 운동에서 몇몇 곤충들의 눈과 같은 구형 눈을 생각해보자. 이 경우의 운동 방향장은 매우 좋은 전역 성질을 가지고 있다. 병진에 기인한 운동 벡터는 180° 로 분리된 두점에서 모두 한 점으로부터 발산해서 다른 점으로 흘러가는 측지선을 따라 간다 (그림 57 참조 [Nelson and Aloimonos, 1988]). 만일 회전이 있다면 이 구조는 없다. 두 특징점이 서로를 향해 움직인다. 3 차원 운동을 추정하는 성공적인 기술은 전체 운동 방향장으로부터 빠질 때 그림 57 의 형태를 남게 하는 회전 을 탐색하는 것이다. 마지막으로 전체 영상에 대한 흐름장은 특정한 방향의 흐름벡터를 고려함으로써 분해될 수 있다 [Fermueller, 1993].

그림 57 회전없이 병진 운동만을 하는 감각기기의 구형 운동 방향장

11. 능동적 시각 (Active Vision)

지금까지 우리는 수동적인 관찰자가 영상 단서로부터 장면을 복원하는 원리에 대해 논의하였다. 수동적 관찰자는 영상 취득 과정에 어떠한 통제력도 갖고 잇지 않다. 이러한 경우에 장면의 구조를 복원하는 것은 매우 어렵고 제어할 수 없는 문제라는 것이 판명되었다. 그러나, 대부분의 생물학적 유기체들의 시각은 수동적인 것이 아니라 탐구적이고 능동적이다. 유기 생명체들은 단순히 바라보는 것이 아니라 주시한다. 그들의 눈은 모아지거나 흩어지고, 조명 (illumination) 의 정도에 적응하며 장면을 보는 더 나은 각도를 얻기 위해 머리를 움직인다. 불과 몇 년 전부터 연구자들은 수동적인 관찰자에 상대적인 능동적인 관찰자의 계산적인 이득을 조사하기 시작했다.

관찰자는 만일 그가 보는 방법을 제어하려 들 때 능동적 (active) 이라고 일컬어진다. 능동적인 관찰자는 보다 잘 인지하기 위해 눈의 매개변수들을 제어하고, 관찰된 현상의 기반이 되는 제약들을 조작한다. 일례로 눈을 움직이고 회전시킬 수 있으며 주위의 대상들을 추적할 수 있는 눈을 가진 관찰자는 능동적 관찰자의 한 예이다.

능동적인 관찰자들의 활동에는 접촉과 움직임 그리고 아직 잘 활용되고 있지 않은 다른 것들이 포함된다. 그 중 관찰자가 움직이거나 혹은 주변의 한 점을 추적하거나 카메라들을 한 점에 집중시키는 경우에 관한 결과들이 보고되었다. 그 보고서들은 여러 X 의 형상화 문제들 (X 는 명암 (shading), 윤곽선, 움직임, 양안 시각 등이다) 이 잘 조정되어 유일 해들이 가능하다고 언급하고 있다. 이는 추가적인 정보가 존재하고, 그것이 관찰자에 의해 얻어질 수 있기 때문에 그리 놀라운 것도 아니다. 그러한 접근을 하는 기반이 되는 것은 부분적으로 이미 알려진 매개변수를 가지고 풍부한 자극 영역에서 작업하는 능력에 있다.

이러한 지식은 시계 좌표 변환이 알려져 있다는 사실에서 기인한다. 시각 매개변수들이 지속적으로 변화함에 따라 관찰된 시각 자극도 측정이 가능하고, 미지의 장면 매개변수들을 계산하는 데 강력한 제약들을 제공하는 지역적인 변환을 가지게 된다. 이때 능동적 시각 패러다임에서는 이산화된 관찰들의 작은 집합을 가지고 추정하는 게 아니라 흐름 선 (flow line) 들이라 이름 지어진 자극공간 안에서 궤적들을 가지고 작동한다는 것에 주의해야 한다. 이러한 궤적들은 우리가 사용하는 시각변환들이 매끄럽고 또한 우리의 목적을 달성하기에 충분하리 만큼 정확히 계산될 수 있기 때문에 매끄러운 모양을 갖게 된다. 따라서 우리는 조명과 깊이 같은 관찰된 장면의 특성들이 매끄러운가 하는 것에 더 이상 의존할 필요가 없다. 표 1 은 시각 처리에 관련된 기본적인 문제들을 해결하는 데 있어 수동적인 관찰자와 능동적인 관찰자들의 성능을 비교하고 있다.

표 1 능동적인 관찰자와 수동적인 관찰자의 성능 비교

문 제	수동적인 관찰자	능동적인 관찰자
음영의 형상화	악성 문제. 규칙화가 필요. 그 후에도 비선형성 때문에 유일한 해결책의 존재는 보장받지 못함.	양성 문제. 유일한 해, 선형식, 안정성
윤곽의 형상화	악성 문제. 현재까지는 Tichonov 적 의미에서 규칙화되지 못함. 제한적인 가정 하에서 풀릴 수 있음	양성 문제. 단안, 양안 관찰자 모두에 유일 해.
표면결의 형상화	악성 문제. 표면결에 대한 약간의 가정이 필요	양성 문제. 가정이 불필요.
운동의 구조화	적절한 문제이나 안정적이지 못함. 비선형적인 제약들.	양성이고 안정적. 이차의 제약들, 단순한 풀이 방법들, 안정성.

12. 응 용 (Applications)

앞에서도 지적했듯이 컴퓨터 시각 분야의 응용은 자동운항 (Autonomous Navigation) 시스템에서부터 사진판독기 또는 방사선학을 위한 특수 워크스테이션에 걸쳐 존재하지만, 여기에서는 두 가지 응용을 방사선학을 위한 특수 워크스테이션에 걸쳐 존재하지만, 여기에서는 두 가지 응용을 중점적으로 다루도록 하겠다. 하나는 자동운항에 관한 것이고 다른 하나는 사물 인식에 관한 것이다.

(1) 자동운항 (Autonomous Vehicle Navigation)

자동운항이란 사람의 도움없이 독자적으로 이리저리 돌아다니는 능력에 대한 것으로 자동운항 시스템은 환경과 상호작용하면서 환경에 적응할 수 있어야 한다. 특히 이러한 시스템의 이동은 감각 피드백에 의해 조종됨으로서 오늘날 산업 로봇처럼 몇 가지 제한된 동작만을 수행하기보다는 주위의 변화에 능동적으로 적응하면서 움직여야 한다.

미국은 상당 기간 동안 이러한 자동항운 시스템 연구를 지원해 왔다. 그 결과 1980 년대에는 그림 58 과 같이 도로를 성공적으로 따라 갈 수 있는 자동 육상 이동장치 (Autonomous Land Vehicle : AVL) 를 개발하였다.

그림 58 미국 DARPA 의 후원에 의해 마틴 마리에타 (Martin Marietta) 사가 만든 자동이동 장치로서 복수의 TV 카메라와 컴퓨터를 탑재한 이 장치는 TV 영상에서 얻은 도로 기하학에 대한 정보를 이용하여 도로망을 따라 이동한다 (마틴 마이에타사 제공).

ALV 에서 조금 더 발전된 것이 소위 무인 지면 이동장치 (unmanned ground vehicle : UGV) 라 불리우는 것으로, 이는 거친 지면 위를 이동할 수 있을 뿐만 아니라 도로망 밖으로도 움직일 수 있다. 또한 정찰, 감시 및 목표 획득 (Reconnaissance Surveillance and Target Acquisition : RSTA) 과 관련된 일을 수행한다. 앞서 시각 움직임의 분석에서는 이동장치가 움직이면서 획득한 영상에서 형태 및 3 차원적인 움직임을 재구성할 수 있을 경우 RSTA 와 관련된 어떤 일도 수행할 수 있다는 것을 살펴보았다. 이는 움직임을 이용하여 구조를 파악하는 문제로서 일반적으로 상당히 어려운 문제에 속한다. 다행히도 이동장치는 여러 가지 문제를 해결함으로써 이러한 문제를 비교적 쉽게 해결할 수 있다. 이러한 문제에는 자체 이동 감지 문제, 독립적으로 움직이는 물체들을 찾아내는 문제 그리고 입력 영상의 구성요소들을 이해함으로써 장면의 일부분을 추론하는 문제 등이 있다. 가령, 이동장치는 시각과 관성 감각기기를 사용함으로써 자신의 움직임을 실시간으로 이해한다. 이는 곧 자신의 초점값과 회전값을 알 게 됨을 의미한다.

시각 움직임의 분석에서 살펴보았듯이, 감각기긱의 회전에 의한 화소궤적은 장면의 깊이와는 무관하며 단지 회전의 값과 관련이 있다. 따라서 화소궤적은 영상의 각 정점에서 계산될 수 있으며 실질 화소궤적에서 회전에 의한 화소궤적을 삭제함으로써 이동으로 인한 화소궤적만 남게 할 수 있는데, 이러한 처리를 역회전 (derotation) 이라 한다. 확장의 초점이 영상 내에 위치해 있다면, 즉 이동장치가 앞을 보고 움직이고 있다면 화소궤적은 그림 2 와 같이 나타난다. 단, 이는 주변에 있는 물체가 움직이지 않을 경우이다.

만일, 입력 영상에 독립적으로 이동하는 물체가 있을 경우에는 그림 59 의 패턴은 성립이 안되며 대신 움직이는 물체가 감지된다. 또한 이동장치의 감각기기가 인간의 눈처럼 움직일 수 있다면 움직이는 물체는 더 쉽게 감지될 수 있다. 그림 60 은 이동하는 UGV 가 자동차 등과 같은 움직이는 물체를 본 경우이다. 그림 61 은 독립적으로 움직이는 장면의 일부분들을 보여주고 있는데, 이는 그림 59 의 패턴과 일치하지 않는 화소들을 찾아 낸 것이다. 결국, 연속적으로 장면들을 일치시켜 보면 독립적인 움직임에 대한 정보를 더 많이 얻을 수 있으며 그림 62 와 같은 결과가 나온다.

UGV 가 수행해야 할 또 다른 기능은 장면의 특성을 찾아내는 일이다. 이를 위해 물리학 기반의 접근법에 의한 기법들을 이용한다. UGV 는 적절한 적절한 영상 형성 모형뿐만 아니라 색채, 색조, 편광, 투광 같은 빛의 특성을 이용함으로써 똑같은 소재로 이루어진 부분은 물론이고 금속 물체 및 그림자를 검출할 수 있다. 이때 컬러판 11 은 UGV 가 본 야외 영상이며, 컬러판 12 와 13 은 장면을 물리학적으로 분석한 결과이다.

그림 59 앞으로 직선 이동할 경우 생기는 전형적인 화소궤적 패턴으로 관찰자는 장면을 향해 접근하고 있다. 따라서 화살표가 확장초점 (FOE) 이라 불리우는 한 점에서 바깥쪽으로 향하고 있다. 반대로 관찰자가 장면으로부터 멀어질 경우에는 화살표가 확장초점을 향한다.

그림 60 UGV 에 의해 조밀하게 표본 추출된 영상들 (University of Maryland 의 Rajeev Sharma 제공).

그림 61 그림 59 의 패턴과 일치하지 않는 화소궤적의 화소들을 찾아 움직임을 검출하여 출력한 예 (University of Maryland 의 Rajeev Sharma 제공).

그림 62 UGV 의 능동적인 감각기기가 장면들을 연속적으로 일치시키고 난 후에 움직임을 검출하여 출력한 예.

(2) 물체 인식 (Object Recognition)

컴퓨터 시각의 또 다른 응용으로 물체 인식이 있다. Biederman [985] 에 따르면 많은 부류의 물체들은 지온 (geon) 이라고 부르는 소수의 기본 구성요소의 집합으로 이루어진다. 그리하여 이러한 지온에 기반을 둔 시스템들이 고안되었으나 아직까지는 제한된 부류의 물체 인식에만 사용되었다. 그림 63 은 부피를 갖는 기본 구성요소들을 보여주고 있다 (Dickinson et. al [1992]). 이러한 기본 구성요소들은 일반 실린더 (generalized cylinder), 일반 원뿔 (generalized cone), 초육면체 (superquadric) 모형을 이용함으로써 수학적으로 정의될 수 있다.

그림 63 기하학적 모양 별로 분류된 10 가지 기본 구성 요소들 (Dickinson et. al [1992]).

이후 물체 인식은 다음과 같은 과정을 통하여 수행된다. 우선, 하나 혹은 몇 개의 물체 영상이 주어지면 이 장에서 설명한 여러 가지 방법을 이용하여 물체모양을 재생한다. 그 다음, 특정 알고리즘을 이용하여 그림 63 의 지온을 찾아낸다. 지온을 찾아낸 후 다른 지온과의 관계를 알아내면 결국 해당 물체를 인식하는 셈이 된다. 그림 64 의 a 와 b 는 두 개의 물체 영상이며 그림 65 의 a 와 b 는 지온을 이용하여 물체를 인식하는 과정을 보여준다.

요약 (Summary)

이 장에서는 인공지능의 한 분야로서 2 차원 영상으로부터 3 차원적인 특성과 구조를 자동으로 이해하는 컴퓨터 시각에 대하여 살펴보았다. 이때 영상들은 디지털 컴퓨터에서 쉽게 처리될 수 있도록 하기 위하여 시공간적으로 표본추출된 후 양자화된다. 본 교재에서는 컴퓨터 시각을 하나 이상의 영상으로부터 장면에 있는 물체들에 대한 정확한 3 차원 기술을 유도하는 문제로 보고 있다.

우선 영상 형성을 위한 기하학 및 물리학에 대해 살펴보았다. 특히, 영상 형성 과정을 설명하기 위한 단순 모형으로서 바늘구멍 (pinhole) 카메라를 이용하였으며, 형성된 영상을 분석하기 위하여 다양한 수학적 투영 방법들을 기술하였다. 원근투영은 가장 정확한 모형이긴 하나 계산하기가 복잡하다. 직교투영은 정확하면서도 분석하기 쉬운 장점을 가지고 있다. 또한 렌즈를 가지고 있는 간단한 영상 획득 장치에 대하여 살펴보았다. 이 장치는 기계 및 동물에 있어서 보다 실제에 가까운 영상 구성 모형을 제공한다.

영상에 있는 많은 양의 영상 자료를 줄이기 위해 모서리를 검출하여 영상을 동질 영역으로 분할하는 방법에 대하여 살펴보았다. 또한 잡음을 제거하고 명암의 변화를 검출하는 연산자를 살펴보았다. 이 경우 명암이 변한다는 것은 장면에 있는 물체의 모양, 깊이 등과 같은 여러 가지 특성이 단절된다는 것을 의미한다. 그리고 형태를 재구성하는 방법들을 살펴보았는데 이 방법의 경우 그림자, 외곽선, 표면결 정보를 이용함으로써 표면을 올바르게 판단할 수 있었다.

양안 단서를 이용하면 한 장면에 대하여 동시에 두 개의 관점을 가질 수 있음은 물론, 어떤 경우에는 영상에 있는 깊이 정보를 보다 간단하게 추출할 수 있다. 양안단서를 이용할 경우에는 물체 정점의 위치와 다른 영상에 있는 물체 정점의 위치를 대응시켜야 하는 대응문제가 생긴다. 이러한 대응 방법으로는 일반적으로 영상 명암을 대응시키거나 모서리들을 대응시키는 방법들이 있다.

하나의 정점으로부터의 한 장면에 대한 두 개의 관점은 원래의 정점과는 다른 정점들로부터의 움직이는 장면에 대한 여러 개의 관점으로 일반화될 수 있다. 일련의 영상으로부터 움직임을 추출해내기 위하여 운동장 (motion field) 라는 개념을 논하였다. 운동장은 장면에 있는 각 정점의 영상 움직임을 나타낸다. 영상 배치를 기술하는 이차원 벡터 장인 광학 화소 궤적을 계산하여 운동장을 근사화하는 방법에 대하여 살펴보았다.

또한, 이리저리 돌아다니면서 다른 관점을 획득하기 위하여 감각기기를 조정할 수 있는 능동적 관측기를 설계할 때 발생하는 몇 가지 문제를 간단하게 살펴보았다. 이러한 능동적 관측기에서는 수동적 관측기에서 해결하기 어려웠던 문제들을 해결할 수 있음을 알 수 있었다.

이 장에서는 컴퓨터 시각의 이론적 원리에 초점을 맞추었으며 복잡도, 색상, 구조 및 상위 개념 등은 다루지 않았다. 기존 모형들을 사용하여 물체를 인식하는 것은 매우 중요하지만 중점적으로 다루지는 않았다. 왜냐하면, 인공 또는 생물학적 시스템에서 어떻게 시각적 인식이 수행되는지에 대한 공통적인 견해가 아직 없기 때문이다. 인식이 이루어지는 가정은 일반적으로 그림 66 과 같다.

그림 66 인식이 이루어지는 과정 : 이 장에서 설명한 방법을 이용함으로써 영상으로부터 물체에 대한 기술 (descriptions) 을 획득할 수 있다. 그 다음 물체에 대한 기술을 기억장치에 저장된 모형과 비교함으로서 인식을 수행한다. 중요한 문제로서 물체 표상방법과 기억장치 구성방법 등이 있으며 이에 대한 보다 자세한 설명은 Levine [1985] 를 참조하기 바란다.

인공시각에 대한 연구는 어렵지만 매우 흥미로우며 인공지능, 공학, 수학, 생물학 등 많은 학문 분야로부터 다수의 개념들이 도입되었다. 과거 10 년 동안 인공시각에 대한 연구는 인공지능과는 개별적으로 이루어졌다. 이는 이 책뿐만 아니라 학술회의, 학술전문지 등에서도 마찬가지이다. 이러한 분리는 꼭 필요했다. 왜냐하면 이 분야는 초창기 분야였으며 발전시키기 위해서는 처음부터 전문화시킬 필요가 있었기 때문이었다. 그러나 오늘날 대부분의 인공지능 분야들은 매우 복잡해졌으며 전문가들은 지능을 이해하기 위한 노력에 있어서 다음 단계가 어떻게 될지 우려하였다. 이 단계는 이 책에 설명된 서로 다른 인공지능 분야들을 통합하는 문제와 관련이 있다.

이 장에서는 시각 시스템을 설계하기에 앞서 먼저 이해해야 할 몇 가지 기본적인 과정에 대하여 기술하였다. 그리고 이 책의 특성상 몇 가지 기본 동작에 대해서만 기술하였다. 그러나 수년 후에는 인공지능 관련 서적에서 인지에 관한 연구에 더 많은 부분을 할애할 것이다.

배경 (Background)

Ballard 와 Brown [1982], Horn [1986], Nalwa [1993] 그리고 Rosenfeld 와 Kak [1982] 는 일반 교재로서 훌륭한 책들이다. 능동적 시각에 대해 더 알고자 한다면 Alomonos et. al [1988] 과 Bajcsy [1988] 를 참조하기 바란다.

컴퓨터 시각은 여러 분야와 관련이 있으며, 가장 중요한 분야로서 영상처리 (image processing), 패턴인식 (pattern recognition), 사진측량법 (photogrammetry) 이 있다. 영상처리란 영상을 처리하여 바람직한 속성을 가진 새로운 영상들을 만들어 내는 것을 말한다. 영상처리의 예로는 다음과 같은 작업들이 있다 (Pratt [1991]). 우선, 영상을 사람이 보기에 좋도록 바꾸는 영상보강 (image enhancement) 이 있다. 영상복구 (restoration) 는 잡음으로 인해 품질이 떨어진 영상을 교정한다. 영상압축 (image compression) 은 영상의 질을 어느 수준 이상으로 유지하면서 경제적인 방법으로 영상을 표현한다. 그림 67 은 영상복구의 한 예이다.

패턴인식 (pattern recognition) 은 임의의 패턴을 이미 정해진 유형으로 분류하는 것을 말한다 (Duda 와 Hart [1973]). 인식을 위해서는 3 차원 장면에 대한 기술 (descriptions) 생성이 주용하다는 점에서 패턴인식은 컴퓨터 시각의 선구자라고 할 수 있다.

마지막으로, 사진 측량 기법 [Wolf, 1974] 에서는 특정 장면에 대한 여러 영상으로부터 3 차원 장면에 대한 기하학을 만들어 낸다. 예를 들어 사진 측량 응용은 그림 68 의 a 의 영상과 카메라의 방향에 대한 지식을 이용함으로써 그림 68 의 b 와 같은 기복 모형을 만들 수 있다. 이때 카메라는 영상을 모을 뿐만 아니라 모든 영상에 있는 동일한 특징들을 찾아낸다.

그림 68 (a) 수집된 영상. (b) 복구된 장면의 깊이 정보를 이용한 원근상 (T. Kanada 와 M. Okutami 의 "A Stereo Matching Algorithm With an Adaptive Window : Theory and Experiment." Proc. 1991 Int'l Conf. on Robotics and Automation, April 9-11, 1991, Sacramento, CA, pp. 1088-1095. ⓒ1991 IEEE).

이 장은 주로 영상으로부터 3 차원과 관련된 어떤 정보를 추론할 수 있는가? 에 대한 내용이다. 현상적인 문제 (empirical question) (무엇이 추론되나? 즉, 현존하는 생물학적 시각 시스템은 어떻게 동작하는가?) 를 알고자 한다면 Scientific American 1992 년 9 월호에 있는 "마음과 두뇌" 라는 특집을 참고하기 바란다. 규범적인 문제 (normative question) (어떻게 해야만 하나? 즉, 유기체 또는 로봇들은 어떻게 최적의 방식으로 조직되어야 하는가?) 에 대해서는 Aloimonos [1993] 를 참조하라.

신경생리학, 심리학, 정신물리학의 관점에서 동물시각에 관한 연구에 대하여 알고자 한다면 Gregory [1970] 를 참조하라. 허프변환 (Hough transform) 은 모서리 추출 이외에도 응용 범위가 넓다. 허프변환의 응용에 대해서는 Ballard 와 Brown [1982] 을 참조하라.

Aloimonos 와 Shulman [1989] 에서는 결정적 이완과 확률론적 이완방법에 대하여 폭넓게 다루고 있다. 분할과 합병 (splitting and merging) 방법은 따로 주목받기도 했으나 별로 성공적이지 못했다 [Horowitz 와 Pavlidis, 1976]. 이 책에서는 선 그림에 있는 모서리에 명칭을 붙이기 위하여 Huffman [1971] 에서 제안한 방법을 설명하였다. Horn [1986] 에서는 명도 수준 (gray-level) 의 편차를 이용하여 표면의 방향을 복구하는 문제와 다양한 표면과 빛 근원 조건에 대한 반사율 지도에 대하여 포괄적으로 다루고 있다.

표면결을 사용하여 2 차원 면의 방향을 복원하는 문제에 대해서는 Aloimonos [1988], Gibson [1979] 과 Witkin [1981] 을, 그리고 깊이를 측정하기 위한 모서리 기반 대응기술에 관한 내용은 Terzopolous [1986] 와 Grimson [1981] 을 참조하라.

광학적 화소 궤적에 관한 내용은 Fermueller [1993] 과 Singh [1990] 에 자세히 설명되어 있다. Longuet-Higgins 와 Prazdny [1980], Waxmar 와 Ullman [1985] 은 광학축상에서 장면에 있는 표면의 일부분을 근사화시키는 특별한 방법들을 다루었다. 여기에서 광학축은 2 차함수를 이용한다. 물리학에 기반한 장면 분석 방법에 대해서는 Maxwell 과 Shafer [1993] 를 참조했다.

컴퓨터 시각은 인간의 시력에 견줄 만한 시력을 가진 기계를 만든다는 야심찬 목표 이외에도 많은 응용분야에 적용될 수 있다. 이러한 응용분야에는 조립 라인 자동화, 원격 감지, 문서이해 시스템, 지도개발, 특수 패턴 이해, 인간-컴퓨터 인터페이스, 원격 회의, 검열, 결점 보완, 광해석, 가상현실, 자동운항 시스템 등이 있다.