Vision

 

로봇공학 : James G. Keramas 저서, 이만형. 고경철. 노태정. 박희재. 부광석. 안병하. 이민철. 정원지. 제우성 공역, 사이텍미디어, 2000  (원서 : Robot Technology Fundamentals, Thomson Learning, 1999) , Page 187~207

 

1. 시각 검출

2. 머신 비전

     (1) 영상 획득

     (2) 영상 이진화

     (3) 영상 처리

     (4) 영상 분석

     (5) 영상 해석

     (6) 상용 로봇의 비전 시스템

3. 머신 비전 응용

4. 기타 광학적 방법

     (1) 스캐닝 레이저 시스템

     (2) 다이오드 배열 카메라 시스템

     (3) 광학적 삼각측량 기술

5. 요약

 

1. 시각 검출

비전 시스템 (vision system) 에 의하여 로봇에 부여된 볼 수 있는 능력을 시각 (머신 비전 또는 컴퓨터 비전) 이라 한다. 비전 시스템은 데이터를 수집하여 영상 데이터를 형성하는 장치로서 로봇의 컴퓨터에서 이를 해석하여 물체를 보거나 적당한 위치를 파악하도록 해준다.

그러므로 머신 비전은 영상 데이터를 획득하고 이를 기계장치나 컴퓨터로 처리하고, 분석하며 해독하여 유용한 작업을 하도록 하는 것이다. 머신 비전은 급격하게 발전하는 기술로서 의료 (단층사진 영상처리를 이용한 질병진단), 산업, 농업 등의 분야에 널리 응용되고 있다. 머신 비전 시스템은 소형 부품에서 터빈 날개까지, 반도체 웨이퍼의 초미세 구조에서 자동차 패널까지에 이르는 생산품의 품질관리에 사용되어 왔다.

이 장에서는 머신 비전장치의 동작원리와 품질관리 등과 같은 산업 시스템에의 응용에 대하여 고찰하고자 한다.

머신 비전의 기본 시스템에는 1 차배열과 격자배열이 있다.

1 차배열은 물체의 유무와 표면의 특징과 같은 1 차원 정보만을 감지할 수 있다.

격자배열은 2 차원 또는 3 차원으로 구분할 수 있다. 2 차원 시스템은 2 차원 영상으로서 정보를 획득하는 것이며 한 평면상에 놓인 물체에 대한 응용에 적합하다. 주요 평면상 물체에 대한 길이 측정, 부품의 장착유무 판정, 표면의 특징 검사 등에 적용할 수 있다.

3 차원 시스템은 영상으로부터 물체의 외곽선이나 형상이 관련된 3 차원 해석이 요구되는 응용에 적용되는데 인쇄기판에 부품이 적절히 삽입되었는지 판별하거나 납땜이 완전하게 형성되었는가를 검사하는 데 이용될 수 있다. 자동 결함검사 시스템에 사용될 때에는 물체의 균열 (crack) 이나 손상도 감지할 수 있다. 현재 산업계에서 적용분야의 주류를 이루는 것은 2 차원 시스템이므로 이 장에서는 주로 2 차원 시스템 위주로 검토를 진행할 예정이다. 그림 1 은 자동 생산라인에 있어서 머신 비전의 응용 사례들을 보여주고 있다.

2. 머신 비전

머신 비전 (machine vision) 시스템의 목표는 영상으로부터 실제의 모델을 추출하는 것이다. 머신 비전 시스템은 전경의 2 차원 투영 (projection) 으로부터 유용한 정보를 복원시키는 작업을 수행한다. 영상은 3 차원 세상에 대한 2 차원 투영이므로 정보를 곧바로 얻을 수 없고 적절한 복구과정을 거쳐야 한다. 이 복구과정은 다 대 일 사상 (many-to-one mapping) 의 역과정을 거쳐야 하므로 배경 속의 물체에 대한 정보와 투영의 기하학적 정보가 필요하다.

머신 비전의 동작은 다음과 같은 5 단계로 나누어질 수 있다.

이 5 단계의 과정과 그 상관관계를 그림 2 에 도시하였다.

그림 2  머신 비전 시스템의 기본 5 단계 처리과정

(1) 영상 획득

영상의 기하학적 구성과 컴퓨터 내에서의 표현과의 관계를 이해하는 것이 매우 중요하다. 머신 비전 알고리즘을 개발하기 위한 수학적 표기와 프로그램에 사용되는 표현과는 서로 표현상의 변환이 필요하다.

그림 3 과 그림 4 에서 보는 바와 같이 화소 (pixel) 는 정수로 양자화된 한 점의 영상의 강도 (intensity) 를 지칭한다.

그림 3  영상평면상의 한 점과 영상배열의 지수간의 관계

그림 4  물체의 한점으로부터 투사된 점을 계산하기 위한 시선

영상은 2 차원의 화소 배열이다. 화소의 행과 열의 지수  는 정수로서 격자배열 내의 화소의 행과 열을 나타낸다. 화소 (0, 0) 은 영상의 좌측 상단에 위치하는 것을 의미한다. 지수  는 아래로 갈수록 증가하고 는 우측으로 갈수록 증가한다. 이 지수 표현은 컴퓨터 프로그램에서 사용되는 행렬 문법과 관련지어 정의되었다. 영상평면에 놓인 각 점의 위치는 와 좌표를 가지고 있다. 축은 수직방향에 대응하고 축은 수평방향에 대응된다. 화소  의 두 지수 와 는 위치 의 해당되는 각각의 좌표와 반대방향이다.

와 좌표는 컴퓨터에서 부동소수점으로 저장되는 실수이다. 영상평면의 좌표 와 화소 격자상의 화소 좌표  는 다음과 같이 표현할 수 있다.

영상평면 좌표계의 원점은 영상격자의 중심에 설정되었다. 영상 시스템에서 각 화소는 영상평면의 일정 면적을 각각 점유하고 있다. 이 책에서는 화소의 정확한 형상에 좌우되는 머신 비전 알고리즘은 배제하고 화소가 영상평면을 일정한 크기로 분할한다는 가정하에서 문제들을 해결해 나갈 것이다.

화소  의 좌표 는 해당 화소의 중심위치를 나타낸다. 화소의 중심위치는 영상이 샘플되는 지점으로서 매우 중요한 의미를 가지므로 화소란 이 위치에서의 한 개의 점으로 생각할 수 있다. 따라서 컴퓨터 프로그램 내의 화소 배열은 샘풀이 이뤄진 영상평면의 격자점들에 대응된다.

도식적으로는 영상은 정방형 격자가 채워진 직사각형의 영역으로 볼 수 있고 각 정방형 격자는 그 화소의 영상강도를 명암으로써 표현한다. 이 영상은 영상강도의 샘플을 나타내는 사각 격자들로 모델링할 수 있으며 컴퓨터에서 화소값의 행렬로 표현된다. 카메라와 이진화 회로 (digitizing electronics) 는 이 가정이 만족되도록 설계된다. 격자내의 서로 다른 행과 열의 간격, 렌즈의 결함에 의한 왜곡, 카메라 구조상의 오차 등과 같은 약간의 변동은 영상처리 알고리즘의 변경없이 교정을 통하여 제거시킬 수 있다. 광원으로부터 대수적 영상행렬까지의 처리과정을 그림 5 에서 도식적으로 보여주고 있다.

그림 5  영상 획득 과정

요약하면 화소는 연속적 영상강도를 샘플하여 양자화시킨 그레이 (gray) 스케일과 영상격자의 행과 열로 지정된 위치로 표현된다. 직사각형 격자의 각 지점들의 강도를 샘플함으로써 영상행렬이 구해질 수 있다. 좌표계로 표현된 영상평면상의 임의의 점은 화소가 샘플된 격자들 사이에 놓이게 될 것이다.

(2) 영상 이진화

해석에 필요한 영상 데이터를 저장하기 위하여 카메라와 이진화 시스템을 사용하여 영상 이진화를 수행한다. 카메라가 관심있는 물체에 초점을 맞추고 보이는 영역을 광도에 비례하는 값을 갖는 화상요소 (화소) 행렬로 분할함으로써 영상을 얻는다. 각 화소에 대한 강도값은 A/D 변환기를 통하여 해당하는 디지털값으로 변환된다. 그림 6 은 단순한 물체가 있는 전경을 화소의 행렬로 분할하는 과정과 해당 영상의 강도를 명암으로 보여주고 있다.

그림은 가장 단순한 이진 비전 시스템을 통하여 얻어질 수 있는 영상을 보여주고 있다. 이진 비전에서는 각 화소의 강도는 극단적으로 두 값으로 줄여서 정해진 강도가 스레쉬홀드를 넘어서는지에 따라 백색 또는 흑색으로 표현한다. 좀더 고급의 비전 시스템은 영상을 서로 다른 그레이 레벨로 명암을 표현하여 저장할 수 있다. 이것을 그레이 스케일 (gray-scale) 시스템이라 부른다. 이 방식의 시스템의 경우 물체의 외곽과 면적 특성뿐만 아니라 표면의 조직과 같은 특성도 파악할 수 있다. 그레이 스케일 비전 시스템은 대개 4, 6, 8 비트 메모리를 사용하고 있다. 또 색상을 인식할 수 있는 비전 시스템도 있다. 각 칼라는 28, 즉 256 강도 레벨을 가지고 있으며 일반적으로 비디오 카메라나 인간의 시각보다도 더욱 세밀한 단계로 분간할 수 있다.

각 화소값의 집합을 프레임 (frame) 이라 부른다. 이진화된 화소 집합으로 구성된 각 프레임은 컴퓨터의 메모리에 저장되는데 이를 프레임 버퍼 (buffer) 라고 한다. 프레임 내의 모든 화소를 읽어오는 속도는 초당 30 회 (유럽형 비전 시스템의 경우 초당 25 회) 가 된다.

비전 시스템의 분해능은 영상의 특징과 세세한 부분을 얼마나 자세하게 읽어올 수 있는가를 나타내는 능력을 말한다. 이것은 사용되는 화소수에 좌우되는데 대개 화소 행렬은 256 × 256 과 512 × 512 화소인 것이 보통이다. 비전 시스템의 화소가 많을수록 분해능이 높지만 화소수가 많아지면 가격이 높아지고 화소를 읽는 데 소요되는 시간이 길어지며 처리해야 할 데이터가 증가한다.

머신 비전 응용에는 TV 와 비슷한 비디콘 (vidicon) 과 반도체 카메라 두 방식이 사용된다.

비디콘 카메라는 영상을 광전도성 (photoconductive) 판에 초점이 맞도록 하고 전자빔을 이용하여 이 판을 스캔하여 상대적 화소값을 읽는다. 광전도성 표면의 각각의 영역들은 영역에 조사되는 광의 세기에 따라 다른 전압레벨을 갖게 된다. 전자빔을 적절한 스캐닝 패턴을 따라 움직임으로써 위에서 아래로 수평 라인들을 판독해 나간다. 각 라인은 일련의 점들로 나누어진다. 각 라인의 점의 수에 라인의 수를 곱하면 그림 6(b) 와 같은 화소 행렬의 크기를 구할 수 있다. 스캔이 진행되는 동안 전자빔으로 각 화소의 전압레벨을 읽을 수 있다.

반도체 카메라는 아주 작고 조밀하게 배열된 광감응 소자로 구성된 2 차원 배열에 영상의 초점을 맞춤으로써 영상을 받아들일 수 있게 된다. 이 광감응 소자들로 그림 5(c) 와 같이 화소 행렬이 구성된다. 빛이 각 화소에 조사됨에 따라 해당 소자는 전하를 발생하게 된다. 이 전하는 광감응 소자와 일 대 일로 대응되는 저장소자에 축적된다. 이 축적된 전하량을 머신 비전의 데이터 처리와 분석장치에서 순차적으로 읽어들여 사용하게 된다. 일반적으로 산업 응용분야에서 반도체 카메라는 비디콘 카메라에 비하여 여러 장점을 가지고 있다. 물리적으로 작고 견고하고 내구성이 좋아 안정된 영상을 얻을 수 있는 장점이 있다.

비디콘 카메라는 광전도체 판에서 화소의 전위를 전자빔으로 스캔해 나갈 대 발생되는 시간지연 때문에 빠르게 움직이는 물체에 대해서는 왜곡이 발생한다. 이러한 반도체 카메라의 상대적 장점으로 머신 비전분야에서는 우위를 점하고 있다. 가장 널리 사용되는 반도체 카메라에는 CCD (charge couple device), CID (charge injection device), 광다이오드 배열이 있다.

두 대의 카메라를 사용하면 움직이는 물체에 대한 고속 응답의 3 차원 비전을 구현할 수 있다. 한 대의 카메라를 이동시켜서 촬영을 해도 3 차원 영상의 정보를 얻는 것이 가능하지만 카메라를 움직여야 하기 때문에 이 방법은 3 차원 정보를 저속으로 얻기 위하여 사용된다. 적외선과 자외선 카메라는 가시광선 밖의 파장의 빛에 반응한다는 것을 제외하고는 일반 TV 카메라와 유사하다.

어떤 종류의 카메라를 사용하든지 영상의 섬세한 특징을 감지할 수 있는 능력을 의미하는 비전 시스템의 분해능은 사용 가능한 화소수에 좌우된다. 더 많은 화소를 비전시스템에 적용하면 분해능이 높아지지만 카메라의 가격이 고가가 된다. 다음의 예제는 이 원리를 보여주고 있다.

예제 1

어떤 카메라가 256 × 256 화소 행렬을 가지고 있다. 각 화소는 A/D 변환기를 이용하여 아날로그 신호에서 그에 해당하는 디지털 신호로 변환해야 한다. A/D 변환의 과정을 완료하는 데 0.1 μs (0.1 × 10-6 s) 가 소요된다. 화소간의 이동에 소요되는 시간이 없다고 가정하면 한 프레임의 화상 데이터를 획득하는 데 소요되는 시간은 얼마이고 30 frames/s 의 속도로 처리하는 것이 가능한가?

풀이

65,536 (256 × 256) 개의 화소가 스캔되고 변환되어야 한다. 아날로그 디지털 변환 처리를 완료하는데 소요되는 총 시간은 다음과 같다.

(65,536 화소) (0.1 × 10-6 s) = 0.00655 s

30 frames/s 의 속도에 각 프레임에 소요되는 처리시간은 1/30 = 0.0333s 이다. 이 시간은 아날로그 디지털 변환에 소요되는 0.00655 s 에 비하여 훨씬 길기 때문에 시간 내에 처리가 가능하다. 각 화소 사이에서 어느 정도의 시간 소모가 일어나지만 일반적으로 A/D 변환에 비하여 이 시간은 상대적으로 짧다.

머신 비전에 있어서 또 다른 중요한 요소 중 하나가 조명이다. 비전 카메라에 의하여 전경 속의 물체를 정확하고 선명하게 계측하려면 양질의 조명이 필수적이고 조명은 시간에 대하여 일정하게 유지되어야 한다. 그래서 다양한 조명방법이 존재하는데 광원의 위치에 따라 전면조명, 후면조명, 측면조명으로 분류할 수 있다. 이 세 조명방법에 따른 광원의 위치는 그림 7 에 도시되어 있다.

그림 7  조명방법 : (a) 전면조명 ; (b) 후면조명 ; (c) 측면조명

전면조명에서 광원은 카메라와 같은 쪽에 위치한다. 이러한 구성은 물체로부터의 반사광이 발생되며 표면의 특징을 검사하는 것을 가능하게 한다. 후면조명에서는 카메라에서 볼 때 조명이 물체 뒤편에 위치한다. 이러한 배치는 물체의 검은 실루엣 (silhouette) 이 생기며 이것은 주위의 조명광과 강한 대비를 이루게 되어 부품의 크기를 검사하고 외곽선을 추출하는 데 사용할 수 있다. 측면조명은 부드러운 평면에 불균등성을 부여하여 비전 시스템에서 인식할 수 있는 그림자를 만들어낸다. 이 그림자는 물체의 표면상의 결함과 흠집을 검사하는 데 이용할 수 있다.

머신 비전의 사용되는 기본 조명장치는 다음과 같이 분류할 수 있다.

이러한 조명장치에 사용되는 다양한 조명기술이 개발되어 있다. 이 기술 중에 몇 가지를 표 1 에 나열하였다. 이 기술의 목표는 물체가 적절하게 카메라에 표시되도록 하기 위하여 조명기기에서 카메라로의 광경로를 결정하는 것이다.

표 1 에서 보는 바와 같이 머신 비전에서의 두 기본 조명기술은 전면조명과 후면조명이다. 전면조명은 전경에 대하여 카메라와 같은 쪽에 광원이 위치하는 것이다. 후면조명은 광원이 카메라를 향하고 있으며 물체 후면에 위치한다. 후면조명은 물체의 실루엣만으로도 인식에 문제가 없거나 적절한 계측만이 필요한 경우에 적당하다.

표 1  조명 기술

기술

기능

    Front light source

1. Front illumination

 

2. Specular illumination (dark field)

 

3. Specular Illumination (light field)

 

4. Front imager

 

 

    Back light source

1. Rear illumination (light field)

 

 

2. Rear illumination (condenser)

 

3. Rear illumination (collimator)

 

4. Rear offset illumination

 

Area flooded such that surface is defining feature of image.

Used for surface defect recognition (dark background)

Used for surface recognition ; camera in-line with reflected rays (light background)

Structured light applications ; imaged light superimposed on object surface-light beam displaced as function of thickness.

 

Uses surface diffusor to silhouette features ; used in parts inspection and basic measurements.

Produces high-contrast images ; useful for high magnification application.

Produces parallel light ray source such that features of object do not lie in same plane.

Useful to produce feature highlights when

(3) 영상 처리

머신 비전의 세 번째 단계는 영상 처리 (image processing) 이다. 앞선 예제에서 알 수 있었듯이 비전 시스템에서 처리되어야 할 데이터의 양도 매우 중요한 인자가 된다. 마이크로프로세서는 대개 1 초 이내에 영상을 처리할 수 있다. 영상은 계측되고 이 신호는 앞 절에서 설명한 바와 같이 A/D 변환기에 의하여 디지털로 변환된다. 이 디지털 신호는 전체 영상에 걸쳐 광의 강도값을 나타낸다. 이 값이 메모리에 저장되어 디지털 영상을 얻게 되며 이는 분서과 해석을 가능하게 해준다.

영상 처리는 잘 발달된 분야이다. 처리 기술은 대개 한 영상을 다른 영상으로 변환하는 기술이며, 예를 들면 영상 향상 (enhancement), 영상 압축, 번졌거나 초점이 어긋난 영상의 보정 등이 있다.

한편 머신 비전 알고리즘은 영상을 입력으로 받아들여 영상 내의 물체의 외곽선에 대한 표현과 같이 다른 방법으로 표현된 결과를 출력한다. 이 단계에서 영상 처리 알고리즘은 특정 정보를 향상시키고 잡음을 제거하는 역할도 수행한다.

영상 형성 과정은 다음 두 부분으로 나눌 수 있다.

컴퓨터는 직선, 원, 자유 도형과 같은 기하학적 원소로서 시각화와 가상현실에서 중요한 역할을 하는 영상을 구성할 수 있다.

패턴 인식은 숫자 또는 기호 데이터를 분별한다. 패턴을 인식하기 위하여 많은 통계적이나 구문론적 (syntactical) 기술들이 개발되어 왔다. 패턴 인식은 머신 비전에서의 물체 인식에 중요한 역할을 하고 있다.

(4) 영상 분석

영상 분석 (image analysis) 은 영상 처리로부터의 정보를 모아서 변환을 완료하는 데 필요한 시간 내에 이를 분석하는 것이다. 머신 비전 시스템에서의 영상 데이터를 분석하기 위한 많은 기술들이 개발되어 있다. 이 기술 분야 중 하나는 세그먼테이션 (segmentation) 이라 불린다. 세그먼테이션 기술은 영상 내에 관심영역 (region of interest) 을 정의하고 분리하는 것이다. 두 개의 공통적인 세그먼테이션 기술은 스레쉬홀딩 (thresholding) 과 에지 검출 (edge detection) 이 있다. 스레쉬홀딩은 각 화소의 광도 레벨을 백색과 흑색을 표현하는 이진값으로 변환한다. 이 과정은 정의된 스레쉬홀드와 각 화소의 강도를 비교함으로써 진행된다. 만일 화소의 값이 스레쉬홀드에 비하여 높으면 백색에 해당하는 이진값, 즉 1 이 부여된다. 반대로 스레쉬홀드에 비하여 낮으면 흑색에 해당되는 0 이 부여된다. 스레쉬홀딩에 의하여 영상을 이진화함으로써 다음 단계로 진행될 영상 속의 물체를 정의하고 식별하는 작업을 단순화한다.

에지 검출은 영상 속의 물체와 그 배경 사이의 경계의 위치를 결정하는 데 관여한다. 앞절에서 설명했던 바와 같이 물체의 경계에 인접한 화소들간의 빛 강도의 대조를 이용하여 에지 검출이 이루어 진다.

영상 처리에 있어서 세그먼테이션 다음으로 진행되는 기술은 특징 추출 (feature extraction) 에 관련된 것이다. 대부분의 머신 비전 시스템은 물체의 특징에 의하여 영상 내의 물체를 정의한다. 물체의 특징은 물체의 면적, 길이, 폭, 지름, 둘레, 무게중심, 종횡비 (aspect ratio) 등이 될 수 있다. 특징추출 방법은 스레쉬홀딩과 에지 검출과 같은 세그먼테이션으로 어덩진 물체의 면적과 그 경계를 근거로 물체의 특징들이 결정되도록 설계되어 있다.

예컨대 물체의 면적은 물체를 구성하는 흑색 또는 백색의 모든 화소를 카운트함으로써 결정될 수 있다. 물체의 길이도 물체의 양 끝점을 잇는 선을 따라 화소수를 카운트하여 구해질 수 있다.

(5) 영상 해석

주어진 어떤 응용에 대하여 영상으로부터 추출된 특징들을 기반으로 영상 해석 (image interpretation) 이 수행된다. 영상 해석 단계는 물체의 인식에 관여된다. 이 작업의 목표는 미리 정의된 모델이나 표준값과 비교하여 영상 속의 물체를 식별하는 것이다. 일반적으로 사용되는 해석 기술으로는 템플릿 매칭 (template matching) 과 특징 가중 (feature weighting) 이 있다.

템플릿 매칭은 영상의 한 개 이상의 특징을 컴퓨터 메모리에 저장된 모델 또는 템플릿의 해당 특징과의 비교를 시도하는 다양한 방법에 붙여진 이름이다. 가장 기초적인 템플릿 매칭 기술은 영상의 화소를 일일이 컴퓨터 내의 모델의 화소와 비교하는 것이다. 어떤 통계적 허용공차 이내에 템플릿과 영상이 매칭되는지를 컴퓨터로 판단하게 된다. 이 방법을 사용할 때 발생하는 기술적 문제는 카메라 앞에 물체를 어떻게 일정한 위치에 배치시켜 간단하게 비교작업이 진행되도록 하는가 이다.

특징 가중은 여러 특징에 물체를 구별하는 데 필요한 상대적인 중요도인 가중치를 부여하고 이들을 조합하여 하나의 척도로 만들어 내는 기술이다. 물체를 적절하게 식별하기 위하여 영상 내의 물체의 점수와 컴퓨터 내의 저장된 이상적인 물체의 점수가 비교된다.

또 다른 영상 해석에 대한 미래의 기술은 인공지능 (artificial intelligence) 이다. 인공지능은 지능을 계산적 관점에서 구현할 수 있는 시스템으로 설계하는 것이다. 이 시스템은 특징 추출을 완료한 후 전경의 내용에 대한 기호적 표현을 계산함으로써 전경을 해석하는 데 이용된다. 인공지능은 인지 (perception), 지각 (cognition), 행동 (action) 세단계로 분리할 수 있다. 인지는 관찰대상에서 오는 신호를 식별하여 기호로 표현하고, 지각은 기호를 조작하여 신호로 만들며 행동은 신호를 해석하여 관찰대상을 변화할 새로운 영상을 만들어 낸다. 인공지능과 관련된 많은 기술들은 컴퓨터 비전의 거의 모든 부분에서 중대한 역할을 한다. 사실 컴퓨터 비전이 인공지능의 세부분야로 분류되기도 한다.

신경회로망 (neural network) 은 지난 십년간 매우 활발히 연구가 수행된 분야였다. 신경회로망은 머신 비전의 문제를 해결하기 위하여 점점 더 많이 사용되어 왔다. 그러나 이 분야는 아직 초보단계로서 머신 비전 분야에 아직도 실용적인 기술이 정립되지는 못했다.

(6) 상용 로봇의 비전 시스템

로봇 제어와 검사에 사용되는 비전 시스템은 다음 세 가지 방식으로 실용화되어 있다.

이러한 방식들은 물체를 비추는 조명, 영상을 얻기 위한 카메라, 처리과정 중에 영상을 저장하기 위한 저장장치가 필요하다.

3. 머신 비전 응용

로봇 응용과 관련된 실질적 목표를 달성하기 위하여 비전 시스템을 도입하게 된다. 머신 비전 시스템은 생산 및 로봇 자동화 시스템에서 다양한 작업을 수행하기 위해서 사용되는 사례가 나날이 급증하고 있으며, 그 적용 분야는 다음과 같은 여섯 분야로 분류될 수 있다.

검사는 부품의 품질관리에 가장 큰 범주이다. M. P. Groover (1996) 는 검사는 머신 비전의 응용 영역의 90 % 를 차지한다고 추측했다.

머신 비전 시스템을 산업현장의 자동 검사 시스템에 적용함으로써 다양한 검사작업을 수행할 수 있는데 그 작업들의 대부분은 온라인/인 프로세스 (in-process) 나 온라인/포스트 프로세스 (postprocess) 로 진행된다. 주요 응용들은 거의 대부분 양산 시스템이며 프로그래밍과 설치에는 수많은 장치들이 관련된다. 일반적인 산업용 검사작업의 내용은 다음과 같다.

광학적 방법 이외에도 다양한 비광학적 방법들이 검사에 사용되고 있다. 이것들은 전기장, X-선, 초음파 등을 이용한 센서 기술이다.

부품 식별은 상업적으로 많이 적용되고 있는 분야이며 비전 시스템이 서로 다른 부품들의 데이터를 메모리에 저장시키고 이 데이터를 근거로 부품들을 구별할 수 있도록 하여 부품이 작업셀에 들어올 때 그 부품 종류에 대응되는 작업이 진행되게 한다. 이 응용은 부품의 계수, 분류 (sorting), 문자인식을 포함한다.

부품의 방향에 대한 정보는 주로 특정한 방법으로 말단장치가 부품을 집어올릴 때 사용된다. 비전 시스템은 집어서 옮기기 (pick and place) 작업에 있어서 그리퍼를 구동하여 적절하게 파지하기 위한 정보와 데이터를 제공한다.

부품의 위치는 x, y 좌표상에 무작위로 놓여 있는 물체의 위치를 파악하기 위하여 사용된다. 비전 시스템은 x, y 거리를 계측하고 카메라의 중심이 무작위로 놓여진 부품의 중심과 일치하도록 한다.

시각 항법과 제어는 비전 시스템이 로봇 또는 작업셀의 어떤 장치와 기계의 운동을 제어하기 위하여 짝을 이룬 응용들을 말한다. 예컨대 연속 아크용접에서 용접선 추종이나 부품 배치와 재정렬, 빈 피킹 (bin picking) 과 같이 작업들이 이 범주에 속한다.

안전 감시는 생산 셀의 작업을 비전 시스템을 사용하여 감시하는 응용이다. 셀 내부의 장비나 인원에게 위험한 비정상 상태를 감지하는 것이 그 주요 목적이다. 또한 로봇셀을 배회하다가 위험을 초래할 수 있는 외부 인원을 감지하는 데에도 적용할 수 있다.

4. 기타 광학적 방법

인간의 가장 중요한 감각인 시각과 유사하기 때문에 머신 비전은 급속하게 성장하는 기술이다. 머신 비전은 산업계의 적용에 대한 상당한 잠재력을 가지고 있는 분야이다. 그러나 머신 비전 이외에도 주목할 만한 여러 광학을 이용하는 기술들이 있다.

(1) 스캐닝 레이저 시스템

레이저는 산업공정과 계측에 많이 응용되어 왔다. 고전력 레이저 광선은 열처리, 용접, 절단, 구멍내기, 표식작업 (scribing), 마킹 (marking) 작업과 같은 응용에 사용되고 있다. 저전력 레이저는 계측, 치수측정, 검사 등에 적용되고 있다.

스캐닝 레이저 장치는 저전력 레이저를 사용하는 분야이다. 저전력 레이저를 사용하는 산업용 시스템은 일반적으로 (a) 레이저 광원, (b) 광선을 지향시키고 구조화하는 광학계, (c) 광이 물체와 상호 작용한 후 생성되는 영상 또는 빛을 모으는 광학계, (d) 감지 시스템과 같은 네 개의 부분으로 구성된다. 감지 시스템은 인간이 될 수 있고 디스플레이 장치나 컴퓨터에 인터페이스된 광전기 소자가 될 수도 있다.

스캔 레이저에는 거울과 프리즘을 사용하고 있다. 이 장치는 대개 사인파로 진동되거나 일정속도로 회전되고 있다. 그림 8 은 치수측정이나 검사에 사용되는 레이저 시스템의 간략화된 구조를 보여주고 있다.

그림 8  치수 측정과 검사를 위한 레이저 시스템

이 시스템은 구형 수차 (aberration) 를 없애기 위하여 편축 (off-axis) 포물선형 거울을 사용하고 있다. 수렴렌즈는 로물선형 거울의 초점위치에 있는다면 거울 스캐너에 레이저 광선의 초점을 맞추기 위하여 사용되고 있다. 광선은 포물선형 거울에서 반사된 후 평행광이 된다. 편축 포물선형 거울을 사용함으로써 반사광에 간섭을 주지 않고 회전하는 다면 거울을 위치시킬 수 있다. 감지기는 두 번째 편축 포물선형 거울의 초점에 위치한 광다이오드를 사용한다. 레이저 광선이 스캐너와 감지기 사이에 위치한 물체를 지나갈 때 물체에 의하여 광선이 차단된다.

이 차단되는 시간을 매우 정밀하게 계측하여 광선 경로에 놓인 물체의 크기와 관련짓게 된다. 이 스캐닝 레이저 광선장치는 치수계측이나 검사를 매우 신속하게 완료할 수 있다. 광선이 물체를 스캔할 때 마이크로프로세서 기반 시스템으로 광선의 차단시간을 카운트하고 이 시간을 선형 치수로 환산하고 적절한 판단을 한다. 그 결과에 따라 다른 장치에 적절한 신호를 보내 제작공정에서 보정을 하도록 하거나 생산라인의 분류기구를 작동시킨다. 스캐닝 레이저 기술의 응용분야는 정렬, 표면검사, 기계가공, 그라인딩 작업 등이 있다 (그림 9 와 10 참조).

그림 9  레이저 정렬 시스템의 구조

그림 10  결함을 검출하기 위한 레이저 스캐너 시스템

(2) 다이오드 배열 카메라 시스템

많은 산업용 광학적 검사장치는 물체의 영상을 1 차원 또는 2 차원 다이오드 배열 (diode array) 에 집광시키기 위하여 카메라 렌즈를 가지고 있다. 이러한 용도에서는 대개 백색광 조명을 선호하고 있다. 레이저 조명은 주로 광이 구조화되어야 하거나 지향성을 갖도록 해야 하는 경우에 많이 사용되고 있다. 여기서는 별도의 언급이 없는 경우 레이저가 광원으로 사용되는 것을 가정한다. 가능하면 배면광을 사용하며 필요한 경우 반사광도 사용한다.

그림 11  다이오드 배열 카메라를 이용한 광학적 치수계측 또는 검사 시스템

그림 11 에서는 물체의 후면조명으로서 레이저를 사용한 전형적인 다이오드 배열 카메라를 보여주고 있다. 광 확산기 (spreader) 는 레이저 광을 평행광으로 만들고 지름을 키우는 역할을 한다. 이 레이저 광은 검사하고자 하는 물체를 후면에서 조명하게 된다. 카메라 렌즈는 물체의 외곽을 다이오드 배열에 상이 맺히도록 한다 다이오드 배열의 출력은 그림 11 과 같이 오실로스코프에 표시할 수 있다. 각 다이오드를 하나씩 스캔할 때 영상에 의하여 조명을 받지 못한 다이오드들은 신호가 매우 작거나 거의 0 이고 조명을 받은 것들은 양의 펄스를 출력한다. 조명을 받은 다이오드나 받지 못한 것들을 카운트하고 렌즈에 의한 배율을 감안하면 물체의 크기가 결정된다. 만일 1 차원의 계측만으로 충분하다면 직선형 다이오드 배열을 사용하면 된다.

2 차원 계측은 2 차원 다이오드 배열을 사용한다. 만일 이러한 형태의 시스템이 치수 계측에 이용된다면 렌즈는 물체와 영상의 크기간에 선형적 관계가 성립되도록 설계되어야 한다. 다이오드 배열 카메라 시스템을 사용할 때 주어진 물체의 거리에 대하여 배율과 영상의 위치를 수학적으로 예측할 수 있는 것이 편리할 것이다. 카메라 렌즈는 두꺼운 렌즈로 처리되어야 한다. 이러한 목적을 달성하기 위하여 Newtonian 형 렌즈 방정식을 사용할 수 있다. Newtonian 형 렌즈 방정식은 다음과 같다.

여기서 와 는 그림 12 와 같이 1 차와 2 차 초점 평면으로부터의 상대거리이다. 초점평면은 평행광을 카메라 렌즈로 통과시켜서 광의 초점이 형성되는 곳을 찾으면 된다. 렌즈의 초점거리는 렌즈의 사양으로부터 구할 수 있다. Newtonian 형의 배율은 다음과 같다.

그림 12  Newtonian 형 렌즈 방정식의 표기법

다이오드 배열상의 영상을 계측할 때 얻어지는 분해능은 두 인접한 다이오드간의 거리를 배율로 나눈 값이 된다.

그림 13  광학적 나사 검사기

산업용 부품은 다이오드 배열에 의해 해독될 만큼 충분한 대비 (contrast) 를 가진 경우 전면조명으로 검사할 수 있다. 그림 13 은 나사산의 유무를 검사하도록 설계된 광학검사 시스템을 보여주고 있다. 만일 나사산이 존재하면 선형 다이오드의 출력은 그림과 같이 사인파형이 될 것이다. 반대로 나사산이 없다면 각 다이오드의 출력이 같아지므로 직류가 출력될 것이다. 이 시스템은 나사산의 피치를 결정할 수도 있고 벗겨진 나사산도 감지할 수 있다. 검사 물체를 나사축에 대하여 회전시키면 완전한 검사가 가능하다.

레이저는 종종 회절현상과 레이저광의 간섭 특성에 의한 얼룩발생때문에 조명으로 적당하지 않는 경우가 있다. 그러나 높은 조도의 광이 먼 거리에 있는 제한된 지역으로 지향되어야 하는 경우에는 레이저가 필요할 것이다.

(3) 광학적 삼각측량 기술

광학적 삼각측량은 산란된 표면의 변위를 결정하는 비접촉 방법을 제공하고 있다. 그림 14 는 산업적으로 널리 응용되는 레이저 기반의 시스템의 간략한 구조를 보여주고 있다. 저전력 헬륨네온 (HeNe) 또는 다이오드 레이저로 점 또는 선의 광을 산란면에 투사한다. 표면에서 산란된 광의 일부는 수렴 렌즈를 통과하면서 선형 다이오드 배열이나 위치 감지기에 상을 맺게 된다. 그림과 같이 산란면이 레이저에서 조사된 광과 평행한 변위성분을 갖는다면 산란면의 광의 스폿이 감지기 렌즈의 축과 평행하는 변위성분과 수직한 변위성분을 갖게 된다. 렌즈의 축과 수직한 성분이 이에 해당하는 영상을 감지기상에 맺히도록 한다. 이 감지기상의 영상 변위가 산란면의 변위를 결정하는 데 이용된다.

그림 14  레이저 기반 광학적 삼각측량 시스템

많은 삼각측량 시스템에서는 그림 14 와 같이 감지기 렌즈의 축과 수직하게 감지기를 설치한다. 감지기상의 영상 변위 를 레이저 조사방향과 평행한 산란면의 변위 성분 로 대략적으로 표현하면 다음과 같다.

여기서 는 배율이고,  는 산란면에 수직한 선과 렌즈로 향하는 산란광과의 각도를 나타낸다. 영상 변위 , 거리 와 는 광학적 계측 또는 식 5 를 이용하여 정할 수 있다.

5. 요약

이 장에서는 비전 시스템에 대한 실용적 측면들을 소개하였다. 비전 기술은 의학용 영상에서 원격계측까지, 산업계측에서 문서처리까지, 나노테크놀러지 (nanotechnology) 에서 멀티미디어 데이터 베이스까지를 망라하는 다양한 영역에서 응용되고 있다.

비전 시스템 또는 머신 비전은 데이터를 수집하여 영상을 형성시켜 로봇 시스템 컴퓨터로 이를 해독함으로써 로봇이 작업을 위하여 움직일 때 작업셀 내의 물체를 보거나 적절한 위치를 파악할 수 있도록 한다.

생산 현장에서의 비전은 부품을 식별하고 검사하는 데 사용되며 3 차원 물체의 위치, 방향의 결정, 시각 항법제어, 안전 감시 등과 같은 용도로도 사용된다.

비전 시스템은 1 차 배열과 격자배열로 분류된다. 1 차배열에서는 1 차원의 정보가 감지되고 격자배열에서는 2 차원 또는 3 차원의 정보를 얻을 수 있다.

비전 시스템의 기본 하드웨어 구성은 조명 시스템, 카메라, 카메라 제어기, 인터페이스 장치, 비디오 영상 모니터, 프로그래밍 장치가 있다. 머신 비전의 응용에는 다음 세 유형의 카메라를 많이 사용하고 있다.

반도체 카메라는 작고 견고하다. 이 중에서 가장 널리 사용하는 것이 CCD (charged-coupled-device) 카메라이다.

비디콘 카메라는 TV 에 사용되는 방식으로 출력이 아날로그이다. 이 신호를 처리하고 난 후에 그레이 스케일로 이진화한다. 비디콘 카메라는 전자빔을 만들기 위하여 필라멘트를 사용하기 때문에 반도체 카메라에 비하여 수명이 짧다.

레이저 카메라는 광원과 감지기로서 비데오 시스템에서 사용되는 형태이다. 이 시스템은 밀리와트 이하의 전력을 갖는 헬륨-네온 레이저 광원을 사용하고 있다.

또 다른 로봇 비전에 사용되는 센서는 다이오드 배열 카메라 시스템, 광학적 삼각측량, X-선, 초음파 센서 등이 있다.

3 차원 비전은 두 카메라를 사용하여 구현될 수 있다.

머신 비전 시스템의 작업은 다음의 5 단계로 나눌 수 있다.

머신 비전의 로봇 자동생산 시스템에 대한 응용은 매우 광범위하다. 그 몇 가지 분야는 다음과 같다.