(7) 심상의 위계 구조

     (9) 심상에 관한 결론

3. 연속적 순서의 표상

     (1) 위계적 약호화와 연속적 순서 정보

      (2) 연속적 순서의 판단

     (3) 연속적 순서 정보의 언어적 성질

4. 지각적 지식 표상에 관한 결론

5. 일러두기와 읽을거리

무엇보다도, 인지심리학이 초기의 행동주의와 뚜렷이 구분되는 점은 지식의 내적 표상을 근거로 마음이 작용한다는 주장이다. 인지심리학이 행동주의로부터 분리되는 과정에서 빚어진 소란과 혼란을 부분적으로 반영하면서 지식 표상의 성질에 관하여 많은 논란이 있어 왔다. 또 마음이 어떤 종류의 지식 표상을 가지는지 그리고 지식 표상의 성질에 관하여 많은 논란이 있어 왔다. 또 마음이 어떤 종류의 지식 표상을 가지는지 그리고 지식 표상이 정확히 무엇을 뜻하는지를 구체적으로 다루겠지만, 그 이전에 언어 정보와 시각 정보에 각기 분리된 내적 표상이 있다는, 즉 지식 표상을 직관적으로 제안하는 입장에 대한 증거를 살펴볼 필요가 있다. 이 구분은 단순한 이원론의 함의보다 더 복잡하겠지만, 이것이 논의를 위한 좋은 출발점이 될 것이다.

1. 상이한 지식 표상

페이비오 (Paivio, 1971, 1986) 는 언어 및 시각 정보가 분리된 표상을 가진다는 이중 부호론 (dual-code theory) 을 오랫동안 옹호해 왔다. 그의 증거 대부분은 그림 재료에 대한 기억이 언어 재료에 대한 기억보다 우수함이 자주 발견된 인간 기억 연구에서 왔다. 다른 학자들도 언어 재료와 일치하는 시각 심상을 만들 경우 그 언어 재료에 대한 기억이 상당히 증가됨을 발견하였다. 예를 들면, 개가 자전거를 쫓아 갔다 라는 문장을 받은 피험자들이 이 문장과 일치하는 심상을 만들게 되면 그 문장을 더 잘 기억하게 된다 (Anderson & Bower, 1973: 10장). 나중 장에서 이러한 기억 자료를 자세히 논의할 것이다. 여기서는 두 유형의 표상 간에 어떤 차이가 있는지를 직접 보여 주는 실험들을 논의하겠다.

(1) 언어 처리와 시각 처리 비교

산타 (Santa, 1977) 의 실험은 시각 표상과 언어 표상 간의 차이를 잘 설명해준다. 산타 실험의 두 조건이 그림 1 에 나와 있다. 도형 조건에서 피험자들은 들은 위에 하나는 아래에 배치된 세 도형을 본다. 도형들이 배치된 그림은 얼굴과 같아서 쉽게 두 눈과 입을 볼 수 있다. 피험자들이 이 그림을 본 후 그림은 없어지고 곧 몇몇 검사 그림 중 하나가 제시되었다, 피험자들의 과제는 그 그림이 학습한 그림과 같은 배치는 아니더라도 동일한 요소를 포함하고 있는지를 판단하는 것이다. 그러므로 피험자는 처음 두 그림에는 '예' 반응을 나머지 그림에는 '아니오' 반응을 해야 한다. 흥미로운 점은 '예' 반응을 요하는 두 그림 간에 차이가 있었다. 첫째 그림은 학습한 그림과 배치가 같지만, 둘째 그림은 요소들이 선형을 이룬다. 산타는 피험자들이 요소들의 배치가 학습한 그림과 같은 첫째 그림에 대해 '예' 판단을 더 빨리 할 것으로 기대하였는데, 학습한 자극에 대한 시각 기억이 공간정보를 보존하리라고 가정했기 때문이다. 도형 조건의 결과는 그림 2 에 나와 있다. 그림에서 보면 산타의 예언은 입증되었다. 피험자들은 요소들의 배치가 학습한 그림의 배치 정보를 보존하였을 경우 더 빠르게 반응하였다.

그림 1 산타 (Santa, 1977) 의 실험 절차. 피험자들은 처음 배열을 학습한 다음 검사 배열 각각이 학습 배열과 같은 요소를 포함하는지를 판단해야 했다.

그림 2 산타 (Santa, 1977) 실험의 반응 시간으로, 재료 유형과 검사 배치 간의 상호 작용을 보여 준다.

도형 조건의 결과들을 언어 조건의 결과들과 비교해 보면 더욱 인상적이다. 언어 조건에서 피험자들은 도형 조건과 같은 식으로 배치된 단어들을 학습하였다. 그러나 이 배치는 단어들로 이루어졌기 때문에 학습한 자극이 얼굴과 같은 형태도 아니었고 그림과 같은 성질도 없었다. 산타는 정상적 읽기 순서에 따라 피험자는 좌측에서 우측으로, 위에서 아래로 단어 배치를 약호화한다고 생각하였다. 그림 1b 에서 자극판을 본 피험자들은 이것을 '삼각형, 원, 사각형' 으로 약호화할 것이다. 자극판이 제거된 후 검사 자극 중 하나가 제시 되었다. 피험자들은 검사 자극의 단어들이 학습한 자극과 같은지 판단해야 했었다. 특히 '예' 반응을 요하는 두 검사 자극은 원래 학습한 자극판과 같거나 선형으로 배치되어 있었다. 선형 배치에서 단어의 순서는 산타의 가정대로 피험자들이 자극을 학습한 순서와 같았다. 피험자들이 자극판의 단어들 선형으로 약호화했기 때문에, 산타는 검사 자극의 배치가 선형 일 때 피험자들의 반응이 더 빠르리라고 예상하였다. 그림 2 에서 보듯이 그의 예상이 확증되었다. 언어 조건과 도형 조건은 명확한 대조를 보여 준다.

그림 3 언어로 반복되는 운율을 상상할 때 (J), 그리고 공간적 통로를 상상할 때 (R) 좌측 피질에서 혈류가 증가하는 곳을 보여 주는 롤랜드와 프라이버그 (Roland & Friberg, 1985) 의 결과.

결론적으로, 산타의 실험은 도형과 같은 물체의 정보는 공간 위치에 따라 저장되며, 한편 단어와 같은 정보는 선형적 순서로 저장되는 경향이 있음을 시사한다.

시각 표상과 언어 표상 간의 차이를 매우 다른 입장에서 보여 주는 자료가 롤랜드와 프라이버그 (Roland & Friberg, 1985 ) 의 연구에서 나왔다. 이 연구자들은 피험자들에게 짤랑짤랑 (jingle) 이라는 단어를 머리 속에서 암송하거나 또는 머리 속에서 집을 나와 거리를 따라 이웃 동네를 찾아가 보라고 하였다. 1 장에서 소개된 포스너 (Posner, 1988) 의 연구처럼, 롤랜드와 프라이버그는 피질 여러 부위에서 혈류의 변화를 측정하였다. 그림 3 은 좌측 피질이 심적 과정 대 다른 과정에 의해 활성화된 부분을 보여준다. R 은 공간적 길 찾기 과제 수행시 증가된 활동을 보여 주고, J 는 언어 과제 수행시 증가된 활동을 보여준다. 서로 다른 신경 영역이 언어 정보 처리와 공간 정보 처리에 관여함이 분명하다. 더욱이, 이 신경 영역은 실제로 말한 그리고 본 (상상하기 보다는) 재료를 처리할 때 관여하는 바로 그 영역인 것으로 보인다. 길 찾기 과제와 관련된 후두엽과 측두엽 영역은 시각에 똑같이 관여한다. 언어 과제와 관련된 영역 중에는 브로카 영역 (Broca area) 이 있는데, 제 1 장에서 보았듯이, 언어 처리에서 중요한 역할을 한다. 이것은 페이비오의 이중 부호설의 주장처럼 두 표상을 두 감각 양태 각각에 묶는 증거로 보인다.
 

(2) 지식 표상의 성질

이처럼, 서로 다른 유형의 정보가 뇌의 서로 다른 위치에 표상됨을 보았다. 뇌의 국재화 (localization) 에 관한 문제가 중요하지만, 이것은 심리학자들이 지식 표상에 관심을 가지고 있은 이유가 아니다. 지식 표상에 관심을 가지는 중대한 이유는 정보가 표상되는 방식이 그 정보가 처리되는 방식에 영향을 줄 수 있기 때문이다. 표상이 실제로 뇌에 약호화되는 방식을 추론하기 위하여 표상이 처리되는 방식에 관한 정보를 사용하려는 강한 유혹이 있다. 뇌 속의 어떤 내적 존재가 보는 머리 속의 그림 또는 똑 같은 내적 존재가 듣는 머리 속의 말이 있다고 상상할 수 있다 보기도 하고 듣기도 하는 뇌 속의 신비한 내적 존재는 심리학에서 난쟁이 (homunculus) 라고 알려진 악명 높은 존재이다. 이 개념을 쓴다는 것은 과학적 설명의 실패를 인정하는 것이며, 그 이유는 인간 인지의 이해를 단순히 난쟁이 인지의 이해로 대치시켰기 때문이다. 물론 이것은 그림을 보고 말을 알아듣는 난쟁이 안에 난쟁이가 또 있는 곳까지 무한한 퇴행으로 유도될 수 있다.

'머리 속의 그림' 이 있음을 정말로 시사하는 것으로 해석될 수 있는 증거가 있다. 예를 들면, 1 장에서 주목했듯이, 피질의 시각 영역은 시각 자극의 지형학적 표상 (topographic representation) 을 유지한다. 피질에서의 활동은 자극의 공간적 구조 (예: 그림 8) 와 일치한다. 그러나, 뇌의 뒤 쪽에 있는 심상을 보고 있는 난쟁이는 없다. 1 장에서 논의하였듯이, 지형학적 표상이 이루어지는 이유는 인접한 정보를 처리하고 있는 신경 영역은 직접 연결되어 그 상호 작용이 더 잘되기 때문이다.

2 장에서 시각 정보가 지각 과정에서 표상되는 방식을 약간 설명하였다. 예를 들면, 특정한 위치와 방향에 있는 선분을 표상하는 세포들이 있다. 한 장면은 그 장면의 다양한 세부 특징들을 약호화하는 세포들의 활동 패턴에 의해 표상된다. 피험자들이 시각 장면을 상상할 때, 이러한 세부 특징 탐지 세포들의 활성화 패턴에 의해 비슷한 표상이 형성된다고 생각할 수 있다. 이 장에서는 이러한 추측과 일치하는 신경적 증거를 논의하겠다. 그러나 지각과 심상의 동등성에 과한 대부분의 자료는 행동에 관한 것이다. 이 자료들은 지각정보와 심상정보가 비슷한 방식으로 처리되고 있음을 시사한다.
 

2. 심 상

한 장면이나 눈에 보이지 않는 물체를 생각할 때, 우리는 그 장면이나 물체의 이미지 (image) 를 경험한다. 사람들은 이것을  '마음 속에서 보기' 라고 말한다. 지난 25 년간 이런 이미지를 뒷받침하는 지식 표상의 성질에 관해 상당히 많은 연구가 있었으며, 이 표상들은 보통 심상 (mental image) 이라고 불린다. 심상은 페이비오의 이중 부호이론에서 시각 표상으로 간주된다. 그러나, 이제 보겠지만, 핵심 문제 중 하나는 그런 표상이 공간 정보와 달리 시각 정보를 어느 정도 약호화하는 가이다. 순수하게 시각 정보를 표상하는 것 이외에 사람들은 감각 양태와는 독립적으로 공간 정보를 표상할 수 있다. 예를 들면, 사람들은 시각, 청각, 피부 감각 정보에 의해 환경 내의 물체들에 관한 정보를 갱신할 수 있는 능력을 가지고 있다.

(1) 심적 회전

심상에 관한 연구들 중에는 셰퍼드 (Roger Shepard) 와 그의 동료들이 해낸 심적 회전 (mental rotation) 에 관한 일련의 실험들이 유명하다. 첫 번째 실험은 셰퍼드와 메츨러 (Shepard & Metzler, 1971) 의 실험이었다. 피험자들은 그림 4 와 같이 3 차원 물체들의 쌍을 2 차원 표상으로 제시 받았다. 그들의 과제는 두 물체가 방향을 제외하고 같은 물체인지를 판단하는 것이었다. a 와 b 각각에서 두 도형은 그 방향만 다르게 제시되었을 뿐 같은 물체이다. 피험자들은 두 도형들을 맞추기 위하여 둘 중 하나를 다른 도형과 일치시킬 때까지 머리 속에서 회전시켰다고 보고한다. c는 서로 다른 물체로서, 하나를 회전시켜도 다른 것과 일치하지 않는다.

그럼 5 의 그래프는 피험자들이 그림 4a 와 b 처럼 두 도형이 같은지 결정하는 데 걸린 시간을 보여준다. 반응 시간은 두 물체들 간의 각도 차이의 함수로 나타나 있다. 각도의 불일치 정도는 한 물체를 회전시켜서 다른 물체와 방향을 일치시키는 데 필요한 회전량이다. 이 관계가 선형적임에 주목하라 – 회전량이 일정하게 증가함에 따라 반응시간도 일정하게 증가한다. 반응 시간은 두 유형의 회전에 따라 다르게 나타난다. 하나는 평면에서 수행될 수 있는 (즉, 책을 회전시킴으로써) 2 차원상의 회전이고 (그림 4a), 다른 것은 물체를 책 안쪽으로 회전시켜야 하는 깊이 회전이다. (그림 4b). 여기서 두 함수가 매우 유사함에 주목하라. 한 물체를 깊이로 (즉, 3 차원으로) 처리하기가 평면으로 처리하기보다 더 오래 걸리는 것 같지 않다. 그러므로 피험자들은 물체의 3 차원 표상을 평면 조건과 깊이 조건 모두에서 조작하고 있음이 분명하다.

이 자료는 피험자들이 물체를 그들의 머리 속 3차원 공간에서 회전시키고 있음을 시사한다. 두 물체 간의 각도 차이가 클수록 회전을 끝내는 시간은 더 길어진다. 물론, 피험자들이 머리 속에서 물체를 직접 회전시키지는 않는다. 그러나 실제의 심리 과정이 어떠하든 그 과정이 실제의 회전과 비슷하다.

그림 4 심적 회전에 관한 셰퍼드와 메츨러 연구에서의 자극. (a) 평면에서 회전 각도가 80° 차이가 있는 물체들. (b) 깊이에서 회전 각도가 80° 차이가 있는 물체들. (c) 회전시켜도 일치되지 않는 쌍. (Metzler & Shepard. 1974.)

그림 5 그려진 방향상 각도 차이의 함수로서 두 물체가 같은 3 차원 형태인지를 결정하는 데 걸리는 시간. (a) 평면에서 회전 각도가 다른 쌍들에 대한 그래프. (b) 깊이에서 회전 각도가 다른 쌍들에 대한 그래프. (Metzler & Shepard. 1974.)

최근 연구들은 심적 회전시 신경 표상의 증거를 보여 준다. 지오고플러스 등 (Georgopoulos, Lurito, Petrides, Schwartz, & Massey, 1989) 은 원숭이들에게 주어진 자극에서 어떤 각도만큼 손잡이를 돌려야 하는 과제를 주었다. 예를 들면, 원숭이들이 손잡이를 좌측으로 90 도 이동시켜야 하는데 자극이 12 시 방향을 나타나면, 그들은 손잡이를 9 시 방향으로 이동시켜야 한다. 만일 자극이 6 시로 나타나면, 그들은 손잡이를 3 시로 이동시켜야 한다. 각도가 클수록 원숭이들이 이동을 시작하는데 시간이 더 걸렸으며, 이것은 이 과제가 심적 회전을 포함하고 있음을 시사한다. 운동 피질로부터의 기록에서, 연구자들은 이동 방향에 따라 다른 세포들이 흥분함을 발견하였다. 자극이 제시되면, 세포들은 자극이 제시된 방향으로 이동과 연합되어 흥분했으나 시간이 지나면서 이 흥분은 원숭이가 실제로 손잡이를 이동 시켜야 하는 방향과 연합된 세포들로 옮겨졌다. 시작과 종료의 중간 방향에서 세포들은 최대한 민감했다. 이것은 심적 회전이 처음 자극을 약호화하는 세포들로부터 변형된 자극을 약호화하는 세포들로 그 흥분이 점차 이동됨을 시사한다. 앞서 세포들이 장소와 방향에 민감함을 이미 보았다. 회전은 여러 위치를 표상하는 세포 활동의 점진적 이동을 포함한다.
 

(2) 심상 주사

연구자들은 피험자들이 어떤 심적 계산을 수행하고 있을 때 실제의 물체로 지속적 조작을 수행하고 있는 것처럼 시각 심상 (visual image) 을 조작하고 있음을 보여주는 몇몇 다른 과제들을 살펴 보았다. 코슬린 등 (Kosslyn, Ball, & Reiser, 1978) 의 실험은 심상에서 두 지점 사이를 주사 (scan) 하는 데 시간이 걸림을 보여 준다. 연구자들은 오두막, 나무, 바위, 우물, 호수, 모래 및 잔디가 있는 가상의 섬 (그림 6) 을 피험자들에게 보여 주었다. 피험자들은 이 지도를 상당히 정확하게 그릴 수 있을 때까지 훈련을 받았다. 그 다음 한 무리가 명명되면, 피험자들은 머리 속에 지도를 그리고 그 물체에 초점을 맞추라는 지시를 받았다. 5 초 후, 두 번째 물체가 명명되었다. 그러면 피험자들은 지도에서 이 두 번째 물체를 찾아서 초점을 맞춘 후 단추를 누르라는 지시를 받았다.

그림 7 에는 원래 지도에서 두 지점 간의 거리 함수로써 피험자들이 이 심적 조작을 수행하는 데 걸린 시간이 나와 있다. 각 대상을 둘씩 묶으면 21 개 쌍이 가능하며, 각 쌍은 그림

그림 6 회상될 심상들 간의 거리와 관련해서 처리 시간의 차이를 정하기 위해 코슬린과 그의 동료들 (Kosslyn et al., 1978) 이 사용한 가상의 지도. 피험자들은 이 지도를 기억해야 했고, 지도상 한 지점에서 다른 지점으로 심적 주사를 했다.

그림 7 에 점으로 제시되어 있다. 가로축은 두 지점간의 거리를 나타낸다. 두 지점이 멀리 떨어져 있을수록, 반응 시간이 더 길어졌다. 피험자들이 머리 속에 실제의 지도를 가지고 있지 않았으므로 그들이 머리 속의 한 지점에서 다른 지점으로 이동하지 않았음이 분명하다. 그러나 그들은 실제 조작과 유사한 과정을 거치고 있었다.

셰퍼드와 메츨러의 실험 그리고 코슬린 등의 실험에는 공통점이 있다. 즉, 사람들이 심상을 다룰 때 실물을 다루는 것과 같은 비슷한 과정을 거친다. 회전과 주사 모두의 경우에서 심적 조작을 수행하는 데 필요한 유사한 실제 조작을 수행하는 데 필요한 시간의 양과 함께 증가했음을 알 수 있다. 이 연구들은 심상과 실물이 얼마나 유사한가의 문제를 제기하였다. 다음에 개관한 연구들은 심상이 시각적 감각 양태에만 국한되는지의 문제에 관심을 가질 것이다.

그림 7 두 지점들 간 거리의 함수로 그림 6 에 위치한 두 지점 간을 주사하는 데 걸리는 시간. (Kosslyn et al., 1978)
 

(3) 간섭과 심상 주사

브룩스 (Brooks, 1968) 는 심상 (visual image) 의 주사에 관한 주요 실험들을 하였다. 그는 피험자들에게 그림 8 에 있는 것과 같은 그림을 머리 속에 그려서 주사하게 하였다. 예를 들면, 피험자는 토막 글자 F 를 상상해서 정해진 출발점으로부터 목표까지 주사하되, 각 모퉁이가 상단과 하단 지점인지 ('예' 반응), 또는 중간 지점인지 ('아니오' 반응) 을 분류해야 했다. 이 예에서 정확 반응은 예, 예, 예, 아니오, 아니오, 아니오, 아니오, 아니오, 아니오, 아니오, 예로 이어진다. 시각 과제와 대조되는 비시각 과제로, 브룩스는 피험자들에게 A   bird in the hand is not in the bush 와 같은 문장들을 주었다. 그들은 이 문장을 기억 속에서 주사하면서 각 단어가 명사인지 아닌지를 분류해야 했다. 두 번째 실험 변수는 피험자들의 반응 방법이었다. 피험자들은 (1) 예 또는 아니오라고 말하거나, (2) 예이면 왼손으로 그리고 아니오 이면 오른손으로 책상을 살짝 두드리거나 (3) 그림 9 와 같이 종이에 써 있는 Y 와 N 을 가리켜야 했다. 자극 재료의 두 변수 (그림 또는 문장) 와 세반응 형태가 조합되어 여섯 조건이 만들어졌다.

표 1 은 브룩스의 실험 결과인데 문장 또는 그림을 분류하는데 걸린 평균 시간을 반응 조건별로 보여 준다. 여기서 중요한 결과는 그림 과제를 해낼 때 다른 어던 조건보다도 가리키기 조건에서 시간이 더 걸렸다는 점이다. 문장 과제를 해낼 때는 이런 결과가 나타나지 않았다. 그림 9 와 같은 지면 주사는 머리 속의 심상 주사와 분명히 갈등적이다. 따라서 이 결과는 피험자들이 심적 배열 (mental array) 을 주사할 때, 실제배열 (physical array) 과 유사한 표상 (representation) 을 주사한다는 결론을 강하게 지지한다. 피험자들에게 심상과 갈등이 되는 실상을 동시에 주시시키면, 심상 주사는 큰 간섭을 받는다.

그림 8 심상 주사를 연구하기 위해 브룩스 (Brooks, 1968) 가 사용한 간단한 토막 그림의 예. 별표와 화살표는 피험자에게 출발점과 상을 주사할 방향을 표시해 준다.

브룩스의 결과는 시각적 가리키기 과제와 시각 심상 주사 간의 갈등 때문이라고 생각되기도 한다. 그러나 나중 결과들은 간섭이 과제의 시각적 성질 때문이 아님을 분명히 한다. 오히려, 문제는 좀더 추상적 성질을 지니며, 피험자들이 주사했어야 하는 실상 대 심상 간의 갈등적 방향에서 비롯된다. 예를 들면, 다른 실험에서 피험자들의 눈을 감고 그림 9 를 도드라지게 만든 Y 와 N 의 행렬을 손가락으로 만지면서 주사하도록 했을 때 비슷한 간섭이 있었다. 이 예에서, 실제 자극은 촉각적이지 시각적이지 않다. 이처럼 갈등은 시각적인 것 그 자체가 아니라 공간적인 것에서 비롯된다.

그림 9 심상에서 다룬 브룩스(Brooks, 1968) 실험에서 가리키기 조건의 반응 용지 예. 시각적으로 주의 깊게 찾도록 하기 위해 낱자들을 흩어 놓았다.

베들리와 리버만(Baddeley, 1976 저서에서 보고됨) 은 브룩스 과제의 간섭이 시각적이 아니라 공간적임을 강하게 지지하는 실험을 하였다. 피험자들은 두 과제를 동시에 수행해야 했다. 모든 피험자들은 브룩스의 심상 주사를 수행하였다. 그러나, 한 집단의 피험자들은 두 자극의 밝기를 비교하고 더 밝은 자극이 나타날 때마다 단추를 눌러야 했다. 이 과제는 공간 정보가 아닌 시각 정보 처리만을 포함하였다. 다른 조건의 피험자들은 눈가리개를 하고 흔들리는 추 앞에 앉았다. 추에는 소리를 내는 광전자가 부착되어 있었다. 피험자들은 섬광 레버를 흔들리는 추에 맞추어야 했다. 목표를 맞출 때마다 광전자는 음조를 달리 하며 청각적 피드백을 주었다. 이 검사는 시각 정보가 아닌 공간 정보 처리를 포함하였다. 공간적 청각 추적 과제는 밝기 판단 과제에 비하야 심상 주사 과제를 수해하는 데 더 큰 장애를 초래하였다. 이 결과는 브룩스 과제의 장애가 시각적이 아니고 공간적임을 시사한다.
 

(4) 두 유형의 심상

심상의 공간 속성과 시각 속성 구분의 중요성이 최근 연구에서 입증되었다.  공간적 표상은 특정 감각 양태에 구애 받지 않고 촉각 또는 청각에 의해 접근될 수 있다. 어떤 감각 양태라도 정보를 받을 수 있는 공통의 공간 표상이 있는 듯하다. 한편, 색채와 같은 시각 경험의 어떤 측면들은 그 감각 양태에만 국한되며 공간 정보와는 매우 다르다. 직관적으로, 심상은 공간 및 시각 성분을 모두 포함하고 있다. 그러나 앞 절에서 보았던 연구는 단지 공간 성분에 대한 증거만을 제공하였다.

파라 등 (Farah, Hammond, Levine, & Calvanio, 1988) 은 두 종류의 심상, 즉 시각 특성을 가진 그리고 공간 특성을 가진 심상이 있음을 입증하였다. 제 1 장과 제 2 장에서 물체 재인은 측두엽에서, 물체의 위치와 관련된 시각 또는 촉각 과제는 두정엽에서 주로 수행됨을 보았다. 파라 등은 외적 자극이 전혀 없는 심상 과제도 이들과 같은 피질 영역에서 이루어진다고 주장하였다. 그들은 공간 판단과 관련된 심상 과제는 두정엽에서 수행될 것이며, 특정 감각 양태와 관련된 효과는 보이지 않을 것이라고 주장한다. 한편, 시각적 세부 내용에 접근해야 하는 심상 과제는 측두엽에서 수행될 것이며 특정 감각 양태와 관련된 효과를 보여 줄 것이다.

파라 등은 양쪽 측두엽을 손상 당한 한 환자로부터 얻은 자료를 바로 위와 같은 구분을 지지하는 증거로 제공한다. 그들은 광범위한 심상 과제에서의 그 환자의 수행을 정상인의 수행과 비교하였다. 이 환자는 다음과 같은 일부 과제에서만 문제를 겪었다. 즉, 색깔을 판단해야 할 때 (축구공은 무슨 색깔인가?). 크기를 판단해야 할 때 (아이스캔디와 담뱃갑 중 어느 것이 큰가? ). 동물의 꼬리 길이를 판단해야 할 때 (캥거루는 긴 꼬리를 가지고 있는가? ). 그리고 미국에서 비슷한 두 주(州)의 형태를 판단해야 하는 과제 등이다. 한편, 상당한 양의 공간 처리를 요하는 과제들, 예컨대, 심적 회전, 심상 주사, 낱자 주사 (그림 9), 또는 한 주와 다른 주와의 상대적 위치를 판단하는 데는 아무런 결함이 없었다. 따라서, 측두엽 손상은 시각적 세부 내용에 관한 표상이 필요한 심상 과제에만 영향을 주고 공간 판단을 요하는 과제에는 영향을 주지 않는다. 공간 정보는 심상 처리시에 감각 양태와 관계 없이 표상될 수 있지만 사람들은 이와 별개의 심상 체계를 가지고 있어서 시각 정보만 철저히 처리할 수 있다.
 

(5) 시각 심상은 시지각과 같은가?

현재 중요한 한 쟁점은 시각 심상 (visual image) 이 시지각 (visual perception) 과 얼마나 비슷한 가이다. 공간 성분과 시각 성분이 분리되어 있다는 증거는 이 문제에 관한 한 매우 흥미롭다. 표면적으로 이러한 증거는 지각과 같지 않은 심상이 있음을 시사하는데, 그 까닭은 심상이 시각적 감각 양태에 국한되지 않은 공간 성분을 갖고 있기 때문이다. 그러나, 2 장에서 보았듯이, 지각 체계 역시 지각의 더 시각적인 면을 공간적으로 면으로부터 분한다.월리스 (Wallace, 1984) 는 그림 10 a 또는 그림 10 b 에 있는 것과 같은 자극들을 피험자들에게 보여 주었다. b 에서 그들은 두 개의 수평선 위에 거꾸로 된 V 자를 거쳐 놓으라는 지시를 받아 그들의 심상이 실제로 자극 a 와 같은 성분을 갖도록 하였다. 두 조건의 피험자들의 두 수평선의 길이를 평정하였다. A 조건의 피험자들은 실제와는 달리 위쪽 선분을 더 길게 평정하였다. 이것은 폰조 착시 (Ponzo illusion – Berbaum & Chung, 1981) 로 알려진 시지각에서의 고전적 착시를 되풀이한 것이다. 두 선분만을 보여 준 심성 조건 b 의 피험자들도 위쪽 선분을 a 에서와 같은 양만큼 더 길게 평정하였다. 이처럼, 심상 체계도 시각 착시를 그대로 재현할 수 있는 것으로 보이며, 이 결과는 심상과 지각 간의 명백한 동등성을 지지한다.

다른 실험에서, 핀크 등 (Finke, Pinker, & Farah, 1989) 은 피험자들에게 심상을 만든 후 이 심상을 몇 번 변형하도록 하였다. 그들이 피험자들에게 읽어 준 두 가지 예가 다음에 나와 있다 :

• 대문자 N 을 상상하라. 우측 위 모퉁이로부터 좌측 아래 모퉁이까지를 대각선으로 연결하라. 이제 그 글자를 우측으로 90 도 회전하라. 그것이 무엇으로 보이는가?

• 대문자 D 를 상상하라. 이 문자를 좌측으로 90 도 회전하라. 이제 대문자 J 를 그 밑에 두라. 그것이 무엇으로 보이는가?

피험자들은 눈을 감고 그들이 들은 심상 변형을 상상하려고 했다. 피험자들은 그들의 복합 심상 (composite images) 을 그들에게 제시된 자극처럼 재인할 수 있었다. 첫 번째 심상은 모래시계였고, 두 번째는 우산이었다.

그러나 심상 만들기와 대상을 실제로 보기 간에는 약간 차이가 있다. 체임버스와 라이스버그 (Chambers & Reisberg. 1995) 의 연구가 보여 준 하나의 차이는 그림 11 이 보여 주는 오리-토끼처럼 전환 가능한 그림의 처리와 관련이 있다. 피험자들에게 그 그림을 잠시 보여 준 후 심상을 만들게 하였다. 피험자들은 그림이 없어질 때까지 그 그림에 대한 한 가지 해석만을 내릴 정도의 시간밖에 없었으나, 그들은 그 심상의 두 번째 해석도 찾아야 했다. 피험자들에게는 이것이 불가능했다. 그 다음, 그들에게 심상을 종이에 그리게 한 후 그것을 재해석할 수 있는지를 물었다 이 상황에서 그들은 잘 해내었다. 이것은 심상이 그림과는 달리 한 해석에만 국한됨을 시사한다. 다음 장에서 이 주제로 다시 돌아가겠다.

코슬린 등(Kosslyn, Alpert, Thompson, Maljkovic, Weise, Chabris, Hamilton, Rauch, & Buonanno, 1993) 은 심상과 지각을 다른 식으로 비교하였다. 그들은 피험자들에게 토막 글자들을 보여 주거나 그것들을 상상하게 하였다. 그들은 1 장에서 기술된 PET 방법을 사용하여 시각 피질에서의 활동을 측정하였다. 그들은 심상시에 시각 피질에서 활발한 활동이 있으며, 이 활동은 시지각의 경우보다 더 활발함을 발견하였다. 그들은 심상이 지각보다 시각 표상을 만드는 데 더 많은 노력을 요하기 때문에 그런 현상이 관찰된다고 생각하였다. 다른 연구에서 그들은 피험자들에게 큰 낱자와 작은 심상은 중앙에 더욱 집중되므로 이 설명이 맞는 듯하다. 이처럼, 코슬린 등의 발견은 심상과 시지각에 비슷한 시각 피질이 관여함을 시사한다.
 

(6) 시각적 양의 비교

상당히 많은 연구가 피험자들이 심상에서 물체들의 시각적 세부를 판단하는 방법에 초점을 두었다. 어떤 연구는 피험자들에게 크기 차원에서 물체들을 변별하도록 하였다. 이 연구는 피험자들이 두 물체를 변별하는 데 걸리는 시간이 두 물체 간의 크기의 차이가 증가할수록 짧아짐을 보여 주었다.

이 결과는 모이어(Moyer, 1973) 가 수행한 실험에서 나타난다. 그는 피험자들이 기억 속에서 두 동물의 상대적 크기를 판단하는 속도에 관심이 있었다. 예를 들면, "사슴과 잉어 중에 어느 것이 더 큰가?" 그리고 "이리와 사자 중에 어느 것이 더 큰가?" 에 반응하기이다. 많은 사람들은 이런 판단을 할 때, 특히 크기가 비슷할 때, 두 물체를 심상으로 만들어서 그 심상으로 크기를 비교한다고 보고하였다.

모이어는 피험자들에게 이 동물들의 절대 크기를 추정하도록 하였다. 그는 두 동물에 대하여 추정된 크기 간의 차이의 함수로서 두 동물들 간의 심적 크기 비교 (mental-size-comparison) 에 요하는 반응 시간을 계산하였다. 그림 12 가 그 결과이다. 각 각의 점은 항목 쌍 간의 비교를 나타낸다. 일반적으로, 판단 시간은 추정된 크기의 차이가 증가할수록 감소한다. 그래프는 가로축 척도와 세로축 척도 간에 어느 정도 선형적 관계가 있음을 보여준다. 그러나 가로 좌표에서 크기의 차이가 대수 함수로 표시되어 있음에 주목하라. 즉 S₁ 이 더 큰 동물의 크기이고 (동물 1) S₂ 가 더 작은 동물의 크기라면 (동물 2), 가로축에 표시되어 있는 것은 log (S₁ - S₂) 이다. 대수상의 차이 척도는 같은 거리라도 작은 차이간의 거리를 큰 차이 간의 거리에 비하여 상대적으로 크게 만든다. 따라서 그림에서 선형적 관계는 크기 차이의 증가가 반응 시간의 감소 효과를 초래함을 뜻한다.

그림 12 모이어 (Moyer, 1973) 의 실험의 결과, 두 동물의 크기에 관해 추정된 차이의 함수로서 두 동물 중 어느 것이 더 큰가를 판단하는 데 걸린 평균 시간. 이 차이 측정치는 대수 척도로 가로 좌표에 나와 있다.

피험자들이 실제의 물리적 크기를 비교할 때도 비슷한 결과가 나타난다. 예를 들면, 존슨 (Johnson, 1939) 은 피험자들에게 두 선분을 동시에 제시하고 어느 것이 더 긴지 판단하게 하였다. 그림 13 은 선분 길이의 대수상 차이의 함수로서 피험자의 판단 시간을 나타낸다. 여기서도 선형 관계를 볼 수 있다. 비교되는 양이 비슷할수록, 지각 판단이 느림은 당연하며, 그 이유는 이 상황에서 정확한 변별이 더 어렵기 때문이다. 심적 물체들이 비교될 때, 이와 유사한 함수가 나온다는 사실은 심적 비교가 지각적 비교와 유사한 변별의 어려움을 갖고 있음을 시사한다.
 

(7) 심상의 위계 구조

복잡한 심상은 전체 구조의 일부로 표상되는 여러 개의 단편들로 체제화되는 경향이 있다. 그림 14 a 는 이 점을 보여 준다. 리드는 피험자들에게 그러한 형태를 보여 주고 마음 속에 그 형태를 심상으로 만들게 하였다(Reed, 1974 : Reed & Johnsen, 1975). 원래 형태가 없어지고 그 단편들이 14 b 와 c 와 같이 제시되었다. 피험자들이 b 가 전체 형태의 일부라고 파악한 경우는 전 시행의 65 퍼센트였으나 c의 경우 성공적 시행은 단지 10퍼센트에 불과하였다. 이런 차이가 나온 이유는 원래 형태에 대한 피험자들의 심상이 c 가 아닌 b 와 같은 부분들로 구성되었기 때문이다. 팔머 (Palmer, 그림 11) 의 실험에서 일찍이 주목했듯이, 시지각의 입력은 유사한 위계 조직을 가진다.

그림 13 존슨 (Johnson. 1939)의 실험 결과. 선분 길이 차이의 함수로서 두 선분 중 어느 것이 더 긴가를 판단하는 데 걸린 평균 시간. 차이 측정치는 대수 척도로 가로 좌표에 나타나 있다.

그림 14 상의 구성 요소에 관한 연구에서 리드가 사용한 형태들, 형태 (b) 와 (c) 는 형태 (a) 에 모두 포함된다. 그러나, 피험자들은 (c) 보다는 (b) 를 형태 (a) 의 부분으로 더 쉽게 지각한다. (Reed, 1974.)

복잡한 심상은 위계를 이룬 단위들로 구성된다. 예를 들면, 그림 15 는 그림 14 a 를 위계상 분해한 예의 하나이다. 원래의 그림은 두 개의 모래시계로, 모래시계는 두 삼각형으로 구성된다. 더욱이, 삼각형의 심상은 선분을 단위로 구성된다. 청크 (chunk) 라는 말은 인지 심리학에서 삼각형과 같은 지식 단위의 표상을 일컫는다. (예 ; Miller, 1956 ; Simon, 1974). 한 수준에서 청크는 몇몇의 초보 단위들을 조합한다. 그림에 대하여 이런 식의 위계 표상을 가진 피험자들은 그림 14 b 를 재빨리 재인하는데, 이는 그 그림이 그들 심상의 하위 청크이기 때문이다.

또 다른 연구도 공간적 심상의 위계적 체제화에 대한 증거를 보여 주려고 시도되었다. 맥나마라 등 (McNamara, Hardy, & Hirtle, 1989) 은 피험자들을 사방 20 피트 되는 방으로 데리고 가서 그림 16 에 그려진 스물여덟 개의 물체가 놓인 장소를 암기하게 하였다. 여러 측정 방법을 서서 그들은 피험자들이 방 전체를 하위 영역으로 나누고 특정 하위 영역에 있는 물체들의 분리된 하위 심상을 형성함을 보여 주었다. 예를 들면, 피험자들은 어떤 하위 영역에 있는 물체를 방금 회상했으면 같은 거리에 있는 다른 하위 영역의 물체 보다는 방금 회상했던 하위 영역에서 또 다른 물체를 더 잘 회상할 수 있었다. 그림 16 은 어떤 피험자가 만든 체제화를 보여 준다.
 

(8) 심적 지도

지도에 대한 기억은 공간 심상과 연합된 위계 구조를 가진다. 미국에 대한 심적 지도(mental map) 를 보자. 지도는 여러 지역들로 나뉘고 이 지역들은 다시 주로 나뉘고, 주 안 에서 도시들이 표시된다. 심적 지도의 이러한 위계 구조 때문에 체계적 왜곡이 나타난다. 스티븐스와 쿠프 (Stevens & Coupe, 1978) 는 사람들이 북미 지리를 왜곡하고 있음을 보여 주었다. 그들의 연구에서 사용한 다음 질문들을 보자 :

• 샌디에이고와 리노 중 어느 것이 더 동쪽에 있는가?

• 시애틀과 몬트리올 중 어느 것이 더 북쪽에 있는가?

• 파나마 운하의 대서양 입구와 태평양 입구 중 어느 것이 더 서쪽에 있는가?

그림 16 맥나마라 등 (McNamara et al., 1989) 이 실험에 사용한 배치도. 원은 어떤 피험자가 이 배치에 부과한 위계적 체제화이다. 원은 같은 청크 안에 있는 물체들을 둘러싸고 있다.

그림 17 스티븐스와 쿠프 (Stevens & Coupe, 1978) 의 실험에서 피험자들이 학습했던 지도. 이 연구에서 '고차 정보' (군 경계의 위치) 가 피험자가 도시 위치를 회상하는 데 영향을 미치고 있음이 밝혀졌다.

각 질문에서 첫 번째 선택지가 옳은 답이지만, 많은 사람들은 그렇게 생각하지 않는다. 네바다 주가 캘리포니아 동쪽에 있기 때문에 리노도 동쪽이라고 생각하는데, 이 추리는 캘리포니아 주 해안의 굴곡을 고려하지 않은 것이다. 몬트리올이 시애틀보다 북쪽에 있는 것처럼 보이는 이유는 캐나다가 미국의 북쪽에 있기 때문이지만, 두 나라의 동부 경계선이 아래로 쳐졌다가 올라간다. 그리고 대서양이 확실히 태평양의 동쪽이지만, 파나마 운하에 대한 앞의 기술을 확인하려면 지도를 보라. 북미 지리는 매우 복잡하므로, 피험자들은 작은 장소의 소재 (예 : 샌디에이고와 리노) 를 판단하기 위하여 커다란 물리적 지세 (예 : 캘리포니아와 네바다) 의 상대적 위치에 관한 추상적 사실들을 이용한다.

스티븐스와 쿠프는 이와 같은 혼동을 그들이 만든 지도로 입증할 수 있었다. 그림 17 은 상이한 집단의 피험자들이 학습한 지도를 보여 준다. 일치되지 않는 지도들의 주된 특성은 알파 군과 베타 군의 상대적 위치가 X 시와 Y 시의 상대적 위치와 불일치한다는 점이다. 지도를 익힌 다음, 피험자들은 좌측 지도에 대하여 X 가 Y 의 동쪽인가 또는 서쪽인가? 그리고 우측 지도에 대하여 X 가 Y 의 북쪽인가 또는 남쪽인가? 등 도시들의 위치에 관한 질문을 받았다. X-Y 질문에 관한 피험자들의 반응이 일치 지도에서는 18 퍼센트의 오반응을, 동질 지도에서는 15 퍼센트의 오반응을, 그리고 불일치 지도에서는 45 퍼센트의 오반응을 보였다. '고차' 정보 (higher order information) 에 대한 의존이 이러한 오반응을 초래하였으며, 이것은 북미 지리에 관한 질문에서 오반응을 초래한 추리와 비슷하다.
 

(9) 심상에 관한 결론

심상 연구는 심상과 관련된 뚜렷한 심적 과정의 성질을 풍부하게 제시하였다. 심상은 회전될 수 있고, 주사될 수 있고, 상대적 크기와 위치를 알기 위해 비교될 수 있다는 증거를 보았다. 심상에 관한 끊임없는 질문은 심상 경험이 실제의 물체를 보는 것과 어느 정도 비슷한 가이다. 이 질문에 관한 답은 심상과 지각에 관한 지식이 증가하면서 복잡해졌다. 처음 보기에 그들은 같아 보인다. 한때 심상에 그림과 같지 않은 공간적 성분이 있다는 증거가 심상이 지각과 다름을 시사하였다. 그러나, 시지각 역시 그러한 공간적 성분을 가지고 있음이 분명해졌다. 한편, 심상은 그림처럼 쉽게 재해석될 수 없다. 따라서 심상이 시지각과 같지는 않아도 시지각과 상당히 중첩된다는 결론을 내리는 것이 타당하다.

3. 연속적 순서의 표상

페이비오의 이중 부호안(dual-code scheme) 에서 두 번째 유형의 지식 표상은 언어 표상이다. 페이비오 (Paivio, 1971) 가 깨달았듯이, 상황은 단순히 언어 표상이 있다는 생각 이상으로 복잡하다. 사람들은 상이한 언어 표상들을 구분하려 하고 또 단순한 언어 표상을 넘어서는 일반화 문제가 있다. 예를 들면, 단어의 소리 표상과 인쇄된 형태를 구분하기를 원하는 경우가 있을 수 있다. 한편, 언어 표상의 한 성분 – 연속적 순서와 관련된 표상 – 이 언어 재료 이상으로 적용될 수 있다. 단어는 연속적으로 서열화될 수 있는 대상의 한 종류에 불과하다. 사건이나 서랍 안의 파일에 대하여도 연속적 순서를 생각해 볼 수 있다. 인지심리학에서는 사람들이 서열화되는 대상과 관계 없이 연속적 순서를 추리할 수 있는 능력이 있다고 생각한다. 이 절은 사람들의 언어 재료 처리 능력보다는 연속적 순서를 표상하는 능력에 관심이 더 많다. 연속적 순서 정보 (serial-order information) 의 처리는 심리학에서 상당히 많은 연구들의 주제였다.

연속적 표상에 관한 많은 연구들은 다양한 기억 과제들을 사용해 왔다. 피험자들은 일련의 요소들을 정해진 순서로 기억해야 했다. 피험자들이 정보에 접근하는 방법을 통해 기억에서 그 정보의 구조를 추측할 수 있다. 필자의 실험실에서 나온 실험을 보자. 먼저 피험자들에게 연속된 네 자음을 학습시켰다. 예를 들면, 피험자들은 KRTB 와 같은 자음열을 학습했다. 그들은 자음열을 숫자와 연합시켜 학습하기도 했다. KRTB 가 숫자 7 과 연합되기도 했다. 이 학습이 끝난 후, 그들에게 네 자음을 제시하고 그와 연합된 숫자를 회상시켰다. 관심의 초점은 그들이 얼마나 빨리 회상하는가에 있었으며, 이것을 자음열 재인에 걸리는 시간으로 해석했다. 주된 실험 조작은 네 자음이 제시되는 순서였다. 그 순서는 학습시의 순서와 달랐다. 예를 들면, 피험자들은 그들이 학습했던 KRTB 의 변형으로 RTKB 를 재인해야 했다. 검사된 몇몇 순서들과 그에 대한 반응 시간은 다음과 같다 :

1. 같음 : KRTB                               1.55초

2. 처음 두 낱자가 같음 : KRBT           1.55초

3. 첫 낱자가 같음 : KTBR                  1.59초

4. 마지막 두 낱자가 같음 : RKRB        1.59초

5. 마지막 두 낱자가 같음 : TKRB        1.64초

6. 완전히 다름 : TKBR                     1.74초

검사 자극의 처음 두 낱자가 학습 자극과 같은 순서일 때 반응 시간이 가장 빠르다. 모든 낱자가 같은 순서인 1 과 처음 두 낱자가 같은 2 간에 차이가 거의 없다. 그 다음 빠른 조건은 첫 낱자가 같은 3 의 경우이다. 반응 시간은 첫 낱자가 같은 3 과 마지막 두 낱자가 같은 4 가 같았지만, 마지막 낱자가 같은 5 가 더 느렸다. 순서가 완전히 다른 6 의 경우, 반응 시간이 상당히 느렸다. 이 자료는 서열 구조를 지배하는 두 가지 효과를 보여 준다. 첫 째는, 전기준 (front anchoring) 효과로서, 피험자들이 출발 지점으로부터의 구조에 더 잘 접근한다. 둘째는, 후기준 (end anchoring) 효과로서, 뚜렷하지는 않지만 열의 마지막이 같을 때 생기는 이득이다.

엔지오릴로 벤트와 립스(Angiolillo –Bent & Rips, 1982) 가 세 자음의 재인 과제에서도 비슷한 결과를 얻었다. 그들은 자음열에 대한 기억이 심상과 같지 않다고 주장하였다. 예를 들면, 학습한 날짜와 검사된 낱자 간의 대소문자 일치 여부가 영향을 주지 못한다. 피험자들이 대문자 PRB 를 학습했지만, 소문자 prb 를 빠르게 재인한다.

스턴버그(Sternberg, 1969) 의 실험 역시 연속된 순서에서 전기준의 중요성을 보여 준다. 그는 피험자들이 일곱 개까지의 숫자들로 구성된 숫자열을 외우게 한 다음, 탐사 숫자 (probe dight) 를 주고 그 다음 숫자를 말하게 하였다. 예를 들면, 피험자들은 38926 을 외운 후 9 가 제시되면 2 를 말해야 한다. 그림 18 은 다양한 길이의 숫자 목록에서 탐사 숫자의 위치 함수로, 그의 실험으로부터 나온 결과를 보여 준다. 피험자들이 첫 번째 숫자에 가장 빨리 접근했고, 열의 끝으로 갈수록 느리게 접근하고 있음에 주목하라. 이것은 피험자들이 열의 출발 지점으로부터 탐사 자극을 찾기 시작하여 그 숫자를 찾으면 비로소 다음 숫자를 생성함을 시사한다.
 

그림 18 서열 위치와 목록 길이의 함수로서 다음 숫자를 생성하는 데 걸린 시간. (Sternberg. 1969.)

(1) 위계적 약호화와 연속적 순서 정보

이제까지 다소 짧은 연속된 요소들의 표상을 논의하였다. 열이 긴 요소들은 어떻게 표상될까? 피험자들은 짧게 연속된 요소들을 단위로 긴 연속물을 위계적으로 저장한다는 증거가 많다. 예를 들면, 사람들이 스물여섯 개의 알파벳 낱자들의 순서를 어떻게 표상하는지 보자. '알파벳 노래' 에 바탕을 둔 위계적 표상이 그림 20 에 나와 있다. 이 노래는 '반짝반짝 작은 별' 의 리듬과 가락을 따른 것인데. 이것 역시 그림에 나와 있다. 이처럼, 알파벳은   ABCD, EFG, HIJK, LMNOP, QRST, UV, WXYZ 의 성분들로 구성된 위계 구조를 가진다. ('알파벳 노래' 의 다른 변형은 QRS, YUV 로 분절하는 것이다.) '알파벳 노래' 에서는 하위 목록 간에 쉼이 있지만, 여기서는 쉼표로 표시되었다.

클라르 등 (Klahr, Chase, & Lovelace, 1983) 은 이 위계 구조가 알파벳에서 다음 문자를 생성할 때 어떤 영향을 미치는지 알아보았다. 예를 들면, 피험자는 K 가 제시되면 다음 낱자 (예 : L) 를 말해야 한다. 그림 20 은 알파벳에서 각 낱자의 생성 시간을 보여준다. 생성 시간이 구성 성분의 처음에서 가장 빠르고 구성 성분의 끝으로 갈수록 점차 느려진다. 한 구성 성분 내에서 피험자의 판단 시간은 스턴버그가 발견한 전기준 효과를 보여 준다. 클라르 등은 피험자들이 하위 목록의 출발점에 접근해서 표적 낱자를 탐색해 나간다고 주장하였다.

그림 20 알파벳에서 다음 낱자의 생성 시간. 화살표는 위계적 약호화에서 새 주요 구성 성분들이 시작됨을 보여 준다. (Klahr et al., 1983.)

존슨 (Johnson, 1970) 의 연구는 긴 목록에 있는 위계 구조의 현실성에 관한 많은 증거를 제시한다. 그는 피험자들에게 무선적 낱자열을 기억시키면서 특수한 위계적 체제화를 강조하기 위하여 공간을 사용하였다. 그는 다음과 같은 낱자열을 암기하도록 하였다.

    DY JHQ GW

그는 피험자들이 낱자열에 틈이 있기 때문에 개개의 구절이 JHQ 와 같은 낱자열이 되는 위계구조를 형성한다고 가정하였다. 그는 피험자들의 낱자열 회상을 검토한 결과, 그들이 낱자열을 회상단위로 삼는 경향이 있음을 발견하였다. 만일 하위 열의 첫 낱자를 회상하면 다음 낱자를 회상하지 못할 확률이 10 퍼센트에 불과하였다. 예를 들면, J 를 회상하면, H 를 회상할 가능성이 높아진다. 이런 경향이 하위목록 단위들 간에는 일어나지 않는다. 예를 들면, DY 에서 Y 를 회상해도 시행의 30 퍼센트에서 J 를 회상하지 못한다.
 

(2) 연속적 순서의 판단

순서 정보와 관련된 다른 문제는 사람들이 목록에서 항목들의 상대적 순서, 예컨대 알파벳에서 J 와 L 중 어느 것이 더 먼저인 가를 어떻게 판단하는 가이다. 이 문제는 보통 피험자들에게 여러 항목 쌍들의 순서를 적은 명세서를 외우게 하는 실험에서 연구된다. 예를 들면, 피험자들은 다음과 같은 정보를 학습해야 한다:

• 존은 프레드보다 크다.

• 프레드는 빌보다 크다.

• 빌은 허브보다 크다.

• 허브는 데이브보다 크다.

• 데이브는 알렉스보다 크다.

각 이름 쌍들을 외운 후, 피험자들은 모든 항목들을 다음과 같은 순서로 암송할 수 있게 된다 :

• 존, 프레드, 빌, 허브, 데이브, 그리고 알렉스

피험자들은 이러한 정보를 한 목록의 항목들로 취급해서 기억한다. 그 다음  "데이브와 프레드 중 누가 더 큰가?" 라는 질문을 받으면, 그들은 어느 항목이 순서상 더 말단에 있는지를 판단한다. 포츠 (Potts 1972. 1975), 그리고 트라바소와 라일리 (Trabasso & Riley, 1975 ) 가 순서 기억과 관련된 여러 실험을 하였다. 우처 등 (Woocher, Glass, & Holyoak, 1978) 이 피험자들에게 긴 순서 목록을 학습시켜서 얻은 결과는 매우 특징적이다. 피험자들은 이름이 언급된 열다섯 명의 키를 학습한 수, 목록에서 뽑힌 여러 쌍의 키를 판단해야 했다. 연구자들의 관심은 목록에서 두 항목 간의 거리 함수로서 피험자들이 질문에 답하는 데 걸린 시간이었다. 항목 간의 거리는 개입 항목이 없는 쌍으로부터 (짝진 두 항목이 순서상 인접한 경우) 여섯 항목인 경우까지 다양했다. 그림 21 은 거리 함수로서 피험자들의 반을 시간을 그린 것이다. 피험자들이 자연 범주에서 크기를 비교할 때 얻어진 결과와 비슷한 감소 함수가 관찰되었다. 이 자료의 두드러진 특징은 개입된 항목이 전혀 없는 쌍들에서 볼 수 있다. 이 쌍들은 피험자들이 일련의 순서를 학습할 때 훈련 받은 그대로의 쌍들이었다. 이 쌍들은 유일하게 직접 훈련 받았는데도 불구하고, 피험자들은 이들을 판단하는 데 가장 느렸다.

그림 21 우처 등 (Woocher et al., 1978) 의 선형 배열 연구에서 나온 자료, 이 그래프는 선형 배열에서 개입항목 함수로서 항목 쌍들의 순서 판단에 걸린 평균 반응 시간을 보여 준다.

 

(3) 연속적 순서 정보의 언어적 성질

이 장에서 연속적 순서 정보에 관한 논의가 지각에 기반을 둔 표상에 초점을 두었지만, 정보가 표상되는 감각 양태에 관해서는 아무런 언급도 하지 않았다. 언어 재료는 언어 특징을 그대로 나타낸다는 증거가 있다. 예를 들면, 피험자들은 B 와 P 같은 낱자 상의 혼동을 포함하여 음양적 (acoustic) 오류를 범하기 쉽다. (Conrad, 1964). 감각 양태들에는 연속적 순서를 표상하는 그들 고유의 방식이 있겠지만, 언어 매체는 인간에게 특히 중요하다. 필자 (Anderson, 1995) 는 다른 곳에서 사람이 만드는 연속적 순서 표상이 다른 종들이 만드는 표상과 미묘하게 다르다는 증거를 개관한 바 있는데, 그 까닭은 이들이 인간처럼 전기준 효과를 보이지 않기 때문이다. 예를 들면, 비둘기는 일련의 항목들을 기억하고, 이 기억을 조기 반응으로 나타낸다. 이런 과제에서, 비둘기는 순서상 마지막 요소에 대한 기억은 매우 좋지만 처음 항목에 대한 이점은 보이지 않는다. 이런 차이는 인간이 사용하는 언어적 매개와 관련이 있다.

4. 지각적 지식 표상에 관한 결론

사람들은 심상 정보를 그들이 지각하는 정보를 처리하는 방법과 매우 비슷하게 처리하고 있음을 알 수 있다. 여러 경우에, 비슷한 신경 영역이 지각 처리뿐만 아니라 심상 처리에도 관여한다. 이것은 대단히 놀라운 사실인데, 그 이유는 이 영역을 자극할 지각 입력이 없기 때문이다. 심적 종합 과제와 같은 경우 (예 : Finke, Pinker, & Farah, 1989) 원래의 지각 경험이 전혀 없었다. 오히려, 이 심상 경험은 고급 인지에 의해 생성되는 것으로 간주된다. 더욱 놀라운 사실은, 비록 심상과 지각을 혼동하는 일이 가끔 있다는 보고 (Perky, 1910) 가 드물게 논란의 대상이 되기는 하지만 사람들은 심상하는 것과 지각하는 것을 대체로 잘 구분한다.

5. 일러두기와 읽을거리

페이비오의 이중 부호론 특히 그의 심상론을 알려면 페이비오 (Paivio, 1971, 1986) 그리고 유일레 (Yuille, 1983) 를 읽어야 한다. 코슬린 (Kosslyn, 1980) 은 심상 이론을 크게 발전시켰다. 코슬린 (Kosslyn, 1981) 은 심상에 관해 더 읽어 볼 만한 책이다. 파라 (Farah, 1988) 와 핀크 (Finke, 1985) 의 논문은 심상과 시지각이 어떤 점에서 공통적인지를 논의한다. 심상에 관해 리처드슨 (Richardson, 1980) 과 셰퍼드와 쿠퍼 (Shepard & Cooper, 1983) 의 책들도 있다. 심상 연구에 관한 비판적인 논문으로 필리신 ( Pylyshyn, 1973, 1981) 을 보라. 리와 에스테스 (Lee & Estes, 1981), 래트클리프 (Ratcliff, 1981), 그리고 위켈그렌 (Wickelgren, 1967) 은 사람들이 연속적 순서를 어떻게 표상하는지에 관심을 가졌다. 필자 (Anderson, 1983 ; 2 장) 는 공간 및 순서 표상 간의 관계에 관한 논문을 썼으며, 의미 기반의 표상은 다음 장에서 논의될 것이다.