학령 전기 아동의 처리 용량 및 처리 속도와 그림책 이야기 이해력 및 안구 움직임 패턴 간 상관관계 연구

Ⅰ. 서 론

아동은 일상의 수많은 활동 속에서 언어적 자극을 받게 되고 이를 기반으로 언어 및 인지적 발달을 이루어 나간다. 이러한 과정에서 아동이 가진 기저 능력은 언어 처리와 학습 전반에 영향을 미치게 된다. 특히 주어진 정보를 수용하는 능력인 ‘처리 용량(processing capacity)’과 주어진 시간 동안 수용된 정보를 다루는 능력인 ‘처리 속도(processing speed)’는 구어 처리 및 읽기 등 아동에게 제시되는 모든 언어적 정보의 처리 및 학습 과정 전반에 영향을 미치게 된다(Bayliss et al., 2005; Leonald et al., 2007; Miller et al., 2006; Montgomery & Evans, 2013). 이에 따라 언어발달에 결함이 있는 아동은 일반 아동에 비해 처리 용량과 속도 전반에서 지연된 경향을 보일 수 있으며, 이와 같은 문제는 언어성 처리는 물론 비언어성 처리 과제에서도 나타나는 것으로 알려져 있다(Leonald et al., 2007; Yim & Yang, 2018).

선행 연구에서는 아동의 처리 용량과 처리 속도를 측정하기 위하여 다양한 과제를 활용하고 있다. 특히, 처리 용량의 측정에는 아동이 가진 기존의 언어 지식이 미치는 효과를 최소화하기 위하여 비언어적 처리 용량 측정 과제가 빈번하게 활용되며, 대표적인 과제로 매트릭스(matrix)가 있다. 이는 화면상의 매트릭스에 제시되는 점등 순서와 개수를 기억하는 과제로서, 난이도에 따라 아동의 시공간적 작업기억에 부하가 높아지게 되며 이러한 과정에서 아동의 처리 용량을 측정할 수 있게 된다(Conti-Ramsden & Durkin, 2012; Yim & Yang, 2018). 처리 속도를 측정하기 위한 대표적인 과제로는 빠른 자동적 이름대기(Rapid Automatized Naming: RAN)가 사용된다. RAN은 대상자에게 제시된 글자, 숫자, 대상, 색깔 등의 익숙한 시각적 자극을 제시하고, 대상자에게 해당 자극의 이름을 가능한 한 빨리 산출해내도록 하는 과제이다(Denckla & Cutting, 1999; Hakvroot et al., 2016). RAN은 아동이 가지고 있는 사전 정보를 활용하여 시각적 자극의 처리를 얼마나 빠르게 해낼 수 있는지 측정해낼 수 있다는 점에서 전반적인 처리 속도를 측정하기에 적절한 과제로 여겨지고 있다(Kail et al., 1999).

그림책 읽기는 어린 아동의 언어 및 인지 발달 과정에 핵심적인 활동으로 여겨진다. 이러한 그림책 읽기 활동에서 또한 아동이 가진 처리 용량과 처리 속도는 활동 수행 전반에 중요한 요인이 될 수 있다. 문해력이 완전히 발달하기 이전 시기의 아동은 대부분 성인과 함께 책 읽기(shared book reading) 활동을 하면서 그림책 속 이야기에 관한 정보를 제공받게 되며, 삽화와 그림책의 이야기를 통합하는 과정에서 어휘, 구문 등과 같은 언어적 요소와 이야기의 구조 등에 관하여 학습하게 된다(Ard & Beverly, 2004; Van Kleeck et al., 2003; Zenvenbergen & Whitehurst 2003). 많은 선행연구를 통하여 아동의 구어적 정보 처리 능력이 처리 용량 및 속도와 연관되어 있는 것으로 밝혀져 왔으며(Leonald et al., 2007), 시각적 정보 처리에서 또한 아동의 처리 능력이 중요한 역할을 한다는 점을 고려하여 볼 때(Gillam & Hoffman, 2003), 아동의 처리 능력과 처리 속도는 성인과의 함께 책 읽기 과정에 영향을 미칠 수 있음을 유추하여 볼 수 있다. 그러나 이에 관한 국내외의 연구는 충분히 이루어지지 않아 아동의 그림책 이야기 이해력과 처리 용량 및 처리 속도 간 연관성에 대한 체계적 분석이 요구되고 있다.

특히, 학령 전기 아동의 언어 및 인지 발달에 성인과의 그림책 읽기 활동의 중요성이 강조되고 있는 만큼 연구 현장에서는 아동의 그림책 이야기 이해력을 측정하기 위해 여러 방법을 활용하고 있다(Skarakis-Doyle & Dempsey, 2008). 가장 빈번하게 사용되는 평가 방식은 아동에게 그림책 읽기 활동을 실시한 이후 이야기 이해 관련 질문을 제시함으로써 책의 내용과 관련한 핵심 요소나 이야기의 구성 요소 등을 잘 파악하였는지 확인하는 방법이다. 이러한 과제에서 아동에게 주어질 수 있는 이야기 이해 질문은 크게 사실적 정보 이해 질문과 추론적 정보 이해 질문으로 나누어 볼 수 있다. 사실적 정보 이해 질문이 이야기에 제시된 내용을 통해 드러난 사실에 대해 이해하고 있는지 되묻는 문항이라면, 추론적 정보 이해 질문은 아동 자신이 기존에 가지고 있는 지식에 기반하여 직접적으로 드러나지 않는 이야기의 내용을 추론하는 질문으로 구성된다(Cain & Oakhill, 1999). 이러한 평가 방식은 그림책 읽기 활동 이후 아동의 이야기 정보에 대한 처리 능력을 측정한다는 점에서 비실시간으로 이야기 처리 능력을 측정하는 방식(offline processing)으로 볼 수 있다.

최근에는, 아동이 그림책을 읽는 동안 나타내는 시선 양상을 파악하여 실시간 처리 과정(online processing)을 평가하는 방식 또한 잦은 빈도로 사용되고 있다(Evans & Saint-Aubin, 2013). 문해 이전 혹은 문해 발달 초기인 학령 전기 아동에게 주어지는 책 읽기 활동은, 주로 성인이 제공하는 언어적 자극과 삽화 속 시각적 정보를 통합하는 활동으로 구성된다. 따라서 책 읽는 동안 아동이 보이는 시선, 즉 안구의 움직임은 성인 화자의 언어적 자극에 의해 영향을 받게 되고 이를 통해 다중 양식(multi-modal) 자극에 대한 아동의 처리 과정을 보기에 적합한 것으로 여겨진다(Duchowski, 2007).

아동의 그림책 읽기 과정과 같이, 청각적 정보와 시각적 정보를 통합하거나 동시에 두 자극을 처리하는 과제를 통해 안구 움직임 패턴을 분석하는 연구 방식을 ‘비주얼 월드 패러다임(visual world paradigm)’으로 칭한다(Altmann & Kamide, 2009). 이는 인간의 안구 움직임이 뚜렷한 목적성을 가지고 움직이는 활동이라는 것을 고려하여 실시간으로 인간의 처리 과정을 조사 및 분석하는 것을 목적으로 하는 연구 방식을 이른다. 특히 이러한 연구 패러다임을 적용하는 과정에서 대상자의 안구 움직임을 체계적으로 분석하기 위한 도구로 시선추적기(eye-tracker)가 활용된다.

이러한 연구 방법에 따라, 아동의 그림책 읽기 과정에 시선 추적기 분석 방식을 적용하여 아동의 안구 움직임 패턴을 면밀하게 분석하고, 실시간 처리 과정에 대해 이해하고자 하는 시도가 이어지고 있다. 다수의 선행 연구에서는 그림책 읽기 과정에서 제시되는 구어적 자극이 아동의 안구 움직임 패턴과 연관된다는 점을 확인하였으며(Luke & Asplund, 2018), 아동의 안구 움직임 패턴이 그림책 내 삽화의 특성에 따라서도 달라질 수 있음을 보여주었다(Yim et al., 2019). 이에 나아가, 그림책 내 삽화와 텍스트, 그리고 내레이션을 통한 구어 자극의 일치도에 따라 아동의 이야기 이해 능력에 차이가 있는지 확인하였다(Takacs & Bus, 2018). 시선추적기 분석 방식은 일반 아동뿐만 아니라 언어발달지연 아동(Yim et al., 2019), 자폐범주성 장애 아동(Thompson et al., 2019)과 같이 다양한 임상군 아동 집단에도 적용됨으로써, 아동이 보이는 언어 및 인지적 결함에 따라 그림책 읽기 활동에서 나타나는 안구 움직임 패턴이 달라질 수 있음을 증명해왔다.

시선추적기를 활용한 연구에서는 연구의 목표 및 과제의 특성에 따라 분석 변수를 선택하여 사용할 수 있다. 특히, 아동의 그림책 읽기를 포함한 교육 분야에 시선추적기를 적용한 사례에서 사용되는 시선추적기 분석 변수를 크게 세 가지로 구분하여 설명하고 있다(Lai et al., 2013). 먼저, 시간과 관련된 대표적 분석 변수(temporal measures)로 총 시선 고정 시간(total fixation duration), 평균 시선 고정 시간(average fixation duration) 등이 사용되며 이는 얼마나 오래 해당하는 자극에 시선이 머물렀는지 확인함으로써 인지적 처리 과정과 연관지어 설명될 수 있다. 다음으로 공간적 변수(spatial measures)는 시선이 어디에 머물렀는지, 그리고 어떠한 패턴으로 머물렀는지 확인함으로써 시각적 처리 과정을 보여주게 된다. 대표적인 공간적 변수로는 도약 거리(saccade length), 도약 순서(saccade sequence), 회귀 도약(regressive saccade) 등이 사용된다. 마지막으로, 횟수와 관련된 변수는(count measures) 시선이 특정 영역에 몇 차례 머물렀는지 확인할 수 있으며, 인지적 처리 과정을 반영하는 것으로 알려져 있다. 대표적인 변수로는 시선 고정 횟수(fixation count), 시선 재고정 횟수(revisited fixation count) 등이 사용된다.

이러한 시선추적기 변수 중, 아동의 그림책 읽기 활동에 적용하여 삽화와 내레이션의 통합 처리 과정을 확인하기 위하여 주로 사용되는 변수는 시간 및 횟수와 관련된 것으로서 선행연구에서는 주로 총 시선 고정 시간, 평균 시선 고정 시간, 시선 고정 시간, 시선 고정 횟수 등이 사용되어 왔다(Yim et al., 2019; Takacs & Bus, 2016; Takacs & Bus, 2018). 앞선 연구들에서는 시선추적기 분석 변수에 관하여 아동의 처리 능력을 반영하고 있는 것으로 설명하고 있다. 그러나 이전에 수행된 연구를 통해 그림책 읽기 과정에서 나타나는 각각의 시선추적기 분석 변수 즉, 안구 움직임 패턴이 인지 처리 과정의 특정 어떠한 요인과 밀접하게 연관되는지에 대해 밝혀진 바는 없다.

이에 더하여, 아동이 가진 처리 용량과 처리 속도가 그림책 이야기 이해력에 영향을 미치는지 실시간 처리 과정을 통해 분석하였던 연구, 그리고 이러한 기저 요인이 아동의 안구 움직임에서 어떠한 형태 및 패턴으로 나타나는지에 관한 연구 또한 전무하다. 더불어 그림책 읽기 활동에서의 실시간 처리 과정인 안구 움직임 패턴 측정 결과와 비실시간 처리 결과 간 연관성에 대해 분석했던 연구 또한 이루어지지 않았다.

따라서 본 연구에서는 학령 전기 아동이 가진 처리 용량 및 처리 속도, 그림책 읽기 활동 이후 아동의 이야기 이해 수행력, 그리고 실시간으로 측정되는 아동의 안구 움직임 패턴이 각각 어떠한 연관성을 가지는지 알아보는 것을 목적으로 한다. 이에 대한 연구 문제는 다음과 같다.

첫째, 학령 전기 아동의 처리 용량 및 처리 속도는 아동의 그림책 이야기 이해력(사실적 정보 이해, 추론적 정보 이해)와 유의한 상관관계를 보이는가?

둘째, 학령 전기 아동의 그림책 이야기 이해력(사실적 정보 이해, 추론적 정보 이해)이 그림책 읽기 과정에서 나타나는 특정 안구 움직임 패턴과 유의한 상관관계를 보이는가?

셋째, 학령 전기 아동의 처리 용량 및 처리 속도는 아동이 그림책 읽기 과정에서 보이는 특정 안구 움직임 패턴과 유의한 상관관계를 보이는가?

Ⅱ. 연구 방법

1. 연구 대상

본 연구는 이화여자대학교 생명윤리위원회(Institutional Review Board: IRB)로부터 사전승인을 받은 후 실시되었다(No. ewha-201906-0026-01).

연구에 참여한 아동은 서울 및 경기 지역에 거주하는 학령 전기 아동 총 22명(남 12명, 여 10명)으로, 대상 아동의 연령 분포는 4세 9명, 5세 10명, 6세 3명이다. 연구 대상 포함 기준은 다음과 같다. (1)아동의 생활 연령이 만 4~6세에 해당하고, (2)K-ABC(Korean-Kaufman Assessment Battery for Children, Moon & Byun, 2003)의 하위 영역인 비언어성 지능 검사 결과 표준점수가 85점(-1SD) 이상이며, (3)수용 및 표현 어휘력 검사결과가 모두 10%ile 이상에 해당하고, (4)부모 혹은 보육 기관의 교사를 통해 아동의 시각 및 청각 등의 감각 장애와 정서ㆍ행동적 문제 등의 동반 장애가 보고되지 않은 아동을 대상으로 하였다. 연구대상자의 정보 및 이에 대한 기술통계량은 Table 1에 제시하였다.

Table 1.

Participants' information

2. 검사 방법 및 절차

전체 아동은 선별검사에 참여한 뒤 처리 용량 및 처리 속도 과제, 그림책 읽기 과제, 이야기 이해 평가 과제에 순차적으로 참여하였다. 모든 검사는 한 회에 걸쳐 진행되었으며, 검사 순서는 모두 동일하게 진행되었다.

1) 처리 용량 및 처리 속도 과제

모든 아동은 선별검사 이후 처리 용량 및 처리 속도 평가 과제에 참여하였다. 아동의 처리 용량 평가 과제로는 매트릭스(matrix)가 사용되었다(Yim et al., 2015). 매트릭스 과제에서는 아동에게 컴퓨터 모니터를 통하여 3 × 3의 흑백 사각형 행렬을 제시하고 사각형이 하나씩 순차적으로 점등되도록 한다. 아동은 비어있는 3 × 3의 흑백 사각형 행렬이 아동에게 제시된 이후 점등되는 사각형 순서를 기억한 뒤 점등 순서와 개수를 정확히 기억하여 재산출해야 한다. 해당 과제의 난이도는 4단계로 구성되어있으며, 1단계에서는 2개의 사각형(4문항), 2단계에서는 3개의 사각형(4문항), 3단계에서는 4개의 사각형(5문항), 4단계에서는 5개의 사각형(5문항)이 점등된다. 이에 따라 총 18개의 문항이 제시되었으며, 분석에는 아동이 정반응한 문항 개수의 총합이 사용되었다.

아동의 처리 속도 평가 과제로는 RAN의 색깔 이름 대기 과제가 사용되었다(Araújo et al., 2015; Peterson et al., 2014). 본 연구에서는 컴퓨터 모니터에 3 × 5의 사각형 행렬을 제시하고, 각각의 사각형 내에 무작위로 빨강, 노랑, 초록, 파랑 색깔을 배치한 뒤, 아동에게 사각형 안에 나열된 색깔 이름을 가능한 한 빨리 말하도록 요구하였다. 선행 연구에 따르면 RAN의 채점 방식은 크게 두 가지로 나뉜다. 첫 번째는 전체 색깔 이름을 말하는 데에 걸리는 총 시간을 측정하는 방식이며, 두 번째는 제한된 시간 내에 정확히 산출한 개수를 측정하는 방식이다. 본 연구에서는 제한된 수행 시간인 45초 내에 정반응 한 색깔 이름 개수를 분석에 사용하였다.

2) 그림책 읽기 과제

본 연구에서 사용된 그림책 읽기 활동은, 대상자의 연령을 고려하여 성인과 아동의 함께 책 읽기(shared book reading) 상황을 가정하여 이루어졌다. 이에 따라, 연구에서 사용된 그림책 과제는 컴퓨터 화면을 통해 제시되었으며, 삽화와 성인의 내레이션으로 구성되었다.

본 연구의 그림책 과제는 Yim 등(2019)에서 사용된 것으로, 이는 캐나다에서 개발된 그림책인 까이유 이야기 중 하나의 에피소드를 시선추적기 과제로 제작한 것이다. 2인의 언어병리학 박사과정 연구원을 통하여 아동의 연령에 적합하다고 판단되는 에피소드 ‘Caillou; What’s that funny noise?’ 가 선정되었으며, 원본 그림책 중에서 이야기의 줄거리와 밀접하게 연관된 삽화 여섯 개가 사용되었다. 그림책 내에 삽입되어 있던 영문 텍스트는 모두 제거된 채 삽화만 제시되었으며, 그림책 읽기 활동에서 사용된 이야기는 대상 아동의 연령에 적합한 수준으로 번안하여 연구원이 내레이션을 녹음하였다. 이에 따라 그림책은 총 2분 25초 동안 제시되었다.

아동을 대상으로 그림책 읽기 과제를 제시하고 이에 대한 안구 움직임을 측정하였던 다수의 선행 연구에서는 연구 목적에 따라 세부 분석이 필요한 그림의 일부를 관심 영역(area of interests: AOI)으로 설정하고 이에 대한 세부적 분석을 실시해왔다(Lai et al., 2013; Yim et al., 2019). 이에 따라 본 연구에서도 관심 영역 설정을 통한 세부적 분석이 이루어졌다. 연구에서 사용된 그림책의 이야기는 반복되는 사건과 이에 대한 아동의 내적 반응 및 결과로 구성되어있기 때문에, 각 사건과 결과에 영향을 미치게 되는 대상과 이에 해당하는 그림의 부분을 AOI로 설정하여 분석에 사용하였다. 언어병리학과 교수 1인 및 언어병리학 박사과정 연구원 2인의 검토를 통하여 관심 영역은 총 4개(그림자, 엄마와 아빠의 머리 그림자, 고양이, 곰 인형)로 선정되었다. 연구에 사용된 그림책 과제의 전체 내용은 Appendix 1에, 그림책 내 AOI에 관한 세부 정보는 Figure 1에 제시되었다.

Figure 1.

AOIs (areas of interest) of the picture book

그림책 과제 제시가 종료된 직후, 아동에게는 이야기 이해와 관련한 12개의 질문이 제시되었으며, 이 중 6개는 사실적 정보 관련 질문, 그리고 나머지 6개는 추론적 정보 관련 질문으로 구성되었다. 모든 아동에게 동일한 순서로 6개의 사실적 정보 이해 질문이 주어진 후 추론적 정보 이해 질문이 이어졌다. 전체 질문의 개발 과정에는 언어병리학과 교수 1인과 박사과정 연구원 2인, 석사과정 연구원 1인을 통해 문항과 정답지에 대한 내용 타당도를 검증받았으며, 전체 평가 항목에 대한 점수가 .60 이상인 문항이 선별되어 연구에 사용되었다. 연구에 사용된 사실적 정보 이해 및 추론적 정보 이해 전체 문항에 대한 정보는 Appendix 2에 제시되었다.

각 질문에 대한 아동의 답변은 정해진 정답과의 일치 여부에 따라 2점 척도로 채점되었다(완전 일치=2점, 일부 일치=1점, 불일치=0점). 이야기 이해 점수화 과정에 대한 연구자 간 신뢰도 분석을 위하여 언어병리학과 박사과정 1인이 전체 자료의 50% 분량에 대한 재분석을 실시하였으며, 그 결과 100%의 일치도를 보이는 것으로 나타났다.

3) 시선추적기(eye-tracker) 검사

삽화와 내레이션으로 구성된 그림책은 거치형 시선추적기가 부착된 24인치 모니터(Dell, P2418HZ)와 해당 모니터에 내장된 스피커를 통하여 아동에게 제시되었다. 거치형 시선추적기는 독일 SMI(Senso-Motoric Instruments) 사에서 개발된 REDn Scientific이 사용되었으며, 이는 샘플링 속도(sampling rate)가 60 Hz, 정확도(accuracy)는 0.4 °, 공간 해상도(spatial resolution)는 0.03 °의 사양을 가진 장비이다.

연구는 소음이 없는 공간에서 진행되었으며, 연구보조원이 아동의 옆에 함께 앉아 시선추적기의 작동 범위인 60 × 80 cm 내에 착석할 수 있도록 지도하였다. 아동이 시선추적기 부착 모니터를 통하여 그림책 읽기 과제에 참여하는 동안 각 아동의 실시간 안구 움직임은 시선 추적 소프트웨어(BeGaze 3.5)가 설치된 노트북을 통해 수집되었다.

아동 안구 움직임(eye movement)의 정밀한 측정을 위하여 그림책 제시 이전에 각 아동의 안구 특성(안구 형태, 빛 반사각도, 운동 반경 등)을 측정하는 시점 조정(calibration) 절차가 선행되었으며, 모니터 내 5개 점(중앙, 좌우 상ㆍ하단)에 대한 시점 조정값이 0.6 ° 내로 측정되는 경우에만 그림책 읽기 과제가 시작될 수 있도록 설정하였다.

아동의 시선 추적 데이터 수집 결과는 문헌 검토를 통하여 연구대상자의 처리 능력(processing skills)과 연관된 것으로 설명된 변수 중, 선행 연구에서 아동 그림책 읽기 과제에 적용되었던 변수 네 개를 선정하여 분석에 사용하였다(Lai et al., 2013; Yim et al., 2019).

각각의 분석 변수에 대한 설명은 다음과 같다. (1)총 시선 고정 시간(total fixation duration): 전체 삽화에 대한 아동의 시선 고정 시간 총합, (2)시선 고정 시간(fixation duration): AOI에 대한 아동의 사선 고정 시간 총합, (3)평균 시선 고정 시간(average fixation duration): AOI에 대한 시선 고정 1회당 평균 지속 시간(평균 시선 고정 시간 = 시선 고정 시간/시선 고정 횟수), (4)시선 고정 횟수(fixation count): AOI에 대한 시선 고정 횟수의 총합.

Ⅲ. 연구 결과

1. 처리 용량 및 처리 속도와 이야기 이해 능력 간 상관관계

학령 전기 아동의 처리 용량 및 처리 속도와 그림책 읽기 활동 이후 아동의 이야기 이해 수행력 간 상관관계에 대해 알아보기 위하여 처리 용량 평가 과제인 매트릭스와 처리 속도 평가 과제인 RAN, 그리고 이야기 이해에 관한 사실적 정보 이해 질문 및 추론적 정보 이해 질문과의 상관관계 분석을 실시하였다.

분석 결과, 매트릭스의 수행력과 추론적 정보 이해 질문에 대한 수행력 간 정적 상관관계가 유의한 것으로 나타났다(r=.425, p=.048). 한편, RAN의 수행력은 사실적 정보 이해 질문에 대한 수행력(r=.560, p=.007), 그리고 추론적 정보 이해 질문에 대한 수행력(r=.483, p=.023) 모두 유의한 정적 상관관계를 보이는 것으로 분석되었다(Table 2).

Table 2.

Correlation between processing capacity, processing speed, and story comprehension score

즉, 처리 용량이 큰 아동은 이야기를 이해에 관한 추론적 정보 이해 질문에서 높은 수행력을 보이는 것으로 나타났다. 또한, 처리 속도가 빠른 아동은 이야기 이해에 관한 사실적 정보 이해 질문과 추론적 정보 이해 질문 모두에서 높은 수행력을 보이는 것으로 밝혀졌다.

2. 이야기 이해 능력과 안구 움직임 패턴 간 상관관계

학령 전기 아동의 이야기 이해 능력과 안구움직임 패턴 간 상관관계에 대해 분석하고자 이야기 이해에 관한 사실적 정보 이해 질문 및 추론적 정보 이해 질문, 그리고 총 네 개의 시선추적기 변수가 사용되었다.

상관관계 분석 결과, 사실적 정보 이해 질문에 대한 아동의 수행력과 시선추적기 변수 중 평균 시선 고정 시간 간 유의한 부적 상관관계가 있는 것으로 나타났다(r=-.480, p=.024). 그러나 추론적 정보 이해 질문에서의 수행력은 어떠한 시선추적기 변수와도 유의한 상관관계를 나타내지 않았다(Table 3).

Table 3.

Correlation between eye-tracking variables and story comprehension score

이와 같은 분석 결과는, 이야기 내용에 관한 사실적 정보 이해 질문에 대해 높은 수행력을 보일수록 AOI에 대한 아동의 평균 시선 고정 시간이 짧았다는 것을 의미한다.

3. 처리 용량 및 처리 속도와 안구 움직임 패턴 간 상관관계

학령 전기 아동의 처리 용량 및 처리 속도 과제의 수행력과 그림책 읽기 과정에서 측정된 시선추적기 변수 간 상관관계를 갖는지 알아보기 위하여 실시된 분석 결과는 다음과 같다.

매트릭스의 수행력은 어떠한 시선추적기 변수와도 유의한 상관관계를 갖지 않았으나, RAN은 시선 고정 시간과 유의한 부적 상관관계를 나타냈다(r=-.447, p=.037).

Table 4.

Correlation between processing capacity, processing speed, and eye-tracking variables

이는 아동의 처리 속도가 빠른 경우, 그림책 읽기 과정에서 AOI에 대해 시선을 고정하는 시간의 총량이 짧아진다는 것으로 해석된다.

Ⅳ. 논의 및 결론

본 연구는 학령 전기 아동의 언어 기저 능력인 처리 용량 및 처리 속도, 그림책 이야기와 관련된 사실적 정보 이해 질문 및 추론적 정보 이해 질문, 그리고 그림책 읽기 과정에서 나타나는 안구 움직임 패턴 간의 상관관계에 대해 체계적으로 분석해보는 것을 목적으로 하였다. 연구 목적에 따른 분석 결과는 다음과 같다.

먼저, 아동의 처리 용량이 큰 경우 추론적 정보 이해에 대한 수행력이 높게 나타났으며, 처리 속도가 빠를수록 사실적 정보 이해 및 추론적 정보 이해 모두에서 높은 수행력을 보이는 것으로 확인되었다. 특히 사실적 정보 이해 질문에서의 수행력과 처리 속도 간의 관계는 아동이 일정 시간 동안 주어지는 삽화와 언어 정보를 빠르게 처리했을 때 수행력이 높아진다는 점에서 충분히 예측 가능한 것으로 볼 수 있다. 뿐만 아니라 처리 용량 및 처리 속도와 추론적 정보 이해 질문에 대한 분석 결과는, 그림책 읽기 활동에서 아동이 실제 삽화와 내용을 통해서는 정보를 얻기 어려운 추론적 부분에 대해 이해하고 사고하는 과정이 처리 용량 및 속도와 정적 상관관계에 있음을 보여준다. 이는 처리 용량이 담화를 이해하고 추론하는 과정에 영향을 미칠 수 있으며(Williams et al., 2006), 처리 속도가 이야기 이해 수행력의 향상에 중요한 요인임을 증명하였던 선행 연구의 분석 결과(Hess & Radtke, 1981; Heuttig & Janse, 2016)를 뒷받침하는 것으로 볼 수 있다.

시선추적기 분석 결과에서는 추론적 정보 이해에 대한 수행력이 높았던 아동이 AOI 즉, 핵심 어휘를 포함하고 있는 그림 영역을 더욱 짧은 시간 동안 처리하는 것으로 나타났다. 추론적 정보 이해 질문에 대한 문항은 모두 그림책의 삽화와 내용으로부터 직접적으로 단서를 얻을 수 없는 것으로, 등장인물의 감정 상태나 생각을 아동이 추측하여 응답해야 한다. 따라서 삽화 내 핵심 영역은 추론적 정보 이해 질문보다 직접적 정보 이해 질문과 밀접한 연관성을 가지며 이로 인하여 추론적 정보 이해 질문에 대한 수행력과 핵심 영역에 대한 평균 시선 고정 시간이 부적 상관관계를 보인 것으로 해석된다.

아동의 그림책 읽기 활동 과정에 시선추적기를 사용하여 이에 대한 실시간 처리 과정을 분석하고, 이야기 이해 과정에 영향을 미치는지 알아보고자 하였던 기존의 연구에서는 그림책 구성 요소 간 상응 정도가 아동의 이야기 이해에 미치는 영향에 관하여 분석하거나(Takacs & Bus, 2018), 정적 삽화와 동적 영상이 아동의 이야기 이해에 미치는 영향에 대해 살펴보는 등(Takacs & Bus, 2016) 그림책의 구성 요소가 아동의 안구 움직임 패턴에 미치는 영향에 대해 초점을 맞춘 연구가 주로 진행되어왔다, 그러나 본 연구에서는 그림책 읽기 과정에서 아동의 특정 안구 움직임 패턴과 이야기 이해 수행력 간 관계에 대해 알아봄으로써, 그림책 읽기 활동 과정에서의 실시간 처리 능력과 비실시간 처리 능력 간에 유의한 상관관계가 있음을 규명하였다.

아동의 처리 용량 및 처리 속도와 그림책 읽기 활동 과정에서 나타나는 안구 움직임 패턴 간 상관관계에 대한 분석 결과에서, 아동의 처리 용량은 어떠한 시선추적기 분석 변수와도 상관관계를 갖지 않는 것으로 나타났다. 그러나 처리 속도는 시선추적기 분석 변수 중 총 시선 고정 시간과 유의한 부적 상관관계를 보여, 처리 속도가 빠른 아동은 핵심 어휘와 관련된 삽화 영역에 대한 총 시선 고정 시간이 짧아지는 것으로 분석되었다. 즉, 그림책 읽기 과정에서 아동의 처리 속도는 그림책의 시각 및 언어적 자극의 처리 과정에 효율성을 가져오는 것으로 해석하여 볼 수 있다. 이와 같은 분석 결과를 이야기 이해 수행력과 처리 속도 간 상관관계 분석 내용과 연관지어 볼 때, 처리 속도가 빠른 아동은 총 시선 고정이 짧지만 이야기 내용과 관련된 사실적 및 추론적 정보 이해 질문에 대한 수행력은 높은 것으로 나타나, 처리 속도가 정보 처리의 효율성을 증대시킨다는 선행 연구의 이론을 뒷받침하는 것으로 볼 수 있다(Bayliss et al., 2005). 이러한 결과에 따라, 처리 속도는 아동의 그림책 읽기 활동에서 나타나는 실시간 처리 과정을 보여주는 시선 고정 시간 및 비실시간 처리 과정을 보여주는 이야기 이해 수행력 모두와 관련이 있는 것으로 나타났다.

교육 분야에서 아동을 대상으로 시선추적기 분석을 적용하였던 선행 연구에서는 시선 고정 시간 및 시선 고정 횟수 등과 같은 시선추적기 분석 변수가 아동의 처리 능력을 보여주는 것이라 설명해왔다(Lai et al., 2013). 그러나 본 연구에서는 처리 기저 요인을 보다 체계화하여 분석하고자 각 변수와 처리 용량 및 처리 속도 간 관계에 대해 분석하였으며, 이러한 연구 목적에 따라 처리 속도가 안구 움직임 패턴 중 시선 고정 시간과 상관관계가 있음을 밝혀내었다.

그러나 아동의 처리 용량은 그림책 읽기 활동에서 아동의 어떠한 안구 움직임 패턴과도 유의한 상관관계를 보이지 않았다. 이러한 결과는, 연구에 활용된 그림책의 이야기와 삽화가 대상 아동의 연령 수준에 적합하도록 선정 및 제작되었기 때문에 아동의 처리 용량에 부담을 주지 않았던 것으로 추측하여 볼 수 있다. 또한, 선행 연구의 이론에 따르면 다중 양식(multi modal)의 형태를 가진 교육 자료의 시청각 자극의 호응이 잘 이루어지는 경우, 아동의 처리 용량을 최적화시켜 인지 처리 과정에서의 부담감을 줄여줄 수 있는 것으로 나타났다. 즉, 그림책을 구성하는 시각 및 청각 자극이 학령 전기 아동에게 인지적 과부하를 일으키지 않도록 제작되었기 때문에 처리 용량과의 상관관계가 나타나지 않았던 것으로 분석하여 볼 수 있다(Sweller, 1994).

일반적으로 임상 및 교육현장에서 아동의 언어발달 증진을 목적으로 그림책 읽기 활동을 진행할 때 교육 전문가는 그림책의 수준, 그림책의 유형 그리고 그림책을 통한 상호작용 방식 등의 전반적 활동 수행의 기준을 결정할 때, 아동의 연령 수준 혹은 언어발달 수준을 반영하게 된다. 그러나 본 연구의 결과를 통하여 미루어 볼 때, 아동의 표면적인 언어발달 수준 뿐 아니라 언어 기저 능력까지 고려되어야 할 필요성이 있음을 시사한다. 이에 더하여, 아동의 언어발달이 지연될 경우 처리 속도와 처리 용량과 같은 언어 기저 능력 또한 지연되었을 가능성이 높다. 따라서 성인이 이들 아동에게 책 읽기 상호작용을 진행할 때, 아동에게 언어적 자극과 삽화를 제시하는 속도를 조절하여 아동의 그림책 읽기 처리 과정에 충분한 시간을 주어야 할 것이다.

후속 연구를 위한 제언 사항은 다음과 같다. 연구에서 그림책 읽기 과제로 사용하였던 그림책 이야기와 해당 과제의 언어적 요소는 학령 전기 아동의 연령 수준에 적합한 것으로 선택되었다. 따라서 본 연구 과제는 그림책 읽기 수행 과정에서 아동의 인지적 부담을 일정 수준 이상으로 높이지 않았고, 이에 따라 처리 용량에 대한 관계가 명확히 드러나기에 어려웠던 것으로 보인다. 따라서 후속 연구에서는 그림책에서 제시되는 이야기의 언어 자극의 난이도를 조절함으로써 이러한 언어 자극의 영향력이 처리 용량과 연관되는지 확인해야 할 필요성이 있을 것이다. 또한, 많은 선행연구에서 시선추적기 활용과 인간의 처리 능력의 연관성에 대해 분석하고 있으나, 각각의 시선추적기 분석 변수가 인간의 처리 능력 중 구체적으로 어떠한 요인을 반영하는지에 관한 연구는 충분히 이루어지지 않은 실정이다. 이에 따라 후속 연구에서는 각각의 변수가 가지는 인지적 의미에 대해 보다 면밀한 분석이 이루어져야 할 것이다.

Acknowledgments

This work was supported by the Ministry of Science and ICT of the Republic of Korea and the National Research Foundation of Korea (No. NRF-2019R1A2C1007488).

This work was supported by the Ewha Womans University scholarship of 2018.

본 연구는 2020년 대한민국 과학기술정보 통신부와 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2019R1A2C1007488).

본 논문은 2018년도 이화여자대학교 대학원 장학금 지원에 의한 논문임.

References

• Altmann, G. T., & Kamide, Y. (2009). Now you see it, now you don’t: Mediating the mapping between language and the visual world. In F. Ferreira (Ed.), The interface of language, vision, and action: Eye movements and the visual world (pp. 347-386). New York: Psychology Press.
• Araújo, S., Reis, A., Petersson, K. M., & Faísca, L. (2015). Rapid automatized naming and reading performance: A meta-analysis. Journal of Educational Psychology, 107(3), 868. [https://doi.org/10.1037/edu0000006]
• Ard, L. M., & Beverly, B. L. (2004). Preschool word learning during joint book reading: Effect of adult questions and comments. Communication Disorders Quarterly, 26(1), 17-28. [https://doi.org/10.1177/15257401040260010101]
• Bayliss, D. M., Jarrold, C., Baddeley, A. D., Gunn, D. M., & Leigh, E. (2005). Mapping the developmental constraints on working memory span performance. Developmental Psychology, 41(4), 579. [https://doi.org/10.1037/0012-1649.41.4.579]
• Cain, K., & Oakhill, J. V. (1999). Inference making ability and its relation to comprehension failure in young children. Reading and Writing, 11(5-6), 489-503. [https://doi.org/10.1023/A:1008084120205]
• Conti-Ramsden, G., & Durkin, K. (2012). Language development and assessment in the preschool period. Neuropsychology Review, 22(4), 384-401. [https://doi.org/10.1007/s11065-012-9208-z]
• Denckla, M. B., & Cutting, L. E. (1999). History and significance of rapid automatized naming. Annals of Dyslexia, 49(1), 29. [https://doi.org/10.1007/s11881-999-0018-9]
• Duchowski, A. T. (2007). Eye tracking methodology: Theory and practice. London: Springer-Verlag.
• Evans, M. A., & Saint-Aubin, J. (2013). Vocabulary acquisition without adult explanations in repeated shared book reading: An eye movement study. Journal of Educational Psychology, 105(3), 596. [https://doi.org/10.1037/a0032465]
• Gillam, R. B., & Hoffman, L. M. (2003). Information processing in children with specific language impairment. In Classification of Developmental Language Disorders, 149-170.
• Hakvoort, B., van der Leij, A., van Setten, E., Maurits, N., Maassen, B., & van Zuijen, T. (2016). Dichotic listening as an index of lateralization of speech perception in familial risk children with and without dyslexia. Brain and Cognition, 109, 75-83. [https://doi.org/10.1016/j.bandc.2016.09.004]
• Hess, T. M., & Radtke, R. C. (1981). Processing and memory factors in children's reading comprehension skill. Child Development, 52(2), 479-488. [https://doi.org/10.2307/1129165]
• Huettig, F., & Janse, E. (2016). Individual differences in working memory and processing speed predict anticipatory spoken language processing in the visual world. Language, Cognition and Neuroscience, 31(1), 80-93. [https://doi.org/10.1080/23273798.2015.1047459]
• Kail, R., Hall, L. K., & Caskey, B. J. (1999). Processing speed, exposure to print, and naming speed. Applied Psycholinguistics, 20(2), 303-314. [https://doi.org/10.1017/S0142716499002076]
• Kim, Y. T., Hong, G. H., Kim, K. H., Jang, H. S., & Lee, J. Y. (2009). Receptive & Expressive Vocabulary Test (REVT). Seoul: Seoul Community Rehabilitation Center.
• Lai, M. L., Tsai, M. J., Yang, F. Y., Hsu, C. Y., Liu, T. C., Lee, S. W. Y., . . . Tsai, C. C. (2013). A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review, 10, 90-115. [https://doi.org/10.1016/j.edurev.2013.10.001]
• Leonard, L. B., Weismer, S. E., Miller, C. A., Francis, D. J., Tomblin, J. B., & Kail, R. V. (2007). Speed of processing, working memory, and language impairment in children. Journal of Speech, Language, and Hearing Research, 50, 408-428. [https://doi.org/10.1044/1092-4388(2007/029)]
• Luke, S. G., & Asplund, A. (2018). Prereaders’ eye movements during shared storybook reading are language-mediated but not predictive. Visual Cognition, 26(5), 351-365. [https://doi.org/10.1080/13506285.2018.1452323]
• Miller, C. A., Kail, R., Leonard, L. B., & Tomblin, J. B. (2001). Speed of processing in children with specific language impairment. Journal of Speech, Language, and Hearing Research, 44, 416-433. [https://doi.org/10.1044/1092-4388(2001/034)]
• Moon, S. B., & Byun, C. J. (2003). Korean Kaufman Assessment Battery for Children (K-ABC). Seoul: Hakjisa.
• Montgomery, J. W., & Evans, J. L. (2009). Complex sentence comprehension and working memory in children with specific language impairment. Journal of Speech, Language, and Hearing Research, 52, 269-288. [https://doi.org/10.1044/1092-4388(2008/07-0116)]
• Peterson, R. L., Pennington, B. F., Olson, R. K., & Wadsworth, S. J. (2014). Longitudinal stability of phonological and surface subtypes of developmental dyslexia. Scientific Studies of Reading, 18(5), 347-362. [https://doi.org/10.1080/10888438.2014.904870]
• Skarakis-Doyle, E., & Dempsey, L. (2008). Assessing story comprehension in preschool children. Topics in Language Disorders, 28(2), 131-148. [https://doi.org/10.1097/01.TLD.0000318934.54548.7f]
• Sweller, J. (1994). Cognitive load theory, learning difficulty, and instructional design. Learning and Instruction, 4(4), 295-312. [https://doi.org/10.1016/0959-4752(94)90003-5]
• Takacs, Z. K., & Bus, A. G. (2016). Benefits of motion in animated storybooks for children’s visual attention and story comprehension. An eye-tracking study. Frontiers in Psychology, 7, 1591. [https://doi.org/10.3389/fpsyg.2016.01591]
• Takacs, Z. K., & Bus, A. G. (2018). How pictures in picture storybooks support young children’s story comprehension: An eye-tracking experiment. Journal of Experimental Child Psychology, 174, 1-12. [https://doi.org/10.1016/j.jecp.2018.04.013]
• Thompson, J. L., Plavnick, J. B., & Skibbe, L. E. (2019). Eye-tracking analysis of attention to an electronic storybook for minimally verbal children with autism spectrum disorder. The Journal of Special Education, 53(1), 41-50. [https://doi.org/10.1177/0022466918796504]
• Van Kleeck, A., Stahl, S. A., & Bauer, E. B. (2003). On reading books to children: Parents and teachers. New York: Routledge. [https://doi.org/10.4324/9781410607355]
• Williams, D. L., Goldstein, G., & Minshew, N. J. (2006). The profile of memory function in children with autism. Neuropsychology, 20(1), 21-29. [https://doi.org/10.1037/0894-4105.20.1.21]
• Yim, D., Kim, Y. T., & Yang, Y. (2016). Exploring the utility of verbal and visuospatial working memory for identifying children with language impairment. Communication Sciences & Disorders, 21(2), 193-205. [https://doi.org/10.12963/csd.16282]
• Yim, D., Park, W., Kim, S., Han, J., Song, E., & Son, J. (2019). An eye-tracking study of picture book reading in preschool children with and without language delay. Communication Sciences & Disorders, 24(2), 299-316. [https://doi.org/10.12963/csd.19621]
• Yim, D., & Yang, Y. (2018). The relationship of nonlinguistic visual processing capacity, speed, and vocabulary ability in children with specific language impairment. Communication Sciences & Disorders, 23(2), 451-461. [https://doi.org/10.12963/csd.18501]
• Zevenbergen, A. A., & Whitehurst, G. J. (2003). Dialogic reading: A shared picture book reading intervention for preschoolers. In A. van Kleeck, S. A. Stahl, & E. B. Bauer (Eds.), Center for improvement of early reading achievement, CIERA. On reading books to children: Parents and teacher (pp. 177-200). New York: Routledge.

참 고 문 헌

• 김영태, 홍경훈, 김경희, 장혜성, 이주연 (2009). 수용ㆍ표현 어휘력 검사. 서울: 서울장애인종합복지관.
• 문수백, 변창진 (2003). K-ABC 교육· 심리 측정도구. 서울: 학지사.
• 임동선, 김영태, 양윤희 (2016). 언어장애아동 판별을 위한 구어 및 시공간적 작어기억의 효용성 탐색. Communication Sciences & Disorders, 21(2), 193-205.
• 임동선, 박원정, 김신영, 한지윤, 송은, 손진경 (2019). 그림책 읽기에서 일반아동 및 어휘발달지연 아동의 이야기 이해 능력 및 안구 운동 패턴 분석: 시선추적기 연구. Communication Sciences & Disorders, 24(2), 299-316.
• 임동선, 양윤희 (2018). 단순언어장애 아동의 비언어 정보 처리용량, 처리속도 그리고 어휘능력 간의 관계. Communication Sciences & Disorders, 23(2), 451-461.