Korean Speech-Language & Hearing Association(KSHA)
[ ORIGINAL ARTICLE ]
Journal of Speech-Language & Hearing Disorders - Vol. 31, No. 2, pp.127-135
ISSN: 1226-587X (Print) 2671-7158 (Online)
Print publication date 30 Apr 2022
Received 19 Feb 2022 Revised 24 Mar 2022 Accepted 30 Apr 2022
DOI: https://doi.org/10.15724/jslhd.2022.31.2.127

시선추적기를 통한 AAC 디스플레이 포인팅 속도향상

이현숙1 ; 최양규2, *
1대구대학교 일반대학원 재활과학과 언어치료전공 박사과정
2대구대학교 언어치료학과 교수
Improving AAC Display Pointing Speed Using Eye Tracking
Hyun Suk Lee1 ; Yang-gyu Choi2, *
1Major in Speech Pathology, Dept. of Rehabilitation Science, Graduate School, Daegu University, Doctoral Student
2Dept. of Speech Pathology, Daegu University, Professor

Correspondence to: Yang-gyu Choi, PhD E-mail : ygchoi@daegu.ac.kr

Copyright 2022 ⓒ Korean Speech-Language & Hearing Association.
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

목적:

이 연구는 보완대체의사소통 상징선택 속도향상을 위한 전략마련을 위해 뇌성마비 아동의 직접선택 방식인 눈 지적을 위해 시선추적기술을 적용하여 그 효과성을 규명하고자 하였다.

방법:

7~18세 미만의 뇌성마비 아동 20명(남 16명, 여 4명)을 대상으로 AAC 디스플레이 포인팅 접근방식으로 시선추적기 조건과 마우스 조건을 서로 비교하기 위해 포인팅 접근방식과 목표자극 위치별로 포인팅 반응시간과 오류율을 분석하였다. 목표자극 위치는 중앙, 주변, 모서리로 나누어 분석하였으며, SPSS 통계패키지를 사용하여 정반응의 반응시간과 오반응율에 대해 각각 2(포인팅 방식) × 3(목표자극 위치) 이원반복측정 분산분석을 실시하였다.

결과:

AAC 디스플레이 접근방식과 목표자극 위치별 포인팅 반응시간은 시선추적기 접근방식이 마우스 접근방식 시간보다 빠른 것으로 나타났으며 통계적으로 유의하였다. 또한, 시선추적기 접근방식의 반응시간(5.05초)이 마우스 접근방식(8.97초)보다 평균적으로 3.92초 더 빨았다. 마찬가지로 오류율은 시선추적기 접근방식이 마우스 접근방식보다 낮게 나타났으며, 디스플레이상의 목표자극의 위치가 화면 중앙에서 모서리로 갈수록 오류가 많아지는 목표자극 위치에 대한 주효과가 유의하였고, 접근방식과의 상호작용 효과도 통계적으로 유의하였다. 시선추적기의 경우, 목표자극 위치가 화면 중앙 부분은 오류율이 낮은 반면, 주변위치, 모서리 위치로 갈수록 오류율이 높아지는 경향을 보였다. 반면, 마우스의 경우, 주변, 중앙, 모서리 순으로 오류율이 높았다.

결론:

따라서 본 연구에서 뇌성마비 아동의 보완대체의사소통 디스플레이 상징선택 속도향상을 위한 직접선택 전략으로서 시선추적기를 사용한 눈 지적(eye pointing)의 효과성이 규명되었으며 이는 향후 효율적인 AAC 시스템 설계를 위한 지침이 될 수 있을 것이다.

Abstract

Purpose:

This study aimed to examine the effectiveness of eye tracking technology, which is a direct selection method for children with cerebral palsy, to prepare a strategy for improving the speed of AAC symbol selection.

Methods:

Two types of mouse conditions and eye tracking conditions were designed and implemented for 20 children with cerebral palsy between the ages of 7 and 18 (16 males, 4 females). The target stimulus location divided into three areas: center, periphery, and corner. Two-way repeated ANOVA tests were performed using SPSS.

Results:

The reaction time of the eye tracker approach showed a statistically-significant faster difference than the mouse approach. In addition, the reaction time of the eye tracker approach (5.05s) was faster than the mouse approach (8.97s) on average by 3.92 seconds. The error rate of the eye tracker approach was lower than that of the mouse approach. The effect was significant at the center and periphery and center and corner positions of the display symbol position. The interaction effect was also statistically significant. The eye tracker error rate was lowest in the center position of the target stimulus and increased toward the peripheral and corner positions. The mouse error rate was highest in the order of periphery, center, and corner.

Conclusions:

The effectiveness of eye pointing using an eye tracker was investigated as a direct selection strategy for improving the display symbol selection speed of AAC in children with cerebral palsy. This may be a guideline for designing an efficient AAC system in the future.

Keywords:

AAC, eye tracker, pointing, AAC input device

키워드:

보완대체의사소통, 시선추적기, 포인팅, 보완대체의사소통 입력장치

Ⅰ. 서 론

의사소통은 인간 사회에서 매우 중요한 상호작용방식이며 사회구성원으로 생존해 나가는 데에 필수적인 요소이다(Hegde, 2011). 하지만 다양한 기능적 및 기질적 원인으로 인해 사회적 의사소통에 문제가 발생하게 되고(Light, 1989), 이로 인해 교육, 고용, 재화, 사법, 가족 등의 측면에서 개인적이거나 사회적인 많은 문제들이 발생하게 된다(Seong et al., 2013). 이러한 사회적 의사소통 문제를 겪는 대상, 특히 의사소통을 구어로 표현을 하기 어려운 사람들에게는 말 대신 또는 말을 보완하는 상징을 통해서 의사소통할 수 있게 하는 보완대체의사소통(augmentative and alternative communication: AAC) 시스템이 필수적이다(Beukelman & Mirenda, 2013).

특히 뇌의 운동 중추신경계 손상으로 전신장애와 중복장애를 지니게 된 뇌성마비인의 경우, 얼굴 근육, 몸짓 및 제스처를 통한 의사 표현과 음성사용이 어려워 효율적인 AAC 사용이 더욱 절실하다(Pellegrino, 2002). 이를 위해 메시지를 전달하는 방식과 기법을 고려한 타이밍과 속도향상 전략이 요구되는데(Beukelman & Mirenda, 2008), 주로 메시지 전달속도, 부호화, 메시지 문법적 구성, 예측, 눈 지적(eye pointing) 방법, 개별능력에 적합한 메시지 전달방식 및 입력장치 선택 등의 측면에서 그 전략을 모색해 볼 수 있겠다. 해외에서는 뇌성마비인을 대상으로 하는 AAC 연구가 80년대 초부터 현재까지 활발하게 진행되어왔으며(Beringer & Gans; 1986; Beukelman & Mirende, 1992; Blischak, 1995; Erickson et al., 1997; Light et al., 1999), 90년대 중반부터는 국내에서도 이러한 연구가 진행되어왔다(Go & Jeon; 2006, 2010; Han, 1998, 2001; Han & Ahn, 1994; Kim, 2008; Kim & Park; 2003, 2006; Lee, 2009; Lim, 2019).

하지만 이 연구들은 중증 중복장애인을 중심으로 제한적이며 단편적으로 진행되었기에 다양한 뇌성마비인에 대한 심층적 연구라 보기 어려운 측면이 있다(Han, 2010; Jeong, 2000; Kim, 2019; Kim & Park, 2005; Kim et al., 2008; Lee & Jeon, 2010; Park, 1996, 2003). 특히 뇌성마비인에 대한 국내외 연구 대부분이 의사소통 촉진 환경 구성, AAC 체계 교수법 활용, 즉각적 강화 촉진, 대화 상대자 훈련 등을 중심으로 이루어졌기 때문에 최근 정보통신기기 발전과 동향을 고려한 컴퓨터 프로그램 교수나 태블릿, 어플리케이션 활용한 교수에 대한 연구는 아직 부족한 상태이다(Lee et al., 2012). 또한, 뇌성마비인의 신체적 제약 때문에 컴퓨터 기기 및 AAC 시스템 사용이 어렵고 불편한 점을 해결하기 위해, AAC 입력장치의 속도향상 전략들이 연구되어왔으나, 그 대부분, 손을 이용한 입력장치에 관한 것이고, 노헨즈 마우스, 큐하조노 마우스, 립스틱 마우스 등처럼 대상자의 장애 정도와 선호도에 따라 사용할 수 있는 대체기기에 관한 것이 있기는 하나 속도와 정확도 면에서 그 유용성이 그리 높지 않다(Kwak et al., 2017).

반면, AAC 디스플레이 포인팅을 위해 최근 기술인 시선추적기술을 적용하게 된다면 다른 신체기관보다 통제가 용이한 눈을 사용하기 때문에 다른 접근보다 포인팅이 더욱 용이해질 것이다. 시선추적기술은 현재 웨어러블 장비(wearable device)와 전문 시선추적 장비의 대중화와 더불어 급속히 성장하고 있다(Yoo et al., 2016). 이 기술은 시선의 고정(fixation), 단속성 운동(saccade), 시선추적(gaze pursuit), 주시 경로(gaze path) 등의 데이터 분석을 통해 다양한 분야, 즉 사용성 시장조사 분야, 장애인들의 의사소통 및 기기제어를 위한 수단, 의학 진단 및 수술 분야 등에서 활용되고 있다(Seo, 2016). 시선추적 연구들은 1990년대부터 시작되었고(Poole & Ball, 2005), 현재는 중도ㆍ중복장애인을 대상으로 하는 연구로 확대되고 있으나(Majaranta & Bulling, 2014; Poole & Ball, 2005), 시선추적기술을 AAC 입력장치에 적용한 속도향상 전략에 관한 연구는 아직 찾아보기 어렵다. 뇌성마비인은 신체적 운동능력의 제한으로 인해 간접선택 방식을 통한 스위치를 주로 사용해왔는데(Cosbey & Johnston, 2006; Dycher, 1998), 시선추적기술을 적용하게 된다면, 직접선택으로 메시지를 전달하기 위해 항목을 선택하거나 식별할 수 있게 되므로 독립적인 AAC 기기 접근의 가능성을 높여줄 수 있다. 이는 손을 사용할 수 없는 장애인의 컴퓨터 사용을 위해 시선추적기술을 적용한 연구들에서 그 가능성을 시사 받을 수 있다(Fejtová et al., 2009; Kocejko et al., 2008).

따라서 본 연구에서는 뇌성마비 아동에게 직접선택 방식인 눈 지적(eye pointing)을 위해 시선추적기술을 적용하여 그 효과성을 규명하고자 하였다. 이를 위해 목표자극(또는 목표상징)을 포인팅하여 선택하는 데 소요되는 반응시간과 오류율 측면에서 기존의 대표적인 AAC 디스플레이 포인팅 접근방식인 마우스 사용과 비교하였다. 부차적으로 디스플레이(또는 화면) 상의 목표자극의 위치에 따른 포인팅 반응시간과 오류율을 분석하였다.

본 연구의 연구문제는 다음과 같다.

첫째, AAC 디스플레이 포인팅 접근방식(시선추적기 vs. 마우스)과 목표자극의 위치에 따라 뇌성마비인의 포인팅 반응시간에 차이가 있는가?

둘째, AAC 디스플레이 포인팅 접근방식과 목표자극의 위치에 따라 뇌성마비인의 포인팅 오류에 차이가 있는가?


Ⅱ. 연구 방법

1. 연구 대상

7~18세 미만의 뇌성마비 아동 20명이 연구대상자로 참가하였다. 연구대상자의 선정기준은 (1)병원에서 뇌성마비로 진단받았고 (2)시각, 청각 등 감각기관에 문제가 없으며 (3)컴퓨터 및 휴대폰 사용이 가능한 운동능력을 가진 경우로 하였고(단, 보조기기 이용 가능함) 이상의 기준은 보호자 면담을 통해 확인하였다. 그 외에도 (4)The Child's Recognition and Near Point Test 결과, 시력과 시각매칭 수행이 가능하고 (5) Peabody Picture Vocabulary Test-revised(PPVT-r, Kim et al., 1995) 검사 결과, 수용어휘 평균 연령이 7세 이상인 경우로 하였다. 연구대상자의 정보는 Table 1과 같다.

Participants’ information

2. 실험 설계

시선추적기와 마우스, 이 두 가지 보완대체의사소통 포인팅 접근방식에 따른 포인팅 반응시간을 비교하기 위해, 실험조건을 시선추적기 조건과 마우스 조건, 이 두 가지로 나누었다. 각 실험조건에서 연구대상자가 해야 할 과제는 PC 화면에 목표자극이 나타나면 그 자극을 마우스로 클릭하거나(마우스 조건) 그 자극에 시선을 고정시킴으로써(시선추적기 조건) 가능한 한 빨리 포인팅 하는 것이다. 포인팅 해야 하는 목표자극으로 사각형 도형을 사용하였는데 이는 보완대체의사소통에서 사용되는 상징들이 일반적으로 사각형 형태를 띠고 있기 때문이다. PC 화면을 4(가로) × 4(세로)의 격자로 나누어, 화면상의 16개 위치 중에서 한 곳에 목표자극이 무선적으로 나타나도록 하였다(Figure 1). 16개의 각 목표자극위치마다 1회씩, 모두 16회 시행을 한 세트로 실험시행을 구성하였으며, 각 실험조건마다 3세트를 실시하여 각 자극위치별로 3회씩 반응을 수집하였다. 연구대상자의 눈의 피로도를 고려하여 세트 사이에 휴식시간을 가졌다. 각 연구대상자는 두 실험조건(시선추적기 vs. 마우스) 모두에 참가하도록 하였는데, 순서효과를 고려하여 역균형화하기 위해 대상자들의 반은 시선추적기 조건에 먼저 참여한 후에 마우스 조건을 수행하였으며 나머지 반은 그 역순으로 과제를 수행하도록 하였다.

Figure 1.

Symbol positionNote. Symbol position: center(6, 7, 10, 11), perimeter(2, 3, 5, 8, 9, 12, 14, 15), corner(1, 4, 13, 16).

3. 실험 도구

본 실험에 MSI GP 시리즈 GP63 Leopard 8RE 노트북 PC를 사용하였고 포인팅 장치로서 Tobii Eye Tracker 5 시선추적기와 블루투스 마우스, 조이스틱을 사용하였다. Tobii Eye Tracker 5는 사용자를 이해하기 위하여 제작된 제품으로 빠른 응답성, 강력한 머리 추적 기능, 플렉스 마운트, 내구성과 휴대성이 편리한 특징을 가지고 있으며, 시선 추적 및 머리 움직임을 데이터화하여 다양한 분야에 적용할 수 있는 시선추적기이다. 본 실험에서는 무선적인 자극제시와 데이터 수집 등의 실험절차의 자동화를 위해서 유니티(UNITY, ver. 2019.3.13.f1)를 기반으로 Tobii Pro SDK와 Amazon Dynamo DB를 접목하여 본 실험전용 어플리케이션을 개발하여 사용하였다.

4. 실험 절차

본 실험은 대구 발달재활서비스 제공기관, 복지관, 학교 등의 조용한 방에서 실시되었다. 연구기간 동안 코로나바이러스감염증 –19(COVID-19)에 대한 예방수칙을 준수하였고 생명윤리위원회(IRB) 승인 후(승인번호: 2021-027-02), 본 실험을 수행하였다. 개인정보 데이터는 개인정보보호법의 기준에 따라 개인을 식별할 수 없는 최소한의 정보만을 수집하였다. 자세한 실험절차를 도식화한 것이 Figure 2이다.

Figure 2.

Procedure schematic

실험은 방음처리가 된 조용한 방에서 연구대상자 1명씩 이루어졌는데 소요시간은 약 30~40분이었다. 연구대상자가 실험실에 들어오면 휠체어에 편안하게 앉아서 실험에 임할 수 있도록 높낮이가 조절되는 책상 앞에 앉도록 하였다. 노트북 PC에 설치된 실험전용 프로그램을 실행시켜 연구대상자에 대한 성별, 이름, 나이에 대한 정보를 입력하고 연구대상자가 앉은 의자와 노트북 PC 사이를 약 70~80cm로, 노트북 PC 화면의 각도는 약 105~110˚로 맞추어 시선 처리가 편한 자세를 취하도록 한 후, 실험조건(시선추적기 조건 vs. 마우스 조건)에 따라 실험과제를 실시하도록 하였다.

연구대상자가 포인팅 방법(시선추적기 vs. 마우스)에 대해 익숙해지도록 실제시행에 앞서 연습시행을 실시하였는데 모두 정반응을 하였을 경우, 본 시행을 진행하도록 하였다. 시선추적기 포인팅 조건에서 연구대상자는 “시작합니다”라는 멘트가 나오면 실험과제를 시작하게 되는데, 시선을 화면 중앙으로 위치시키도록 화면 가운데 시선고정점으로 “+” 표시를 0.5초 동안 제시하였다. 그런 후 PC 화면에 목표자극이 나타나면 포인팅을 위해 가능한 한 빨리 그 자극으로 시선을 옮겨 고정시키고 조이스틱을 누르도록 하였다. 이때 목표자극 제시부터 조이스틱을 누르는 반응까지의 시간과 오류유무가 자동으로 저장되도록 하였다. 이렇게 한 시행이 완료되면 “다음으로” 문구가 화면에 나오고 조이스틱을 누르면 다음 시행으로 넘어가게 된다. 시선추적기 조건에 대한 실험절차는 Figure 3과 같다. 마우스 포인팅 조건은 마우스로 목표자극을 클릭하여 포인팅 한다는 점을 제외하면 모든 절차가 시선추적기 조건과 동일하였다.

Figure 3.

Program procedure

5. 자료 분석

포인팅 접근방식(시선추적기 vs. 마우스)에 따른 차이뿐만 아니라 목표자극이 화면 중심에서 떨어져 있는 정도에 따른 차이를 부차적으로 분석하기 위해 목표자극 위치를 중앙(6, 7, 10, 11번), 주변(2, 3, 5, 8, 9, 12, 14, 15번), 모서리(1, 4, 13, 16번), 이 세 부분으로 나누어 반응시간(초)과 오류율(%)을 분석하였다(Figure 1). 이를 위해 SPSS(ver. 23.0) 통계 패키기를 사용하여 정반응의 반응시간과 오반응율에 대해 각각 2(포인팅 방식) × 3(목표자극위치) 이원반복측정 분산분석을 실시하였다.


Ⅲ. 연구 결과

1. 목표자극 포인팅 시간에 대한 분석

실험에서 목표자극을 정확하게 포인팅 한 시행의 평균 반응시간을 포인팅 접근방식과 목표자극위치별로 정리한 것이 Table 2Figure 4이다. 반응시간에 대해 포인팅 접근방식(2) × 목표자극위치(3)의 이원반복측정 분산분석 결과, 포인팅 접근방식과 목표자극위치의 주효과와 상호작용효과가 각각 통계적으로 유의하였다(Table 3). 시선추적기 접근방식의 반응시간(5.05초)이 마우스 접근방식(8.97초)보다 평균적으로 3.92초 더 빨랐으며(F(1, 19)=160.208, p<.001), 화면상의 목표자극위치가 중앙(3.57초), 주변(5.19초), 모서리(6.4초) 쪽으로 갈수록 포인팅 반응시간이 길어지는 경향을 보였다(F(1, 19)=46.814, p<.001, Figure 4). 그리고 포인팅 접근방식과 목표자극위치 간의 상호작용효과도 통계적으로 유의하였다(F(1, 19)=25.170, p<.001).

Reaction times for the pointing approaches and target positions (s)

Figure 4.

Reaction times (s) of the pointing approaches and target positions

Analysis of variance for reaction times

2. 목표자극 포인팅의 오류에 대한 분석

실험과제에서 목표자극을 정확하게 포인팅하지 못한 빈도 즉, 오류율을 정리하여 제시한 것이 Table 4Figure 5이다. 오류율에 대해 포인팅 접근방식(2) × 목표자극위치(3)의 이원반복측정 분산분석 결과, 목표자극위치에 대한 주효과(F(1, 19)=7.91, p<.01)와 포인팅 접근방식과 목표자극 위치 간의 상호작용효과(F(1, 19)=8.08, p<.01)가 통계적으로 유의하였다(Table 5). 시선추적기 접근방식(5.07%)이 마우스(6.24%)보다 오류율이 평균적으로 낮은 경향을 보이지만 통계적으로 유의하지는 않았다. 시선추적기의 경우, 목표자극의 위치가 화면 중앙 부분(.97%)은 오류율이 낮은 반면, 주변위치(6.53%), 모서리 위치(7.73%)로 갈수록 오류율이 높아지는 경향을 보였다. 반면, 마우스의 경우, 주변(7.29%), 중앙(5.39%), 모서리(4.99%), 순으로 오류율이 높았다.

Error rates for the pointing approaches and target positions(%)

Figure 5.

Error rates (%) of the pointing approaches and target positions

Analysis of variance for the error rates


Ⅳ. 논의 및 결론

본 연구의 결과가 가진 함의에 대해 논의하자면 다음과 같다. 첫째, 뇌성마비인을 연구대상자로 한, 본 연구에서 AAC 디스플레이 포인팅을 위해 신기술을 적용한 시선추적기 접근방식이 기존의 전통적인 접근방식인 마우스 사용보다 포인팅 시간이 더 빨랐다(5.05초 vs. 8.97초). 이러한 결과는 지체장애인을 대상으로 시선추적기술을 적용하여 인터넷 사용의 가능성을 높여준 선행연구의 결과처럼(Kwak et al, 2017) 뇌성마비 대상자를 위한 AAC시스템에서도 시선추적기술의 효과성을 잘 보여주고 있으며, 또한 마우스 포인팅 입력장치가 조작의 접근성 어렵고, 일부 조작이 가능하더라도 조작시간이 많이 소요되고 피로감을 많이 느낀다는 점들을 고려해볼 때(Vanderheiden, 2010) 뇌성마비아동에게는 시선추적기 포인팅 장치가 보다 효율적임을 시사해 주고 있다. AAC 디스플레이 화면에 제시되는 목표자극의 위치에 따라 두 접근방식 모두 화면 중앙에서 모서리 위치로 갈수록 포인팅 반응시간이 길어졌는데, 이는 디스플레이 화면 중앙에서 모서리 부분으로 시선이나 마우스를 움직이는 데 시간이 더 많이 소요되기 때문에 예상되는 당연한 결과일 수 있다. 하지만 시선추적기의 경우, 시선이 디스플레이의 중앙에서 벗어날수록 시선추적의 정밀도가 다소 떨어지고, 더욱이 뇌성마비아동 중에서 무정위운동형의 일부는 시선을 모서리 부분으로 이동하기 위해 중앙에서 곧바로 모서리로 시선을 옮기는 것이 아니라 주변을 거쳐 모서리로 시선을 이동하는 양상을 보였으며, 경직형 일부는 시선추적을 위한 머리운동에 더 힘이 들어 모서리로 갈수록 포인팅 시간이 더 소요되었을 것으로 추정된다. 이러한 문제는 차후 시선추적기술이 발전되어 보완된다면 조만간 해결될 것으로 사료된다.

둘째, 포인팅 오류율도 반응시간과 마찬가지로 시선추적기 방식에서 마우스보다 전반적으로 낮았는데, 특히 디스플레이 중앙 부근에 위치한 목표자극에 대해 대부분 정확하게 포인팅 하였다. 반면, 마우스의 경우, 뇌성마비인이 대뇌 병변에 의한 근육마비, 협응성장애, 근육 약화, 기타 운동기능장애의 문제로 균형, 자세, 방향, 정위와 같은 운동기능이 저하되어(Park, 1998), 마우스를 움직여 커서를 목표자극 위에 위치시키고 왼쪽 버튼을 클릭하기가 어려워 시선추적방식에 비해 오류가 더 많았을 것으로 여겨진다. 이러한 결과는 뇌성마비 대상자들에게 AAC 포인팅 입력장치로서 시선추적기가 보다 효과적인 대안이 될 수 있음을 시사해 준다.

위의 결과를 종합해볼 때 시선추적기술을 적용한 눈 지적 방식이 반응속도와 오류율에서 효율적인 것으로 확인되었다. 또한 시선추적기 포인팅 입력장치가 인간과 테크놀리지 인터페이스 적용 측면에서 고려해볼 때(Man & Wong, 2007), 상징선택 입력에서 필수적으로 요구되고 평가에서도 가장 중요한 변수인 반응시간과 정확성 모두에서 효율성을 충적시켜주며(Tanmoto et al., 2005), 모든 보조공학적 테크놀리지가 대상자별 적응과정이 필요하듯이(Brodwin et al., 2004) 시선추적기 눈 지적 또한 그러하지만, 연구수행 1세트에서 3세트로 갈수록 반응시간이 더 빨라졌고, 오류율도 낮아진 결과를 볼 때 적응 기간도 짧을 것으로 예상된다. 이러한 짧은 적응 기간은 AAC 사용자의 상징 표현력을 더욱 향상시킬 수 있으며, 실패 시 좌절 및 스트레스를 감소시킬 수 있으며, 더불어 많은 중도ㆍ중증장애인들이 접근성 문제로 이해 AAC 기기 활용도를 높이지 못하는 현실적 문제에도 도움이 될 것으로 사료된다.

본 연구의 결과는 향후 효율적인 AAC 시스템 설계를 위한 지침이 될 수 있을 것이다. 뇌성마비 아동의 보완대체의사소통 시스템에 대한 사용성과 효율성을 향상시킬 수 있는 직접선택 방식의 포인팅 입력장치로서 시선추적기의 효과성을 규명함으로써 다양한 장애군의 포인팅 입력장치 선택을 위한 기초 정보로 활용 가능하다는 측면에서 본 연구의 의의를 찾을 수 있겠다. 다만, 뇌성마비 유형에 따른 차이를 통제하지 못한 것이 본 연구의 제한점이라 할 수 있겠는데, 따라서 이러한 점을 개선하여 뇌성마비 유형별로 그리고 다양한 중증장애인을 대상으로, 다양한 포인팅 입력장치에 대한 후속 연구들이 계속적으로 진행될 필요가 있을 것으로 사료된다.

Acknowledgments

이 연구는 2018년도 대구대학교의 학술연구비 지원을 받아 수행된 연구임.

This work was supported by research funds of Daegu University (2018).

Reference

  • Beringer, V. W., & Gans, B. M. (1986). Language profiles in nonspeaking individuals of normal intelligence with severe cerebral palsy. Augmentative and Alternative Communication. 2, 45-50. [https://doi.org/10.1080/07434618612331273880]
  • Beukelman, D. R., & Mirenda, P. (1992). Augmentative and aternative communication. Baltimore: Paul H. Brookes Publishing Co.
  • Beukelman, D. R., & Mirenda, P. (2008). Augmentative and alternative communication (H. J. Park, Trans.). Seoul: Hakjisa.
  • Beukelman, D. R., & Mirenda, P. (2013). Augmentative & alternative communication: Supporting children and adults with complex communication needs (4th ed.). Baltimore: Paul H. Brookes Publishing Co.
  • Blischak, D. M. (1995). Thomas the writer: Case study of a child with severe physical, speech, and visual impairments. Language, Speech, and Hearing Services in Schools, 26(1), 11-20. [https://doi.org/10.1044/0161-1461.2601.11]
  • Brodwin, M. G., Cardoso, E., & Star, T. (2004). Computer assistive technology for people who have disabilities: Computer adaptation and modifications. Journal of Rehabilitation, 70(3), 28-33.
  • Cosbey, J. E., & Johnston, S. (2006). Using a single-switch voice output communication aid to increase social access for children with severe disabilities in inclusive classrooms. Research & Practice for Persons with Severe Disabilities, 31(2), 144-156. [https://doi.org/10.1177/154079690603100207]
  • Dycher, T. T. (1998). Effects of switch training on the communication of children with autism and severe disabilities. Focus on Autism and Other Developmental Disabilities, 13(3), 151-162. [https://doi.org/10.1177/108835769801300303]
  • Erickson, K. A., Koppenhaver, D. A., Yoder, D. E., & Nance, J. (1997). Intergrated communication and literacy instruction for a child with multiple disabilities. Focus on Autism and Other Developmental Disabilities, 12(3), 142-150. [https://doi.org/10.1177/108835769701200302]
  • Go, J. B., & Jeon, B. W. (2006). Effects of AAC intervention using KIDS VOICE on vocabulary expression in sinus cerebral palsy. Korean Journal of Communication Disorders, 11(2), 145-163. uci:G704-000725.2006.11.2.003
  • Go, J. B., & Jeon, B. W. (2010). The effect of story intervention using augmentative and alternative communication tools on reading comprehension and story expression ability of students with cerebral palsy. The Journal of Special Children Education, 12(4), 261-289. [https://doi.org/10.21075/kacsn.2010.12.4.261]
  • Fejtová, M., Figueiredo, L., Novák, P., Štěpánková, O., & Gomes, A. (2009). Hands-free interaction with a computer and other technologies. Universal Access in the Information Society, 8(4), 277-295. [https://doi.org/10.1007/s10209-009-0147-2]
  • Han, K. G. (2010). Exploring the practical application of the Augmentatives and alternative communication (AAC) system intervention principles for students with moderate and overlapping disabilities. The Journal Special Children Education, 12(4), 75-98. uci:I410-ECN-0102-2012-370-0018 77650 [https://doi.org/10.21075/kacsn.2010.12.4.75]
  • Han, K. I. (1998). Effect of augmentatives and alternative communication interventions in children with severe cerebral palsy (Doctoral dissertation). Daegu University, Gyeongbuk.
  • Han, K. I. (2001). A study on the current status of students with disabilities and intervention methods using augmentatives and alternative communication systems. Journal of Emotional & Behavioral Disorders, 17(2), 285-320. uci:I410-ECN-0102-2009-370-004267037
  • Han, K. I., & Ahn, B. J. (1994). The effect of using Blissymbols in communication with the severely cerebral palsied. Journal of Special Education, 12(1), 73-99. uci:I410-ECN-0102-2017-370-000562632
  • Hegde, M. N. (2011). Introduction to communicative disorders (C. J. Seong, S. H. Lee, & K. C. Yoon, Trans.). Seoul: Hakjisa.
  • Jeong, H. D. (2000). A study on communication interventions in sinus cerebral palsy. The Education Journal for Physical and Multiple Disabilities, 35(1), 377-397.
  • Kim, J. H., & Park, E. H. (2005). Literature review regarding collaborative practices related to augmentative and alternative communication. Speech-Language Pathology and Audiology, 10(2), 128-140. uci:G704-000725.2005.10.2.004
  • Kim, J. Y. (2008). Parent education program for mothers of children with cerebral palsy: A qualitative inquiry. Journal of Special Education: Theory and Practice, 9(1), 209-231. uci:G704-001047.2008.9.1.006
  • Kim, J. Y., & Park, E. H. (2003). AAC face-to-face training to improve communication skills in sinus patients with severe cerebral palsy. Special Education Research, 2(1), 37-58. uci:G704-SER000014606.2003.2.1.001 [https://doi.org/10.18541/ser.2003.04.2.1.37]
  • Kim, J. Y., & Park, E. H. (2006). The effect of communication intervention using a multimodal system on communication behavior during classroom instruction with cerebral palsy. Korean Journal of Special Education, 41(3), 77-99. uci:G704-000685.2006.41.3.008
  • Kim, J. Y., Park, E. H., & Pyo, Y. H. (2008). Research literature analysis on literacy intervention of augmentatives and alternative communication (AAC) users. Korean Journal of Communication Disorders, 13(2), 308-327. uci:G704-000725.2008.13.2.001
  • Kim, K. Y. (2019). A study on the application effect of an intervention service delivery model using augmentative and alternative communication devices. AAC Research & Practice, 7(1), 77-102. [https://doi.org/10.14818/aac.2019.6.7.1.77]
  • Kim, Y. T., Jang, H. S., Im, S. S., & Baek, H. J. (1995). Peabody Picture Vocabulary Test (PPVT). Seoul: Seoul Welfare Center for the Disabled.
  • Kocejko, T., Bujnowski, A., & Wtorek, J. (2008). Eye mouse for disabled. Proceedings of 2008 Conference on Human System Interactions, 199-202. [https://doi.org/10.1109/HSI.2008.4581433]
  • Kwak, S. E., Kim, I. A., Sim, R. B., Lee, S. H., & Hwang, S. S. (2017). A computer access system for the physically disabled using eye tracking and voice recognition technology. Journal of the HCI Society of Korea, 12(4), 5-15. [https://doi.org/10.17210/jhsk.2017.11.12.4.5]
  • Lee, M. H. (2009). The effect of peer intervention applying augmentatives and alternative communication on happiness in infants with cerebral palsy. Korean Journal Special Education, 44(3), 307-326. uci:G704-000685.2009.44.3.010
  • Lee, Y. S., & Jeon, B. W. (2010). A study on augmentatives and alternative communication systems for children with developmental disabilities trend analysis: Focusing on the 2000-2009 papers. Korean Journal Special Education, 45(2), 39-67. uci:G704-000685.2010.45.2.006
  • Lee, Y. S., Lim, K. W., & Jeon, B. W. (2012). Analysis of research trends in augmentatives and alternative communication systems for people with cerebral palsy. The Education Journal for Physical and Multiple Disabilities, 55(1), 127-157. [https://doi.org/10.20971/kcpmd.2012.55.1.127]
  • Light, J. (1989). Toward a definition of communicative competence for individuals using augmentative and alternative communication systems. Augmentative and Alternative Communications, 5(2), 137-144. [https://doi.org/10.1080/07434618912331275126]
  • Light, J. C., Binger, C., Agate, T. L., & Ramsay, K. N. (1999). Teaching partner-focused questions to individuals who use augmentative and alternative communication to enhance their communicative competence. Journal of Speech, Language, and Hearing Research, 42(1), 241-255. [https://doi.org/10.1044/jslhr.4201.241]
  • Lim, J. H. (2019). The need for special school-based augmentatives and alternative communication (AAC) interventions and development. AAC Research & Practice, 7(1), 103-129. [https://doi.org/10.14818/aac.2019.6.7.1.103]
  • Majaranta, P., & Bulling, A. (2014). Eye tracking and eye-based human-computer interaction. In S. H. Fairclough & K. Gilleade (Eds.), Advances in Physiological Computer (pp. 39-65). London: Springer-Verlag. [https://doi.org/10.1007/978-1-4471-6392-3_3]
  • Man, D. W. K., & Wong, M. S. L. (2007). Evaluation of computer-access solutions for students with quadriplegic athetoid cerebral palsy. American Journal of Occupational Therapy, 47, 1022-1029.
  • Park, E. H. (1996). Analysis of research trends in the field of augmentatives and alternative communication: From 1985 to 1991. Speech-Language Disorders, 1(1), 177-193.
  • Park, E. H. (2003). Augmentatives and alternative communication teaching-learning methods for students with disabilities considerations. Journal of Special Education, 10(2), 142-165.
  • Park, T. H. (1998). Even my child, who is late in development, can do well: Disabled opium. Gyeonggi: Hyungseol Publisher.
  • Pellegrino, L. (2002). Crerbral palsy. In M. L. Batshsw (Ed.), Children with disabilities. Baltimore: Paul H. Brookes Publishing Co.
  • Poole, A., & Ball, L. J. (2005). Eye tracking in human-computer interaction and usability research: Current status and futere. In C. Ghaoui (Ed.), Encyclopedia of Human-Computer Interaction. Pennsylvania: Idea Group, Inc. [https://doi.org/10.4018/978-1-59140-562-7.ch034]
  • Seo, E. S. (2016). Mobile eye tracker and for use of the same for revitalizing studies on eye tracking. The Journal of the Korea Contents Association, 16(12), 10-18. [https://doi.org/10.5392/JKCA.2016.16.12.010]
  • Seong, S. Y., Lim, J. H., & Kim, Y. T. (2013). Augmentatives and alternative aommunication (AAC) potential demand prediction study. AAC Research & Practice, 1(1), 1-24.
  • Tanmoto, Y., Rokumyo, Y., Furusawa, K., Tokuhiro, A., Suzuki, Y., Takami, K., & Yamamoto, H. (2005). Development of a computer input device for patients with tetraplegia. Computer Standards & Interfaces, 28(2), 166-175. [https://doi.org/10.1016/j.csi.2005.01.018]
  • Vanderheiden, G. C. (2010). Universal design and assistive technology in communication and information technologies: Alternatives of complements? The Official Journal of RESNA, 10, 29-36. [https://doi.org/10.1080/10400435.1998.10131958]
  • Yoo, S. B., Yeon, H. B., Jeong, S. M., & Jang, Y. (2016). Personalized interface using eye tracking technology and SVM classifier. Proceedings of HCI Korea 2016, 409-416. [https://doi.org/10.17210/hcik.2016.01.409]

참 고 문 헌

  • Beukelman, D. R., & Mirenda, P. (2017). 보완대체의사소통(박현주 역). 서울: 학지사.
  • Hegde, M. N. (2011). 의사소통장애(성철재, 이숙향, 윤규철 역). 서울: 학지사.
  • 고진복, 전병운 (2006). KIDS VOICE를 활용한 AAC 중재가 뇌성마비아동의 어휘표현에 미치는 효과. 언어청각장애연구, 11(2), 145-163.
  • 고진복, 전병운 (2010). 보완대체 의사소통 도구를 활용한 이야기 중재가 뇌성마비 학생의 독해와 이야기 표현 능력에 미치는 효과. 특수아동교육연구, 12(4), 261-289.
  • 곽성은, 김이삭, 심드보라, 이승환, 황성수 (2017). 아이트래킹 및 음성인식 기술 을 활용한 지체장애인 컴퓨터 접근 시스템. 한국HCI학회 논문지, 12(4), 5-15.
  • 김경양 (2019). 보완대체의사소통 기기 활용 중재서비스 전달 모형의 적용 효과에 대한 연구. 보완대체의사소통연구, 7(1), 77-102.
  • 김영태, 장혜성, 임선숙, 백현정 (1995). 그림어휘력 검사. 서울: 서울장애인종합복지관.
  • 김정연 (2008). 비구어 뇌성마비 아동의 의사소통 중재를 위한 부모교육 프로그램 실행에 대한 질적 연구. 특수교육저널: 이론과 실천, 9(1), 209-231.
  • 김정연, 박은혜 (2003). 중도 뇌성마비아동의 의사소통 기술 증진을 위한 AAC 대화상대자 훈련. 특수교육, 2(1), 37-58.
  • 김정연, 박은혜 (2006). 다중양식체계를 이용한 의사소통 중재가 뇌성마비 고등학생의 수업 중 의사소통행동에 미치는 영향. 특수교육학연구, 41(3), 77-99.
  • 김정연, 박은혜, 표윤희 (2008). 보완ㆍ대체의사소통체계(AAC) 사용자의 문해력 중재에 대한 연구문헌 분석. 언어청각장애연구, 13(2), 308-327.
  • 김주혜, 박은혜 (2005). 보완대체의사소통 중재에서의 관련자 간 협력에 대한 연구문헌 분석. 언어청각장애연구, 10(2), 128-140.
  • 박은혜 (1996). 보완ㆍ대체의사소통 분야에 관한 연구동향 분석: 1985년부터 1991년까지. 언어장애연구, 1(1), 177-193.
  • 박은혜 (2003). 장애학생을 위한 보완ㆍ대체의사소통 교수·학습방법에 관한 고찰. 특수교육연구, 10(2), 142-165.
  • 박태희 (1998). 발달이 늦은 우리아이도 잘 할 수 있어요: 지체부자유아편. 경기: 형설출판사.
  • 서은선 (2016). 아이트래킹 연구 활성화를 위한 모바일 아이트래커의 활용. 한국콘텐츠학회 논문지, 16(12), 10-18.
  • 성시연, 임장현, 김영태 (2013). 보완대체의사소통(AAC) 잠재 수요 예측 연구. 보완대체의사소통연구, 1(1), 1-24.
  • 유상봉, 연한별, 정성민, 장윤 (2016). 시선추적 기술과 SVM 분류기를 이용한 개인화 인터페이스 제어 시스템. HCI KOREA 2016 학술대회 발표논문집, 409-416.
  • 이명희 (2009). 보완대체의사소통을 적용한 또래 중재가 중도뇌성마비장애 유아의 행복감에 미치는 영향. 특수교육학연구, 44(3), 307-326.
  • 이윤숙, 임경원, 전병운 (2012). 뇌성마비인을 위한 보완ㆍ대체의사소통체계 연구 동향 분석. 중복ㆍ지체부자유아교육, 55(1), 127-157.
  • 이윤숙, 전병운 (2010). 발달장애아동을 위한 보완ㆍ대체의사소통체계 연구 동향 분석: 2000-2009년 논문을 중심으로. 특수교육학연구, 45(2), 39-67.
  • 임장현 (2019). 특수학교 기반의 보완대체의사소통(AAC) 중재 및 개발에 대한 요구. 보완대체의사소통연구, 7(1), 103-129.
  • 정해동 (2000). 뇌성마비아동의 의사소통 중재에 관한 고찰. 중복ㆍ지체부자유아교육, 35, 377-397.
  • 한경근 (2010). 중도중복장애학생을 위한 보완대체의사소통(AAC) 체계 중재 원리의 실제적 적용 방안 탐색. 특수아동교육연구, 12(4), 75-98.
  • 한경임 (1998). 중증 뇌성마비 아동의 보완·대체의사소통 중재의 효과. 대구대학교 특수대학원 박사학위 논문.
  • 한경임 (2001). 보완대체 의사소통 체계 사용 지체부자유 학생의 현황 및 중재 방안 연구. 정서행동장애연구, 17(2), 285-320.
  • 한경임, 안병즙 (1994). 블리스심볼의 사용이 중증뇌성마비아동의 의사소통에 미치는 효과. 특수교육연구, 12(1), 73-99.

Figure 1.

Figure 1.
Symbol positionNote. Symbol position: center(6, 7, 10, 11), perimeter(2, 3, 5, 8, 9, 12, 14, 15), corner(1, 4, 13, 16).

Figure 2.

Figure 2.
Procedure schematic

Figure 3.

Figure 3.
Program procedure

Figure 4.

Figure 4.
Reaction times (s) of the pointing approaches and target positions

Figure 5.

Figure 5.
Error rates (%) of the pointing approaches and target positions

Table 1.

Participants’ information

Gender Average age
(year;month)
Types of
cerebral palsy
PPVT-r
(min-max)
Note. a Spastic type: it is difficulty to walk independent using a separate assistive device, it is possible to maintain a sitting posture by yourself, able to use fine muscles (dominant hand), suggestive use of spoken language, but poor intelligibility (parent interview).
b Athetoid type: Independent walking using a separate assistive device is possible, it is possible to maintain a sitting posture by yourself, able to use fine muscles (dominant hand), unable to communicate verbally, low learning ability (parent interview).
Male (16) 11; 6 Spastica (16) 80-98
Female (4) 12; 1 Athetoidb (4) 94-98

Table 2.

Reaction times for the pointing approaches and target positions (s)

Center
(SD)
Perimeter
(SD)
Corner
(SD)
Mean
(SD)
Eye tracker 3.57
( .29)
5.19
( .45)
6.4
( .39)
5.05
( .03)
Mouse 8.61
(1.47)
9.01
(1.24)
9.28
(2.25)
8.97
( .29)

Table 3.

Analysis of variance for reaction times

Variance df F η2 p
***p<.001
Approach (2) 1, 19 160.208*** .89 .001
Target position (3) 1, 19 46.814*** .71 .001
Approach (2) × Position (3) 1, 19 25.170*** .59 .001

Table 4.

Error rates for the pointing approaches and target positions(%)

Center
(SD)
Perimeter
(SD)
Corner
(SD)
Mean
(SD)
Eye tracker .97
( .79)
6.53
(2.19)
7.73
( .83)
5.07
(2.75)
Mouse 5.39
(1.73)
7.29
(2.68)
4.99
(3.05)
6.24
(2.65)

Table 5.

Analysis of variance for the error rates

Variance df F η2 p
**p<.01
Approach (2) 1, 19 2.14 .14 .167
Target position (3) 1, 19 7.91** .93 .006
Approach (2) × Position (3) 1, 19 8.08** .55 .005