![Korean Speech-Language & Hearing Association(KSHA)](/images/basic/pubreader_back.gif)
보완대체의사소통 상징평가 도구(AAC-SAT) 개발을 위한 검사 문항 및 그림상징 타당도 연구
Copyright 2022 ⓒ Korean Speech-Language & Hearing Association.
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
본 연구는 체계적인 보완대체의사소통 상징 평가 도구(AAC-SAT)의 개발을 위해 평가 도구에 포함될 검사 문항과 그림상징에 대한 타당도를 검사하는 데 목적을 둔다.
국내에서 사용하고 있는 AAC 평가 도구를 분석하고, 문헌검색을 통하여 평가에 포함될 어휘를 선정하였다. 최종 어휘 목록은 어휘 친숙성이 평가 수행에 미치는 영향을 배제하기 위해 정상 발달을 보이는 취학 전 아동의 어휘를 중심으로 개발하였으며 각 어휘에 해당하는 그림상징을 선정하였다. 타당도 검사는 21명의 1급 언어재활사를 대상으로 실시하였다. 연구대상자는 5점 리커트 척도를 사용하여 타당도를 평가하였고 내용타당도인덱스(CVI) 계산법 이용하여 각각의 검사 문항과 그림상징에 대한 CVI와 하위 평가 별 평균 CVI 산출하였다.
검사 문항 65개 모두 CVI가 .80 이상인 것으로 나타났다. 하위 평가별로 살펴보면, 상징 유형 평가의 30개 문항의 평균 CVI는 .92였고, 의미범주화 능력 평가에 포함되는 20개 문항의 평균 CVI는 .97로 나타났다. 마지막으로 상징 의사소통 수준 평가 문항 15개의 평균 CVI는 .98였다. 개별 그림상징 70개에 대한 평균 CVI는 .94, 의미범주를 나타내는 그림상징 10개에 대한 평균 CVI 또한 .94로 비교적 높게 나타났다. 개별 그림상징 중 CVI가 .50를 초과하고 .80 미만인 그림상징은 3개로 수정이 필요한 것으로 확인되었다.
본 연구는 문헌고찰과 타당도 조사 결과를 토대로 AAC 상징평가 도구에 포함될 문항과 그림상징을 개발하였다는 데에 의의가 있다. 장애인 개개인의 다양한 능력과 강점이 타당도가 확립된 평가도구를 통해 면밀히 확인될 수 있기를 기대한다.
Abstract
The purpose of this study was to conduct a validity test for test items and graphic symbols to develop an AAC symbol assessment tool (AAC-SAT).
The AAC symbol tests that are currently used in Korea were critically reviewed. A literature review on preschool children’s vocabulary was conducted to develop a vocabulary list for the AAC-SAT. Twenty-one speech-language pathologists participated in the validity tests. They evaluated each test item and graphic symbol using a 5-point Likert scale. The scores were inverted into a content validity index (CVI) to analyze the overall validity of the sub-tests and each test item.
All 65 test items had a CVI of .80 or higher. Regarding the sub-test, the average CVI was .92 for the 30 items of the symbol type test. For the 20 items included in the semantic categorization test, the average CVI was .97. The average CVI was .98 for the 15 items of the symbol-based communication level test. The average CVI for the 70 individual graphic symbols was .94, and the average CVI for the 10 semantic category symbols was also .94. Among the individual graphic symbols, three symbols showed a CVI greater than .50 and less than .80, which required correction.
The results contributed to developing the AAC-SAT based on the literature review and validity tests. It is expected that the competencies of individuals with complex communication needs can be evaluated through this well-developed AAC symbol assessment tool.
Keywords:
Augmentative and alternative communication (AAC), symbol assessment, validity, vocabulary, graphic symbols키워드:
보완대체의사소통, 상징 평가, 타당도, 어휘, 그림 상징Ⅰ. 서 론
복합적인 의사소통 요구(complex communication needs)를 지닌 이들에게 개인 맞춤의 효과적인 보완ㆍ대체의사소통(augmentative and alternative communication: AAC) 중재를 제공하기 위해서는 각 개인이 가지고 있는 잠재적인 AAC 사용능력을 체계적으로 평가해야 한다(Beukelman & Mirenda, 2013). 평가에 대해 이론적 틀을 제공하고 있는 참여 모델(participation model, Beukelman & Mirenda, 2013)에 따르면 개인의 능력 프로파일은 최적의 AAC 구성요소를 결정하기 위한 정보로 활용되기 때문에, 착석과 자세, 운동, 감각, 인지, 언어 영역에 대한 개인의 수행 수준을 파악하는 평가과정의 중요성이 강조되고 있다(Yorkston & Karlan, 1986). 특히 언어 영역에서는 공식ㆍ비공식 검사를 통해 현재의 말, 언어, 의사소통 수준을 파악하고, AAC 상징 평가를 통해 대상자의 잠재적인 AAC 상징 사용 능력을 살펴보는 것이 필요하다(Beukelman & Mirenda, 2013; Dodd, 2017; Light, 1989; Light & McNaughton, 2014).
해외에서 많이 사용하는 AAC 상징 평가 도구는(Bruno, 2010; Hump Software, 2019) 대개 다음의 하위평가 영역을 포함한다. (1)상징 크기 및 개수 평가, (2)상징 유형 평가, (3)범주화 능력 평가, (4)상징 조합 능력 평가. 각 하위 평가의 특징을 살펴보면, (1)상징 크기 및 개수 평가는 AAC 의사소통 판(또는 화면)에서 대상자가 정확하게 선택할 할 수 있는 상징의 최소 크기와 최대 상징 개수를 평가하는 데 목적을 둔다. 제한된 규격의 의사소통 화면에서는 대상자가 정확하게 선택할 수 있는 상징의 크기와 상징 개수 간에 대체로 반비례 관계가 형성된다. 즉, 상징 크기가 커질수록 한 화면에 담을 수 있는 상징의 개수는 적어진다. 따라서 밀접한 관계가 있는 만큼 서로 분리하여 평가하기보다는 함께 살펴보는 특징을 갖는다. 다음으로 (2)상징 유형 평가는 참조물이 표상된 다양한 상징 유형(사진, 그림상징, 글자 등) 중에서 대상자가 개념과 상대적으로 잘 연결할 수 있는 상징체계를 살펴보는 데 목적을 둔다. 문해력이 발달되지 않았거나 손상되었다면 제시어를 듣고 해당하는 사진이나 그림상징을 선택할 수 있는지를 살펴보게 된다. (3)범주화 능력 평가는 개별 상징을 보고 그것과 의미적으로 연결된 상위 범주어를 연결할 수 있는지를 살펴보는 데 목적을 둔다. 가령 ‘고양이’를 나타내는 그림상징을 보고 ‘동물’의 상위범주를 나타내는 그림상징을 선택할 수 있는지를 살펴보거나 여러 개별 상징들 중에서 ‘동물’에 해당하는 상징을 모두 선택하도록 하는 방식으로 평가를 진행할 수 있다. 마지막으로 (4)상징 조합 능력 평가는 개별 그림상징을 조합하여 다양한 언어적 복잡성을 지닌 메시지의 형태로 구성할 수 있는지를 살펴보는 데 목적을 둔다. 예를 들어 산출해야 하는 목표 메시지가 ‘사과 먹어요’인 경우 대상자는 제시된 그림상징들 중에서 [사과]를 나타내는 그림상징과 [먹어요]의 그림상징을 순서대로 선택하여 표현해야 한다. 목표 메시지의 길이는 한 단어부터 2어 조합, 3어 조합, 또는 그 이상으로 확장될 수 있다. 상징 조합 능력에 대한 평가 결과는 구어로 의사소통하는 데 어려움이 있는 대상자가 AAC 사용하여 표현할 수 있는 현재의 의사소통 수준을 가늠하는 데에 중요한 정보를 제공해 준다(Shin & Park, 2021).
국내에서는 AAC 상징평가 도구로 ‘한국 보완대체의사소통 평가’(Korean AAC Assessment: KAA, Kim et al., 2016)와 ‘AAC 그림상징 수행능력 평가’(Ahn et al., 2021)가 임상과 교육 현장에서 언어재활사와 특수교사들에 의해 활용되고 있다.
KAA(Kim et al., 2016)는 상징 평가의 하위 영역에 대한 소개와 함께 검사 실시 방법을 몇 가지 예시 그림을 통해 기술하고 있으나, 평가 시 활용할 수 있는 검사 문항 목록과 사진, 그림상징, 글자 자료를 제공하고 있지는 않기 때문에 현장에서 평가도구로 활용하는 데에는 제한점이 있다. 반면에 ‘AAC 그림상징 수행능력 평가’(Ahn et al., 2021)는 모든 평가 자극물이 웹에서 제공된다는 장점이 있다. 해외에서 많이 사용하는 상징 평가 도구 중 하나인 Test of Aided-Communication Symbol Performance(TASP, Bruno, 2010)를 상당 부분 참고하여 개발한 것으로, 검사자는 평가 프로그램이 구동되는 웹사이트에 접속하여 평가를 실시하고 대상자의 수행을 자동으로 산출되는 과제별 수행 정확도와 반응시간을 통해 확인할 수 있다. 각 하위 평가별 특징을 살펴보면 다음과 같다.
‘AAC 그림상징 수행능력 평가’는 (1)그림상징의 크기와 수, (2)그림상징 부호화 능력 평가, (3)그림상징 범주화 능력 평가, (4)그림상징으로 문장 표현하기의 4개 하위 평가로 구성되어 있다. (1)그림상징의 크기와 수 평가는 TASP(Bruno, 2010)와 마찬가지로 화면에 제시되는 여러 그림상징들 중에서 목표상징을 대상자가 얼마나 작은 크기까지 정확하게 선택할 수 있는지를 평가하도록 고안되어 있다. 따라서 한 화면에 제시된 여러 상징들 중에서 단 하나의 목표 상징을 찾아야 하는 판별(verification) 능력을 요구하기 때문에 대상자의 수행에 다른 요인들이 미치는 영향을 완전히 배제하기는 어렵다. 즉 대상자가 더 작은 크기의 상징을 선택할 수 있는 운동능력을 갖고 있음에도 불구하고 비목표 상징을 걸러내는 인지적 처리과정이 요구되기 때문에(Shin et al., 2017) 실제 수행능력보다 저평가될 소지가 있게 된다. 이를 보완하기 위해 영미권의 AAC 평가 프로그램 중 하나인 AAC Evaluation Genie(Hump Software, 2019)는 상징 확인(symbol identification) 과제와 상징 판별(symbol verification) 과제를 구분하여 실시하도록 고안되어 있다. 전자는 비목표상징을 모두 배제한 채 목표상징 하나만 화면에 제시되도록 하는 방법이며, 후자는 TASP 및 ‘AAC 그림상징 수행능력 평가’와 같이 비목표 상징을 목표상징과 함께 제시하였을 때 대상자가 목표 상징을 판별하는 능력을 살펴보는 방법이다. 대상자의 인지 능력과 운동 능력이 상징 선택에 미치는 영향을 종합적으로 분석하기 위해서는 이 두 가지 과제가 국내 평가에서도 고려될 필요가 있어 보인다.
다음으로 (2)그림상징 부호화 능력 평가는 동사와 형용사 어휘에 해당하는 그림상징에 대해 상징 판별 능력을 평가하도록 고안되어 있다. 가로 × 세로가 4 ×2 로 총 8개의 그림상징이 제시된 화면에서 대상자는 목표 동사(예, 앉아요) 또는 목표 형용사(예, 더러워요)를 듣고 해당하는 그림상징을 선택해야 한다. 다양한 품사 중에서도 동사와 형용사에 대해서만 부호화 능력을 살펴보고자 한 이유가 웹사이트에 명시되어 있지는 않으나, 동사와 형용사의 경우 구체명사에 비해 도상성(iconicity)의 투명도가 낮은 편이라는 것을 상기할 필요가 있다(Bloomberg et al., 1990; Kweon & Kim, 2019; Shin et al., 2017). 따라서 해당 상징이 이미 친숙한 대상자는 도상성이 낮다 하더라도 청각적으로 제시된 어휘를 그림상징와 연결하는 능력이 기능적일 수 있고, 이들의 품사별(비록 동사와 형용사 두 개 뿐이나) 수행 능력을 비교하고자 할 때 활용할 수 있을 것이다. 그러나 평가단계에서 처음 그림상징을 접하는 대상자의 경우에는 동사와 형용사 어휘에 대한 상대적으로 낮은 그림상징의 도상성이 수행에 부정적인 영향을 줄 수 있기 때문에, 이들의 수행을 해석할 때 주의가 필요할 수 있다. 가령, 대상자가 청각적으로 제시되는 목표 형용사 ‘더러워요’를 듣고 그 뜻을 알고 있다 하더라도, 해당 그림상징의 품사 특성상 도상성이 낮아 잘못된 그림상징을 선택하거나, 반응시간이 오래 걸리는 양상을 보일 수 있다. 이러한 대상자의 반응에 대하여 임상가는 대상자가 형용사 어휘를 이해하지 못했기 때문에 그림상징을 잘못 선택한 것인지, 어휘는 이해하였으나 그림상징을 제대로 인식하지 못하였기 때문에 잘못 선택한 것인지, 또는 어휘와 그림상징은 모두 이해하였으나 함께 제시된 나머지 7개의 그림상징이 주의력을 분산시켜 오반응을 보인 것인지 구분하기가 쉽지 않게 된다. 또한 (1)그림상징의 크기와 수 평가에서 대상자가 운동능력의 결함으로 8개의 그림상징을 정확하게 선택하는 데에 어려움이 있었다면, 이번 평가에서 운동능력이라는 외생변인이 추가로 작용했을 가능성도 있게 된다. 해석의 어려움을 극복하기 위해서는 외생변인의 작용을 가능한 배제하기 위해 화면에 제시되는 상징의 가짓수를 낮추고, 평가를 통해 처음으로 AAC 그림상징을 접하게 되는 대상자들을 고려하여 도상성이 비교적 높은 어휘를 포함할 필요가 있다.
세 번째로 (3)그림상징 범주화 능력 평가 영역을 살펴보면, 의미범주에 대한 상위 범주화 능력 평가와 문법 범주화 능력 평가로 구분하고 있다. 전자는 제시된 그림상징을 보고 4개의 서로 다른 의미적 상위 범주(음식, 교통수단, 옷, 동물) 중에서 해당하는 범주어의 그림상징을 정확하게 선택할 수 있는지를 평가하는 것이고, 후자는 제시된 그림상징을 보고 문법적 상위 범주어로 지정된 4개(사람, 사물, 장소, 동작)의 그림상징 중에서 선택할 수 있는지를 평가하는 것이다. 여기서 문법 범주화 능력 평가에 포함된 상위 범주어를 살펴보면, 문법적인 특성보다는 의미적 특성을 띠는 어휘가 포함되어 있다는 것을 알 수 있다(예, 사람, 사물, 장소). 이로 인해 대상자가 보이는 오류에 대해 의미적 측면의 어려움으로 해석할지 문법적 측면의 어려움으로 해석할지 경계가 불명확할 수 있다. 아울러 대상자마다 상위 범주어에 대한 지식체계가 다를 수 있으므로(Kim & Oh, 2014), 보다 많은 의미범주를 포함하여 평가를 실시하고, 기능적인 수행을 보이는 범주어를 파악하는 것이 필요하다.
마지막으로 (4)그림상징으로 문장 표현하기 평가에서는 2어 조합부터 4어 조합까지의 문장을 듣고 화면에 제시된 그림상징을 조합하여 표현하도록 구성되어 있다. 이때 대상자에게 제시되는 상징의 개수는 가로 × 세로 6 × 4 또는 8 × 5의 환경이기 때문에 (1)그림상징의 크기와 수 평가에서 적은 개수의 상징을 선택할 수 있는 대상자의 경우에는 (4)번 평가에서의 수행이 저평가될 가능성이 있다. 즉, 상징을 조합하여 문장을 구성할 수 있음에도 불구하고 운동 능력의 결함으로 작은 크기의 상징 선택 시, 의도치 않게 오반응을 보일 수 있다. 아울러 상징평가에서는 대상자의 잠재적인 AAC 의사소통 수준도 파악할 수 있어야 한다(Shin & Park, 2021). 그러나 ‘AAC 그림상징 수행능력 평가’에서는 여러 상징을 조합하여 메시지를 생성하도록 검사 문항이 개발되어 있기는 하나, 국내외 AAC 진단분류 체계에서 제안하고 있는 다양한 의사소통 수준을 파악하기에는 다소 어려움이 있다. Shin과 Park(2021)이 국내외 선행연구를 통합하여 제시한 ‘언어 기반 AAC 진단분류체계(language based AAC diagnostic classification system: LAAC-D)’에 따르면 의사소통 수준은 전의도적 의사소통 단계(Level Ⅰ)와 의도적인 비상징 의사소통 단계(Level Ⅱ), 그리고 의도적인 상징 의사소통 단계(Level Ⅲ)로 구분된다. 대상자가 상징을 사용하여 의사소통하는 Level Ⅲ에서는 한 단어 수준인지(예, 그림상징 [밥] 선택), 2~3개의 상징을 의미적으로 조합하여 표현할 수 있는지 수준인지(예, [엄마]+[밥]), 기능어를 사용하여 문법적인 규칙이 적용된 문장까지 상징 조합을 통해 표현할 수 있는지(예, [엄마]+[랑]+[밥]+[먹어요]) 구분하여 살펴볼 필요가 있다. 평가를 통해 정확한 AAC 의사소통 수준을 진단하여 대상자의 현재와 미래의 의사소통에 필요한 중재 계획을 수립할 수 있도록(Dodd, 2017) 진단분류체계를 고려한 타당성 있는 검사 문항 개발이 필요하다.
이에 본 연구는 국내의 상징 평가 도구의 한계점을 극복하고 검사 문항 및 그림상징에 대한 타당성을 갖춘 AAC 상징 평가 도구(AAC symbol assessment tool: AAC-SAT)를 개발하기 위해 전문가를 대상으로 타당도 검사를 실시하였다. 연구 질문은 다음과 같다.
첫째, AAC-SAT의 하위 평가 영역별 검사 문항의 타당도 점수는 어떠한가?
둘째, AAC-SAT에 포함되는 개별 그림상징과 의미 범주의 그림상징 타당도 점수는 어떠한가?
Ⅱ. 연구 방법
1. AAC-SAT 하위 평가별 문항 구성
AAC-SAT의 하위 평가별 문항 구성은 제 2연구자로 참여한 AAC 분야의 박사학위를 소지한 1급 언어재활사 1인이 진행하였다. 평가 영역별 세부 특징을 살펴보면 다음과 같다. 상징 크기 및 개수 평가에서는 Figure 1과 같이 상징 확인 과제(visual symbol identification)와 상징 판별 과제(visual symbol verification)에서의 수행을 비교할 수 있도록 고안되었다. 두 과제 간의 수행 차이가 클수록 시지각 및 인지 능력이 수행에 미치는 영향이 큰 것으로 볼 수 있으며 중재 계획 시에는 상징 확인 과제에서 보인 수행 결과를 중심으로 AAC 화면을 구성할 수 있다. 즉, 처음부터 격자 디스플레이의 모든 셀을 그림상징으로 채우고 적은 수의 상징을 제시하기보다는 대상자의 연령, 언어발달 수준, 핵심 어휘를 고려하여 점진적으로 상징의 개수를 늘리는 방향으로 접근할 수 있을 것이다. 해당 평가에서는 취학 전 고빈도 어휘로 확인된(K M-B CDI, Pae & Kwak, 2011) ‘딸기’에 해당하는 그림상징을 대상자에게 평가 실시 전에 제시하고 동일한 상징을 확인하거나 판별하도록 안내하기 때문에 본 연구의 타당도 검사에는 포함하지 않기로 하였다.
![Figure 1. Figure 1.](/xml/32094/JSLHD_2022_v31n1_103_f001.jpg)
Two types of the symbol size and number test in the AAC-SAT: (A) is the visual symbol identification test, and (B) is the visual symbol verification test
상징 유형 평가는 대상자가 총 10개의 목표어휘를 3개의 상징 유형, 즉 그림상징, 사진, 글자에 대해 가로 × 세로 2 × 2의 화면에서 정확하게 선택할 수 있는지를 평가하도록 고안하였다. 이때 어휘의 품사에 따라 도상성이 수행에 영향을 미칠 수 있으므로 이를 최소화하기 위해 참조물이 비교적 잘 연상되는 구체명사로만 어휘를 구성하였다(Bloomberg et al., 1990; Shin et al., 2017). 평가 시 제시되는 4개의 보기 문항은 목표어(예, 버스), 목표어와 의미적으로 관련된 어휘(예, 택시), 음운적으로 관련된 어휘(예, 바지), 무관한 어휘(예, 안경)로 구성하여 대상자가 보이는 오류 패턴을 질적으로 분석할 수 있도록 하였다(Figure 2).
![Figure 2. Figure 2.](/xml/32094/JSLHD_2022_v31n1_103_f002.jpg)
An example of the symbol type test in the AAC-SAT: clockwise from the top left, irrelevant 'camera', semantically related 'chick', phonologically related 'sweet potato', and the target word 'cat’
의미범주화 능력 평가에서는 대상자마다 학습된 또는 보유하고 있는 의미범주가 다를 수 있으므로 10개의 의미범주(사람, 신체, 동물, 음식, 의류, 가정용품, 문구류, 탈것, 장소, 동작)에 대하여 각 2개씩, 총 20개 문항을 개발하였다. 의미범주를 나타내는 그림상징은 하나의 개념만을 표상하는 개별 그림상징보다 더 많은 시각정보를 포함하게 되므로 제시되는 문항은 3개로 축소하였다(Figure 3).
상징 의사소통 수준 평가는 평가 결과를 Shin과 Park(2021)의 ‘언어기반 AAC 진단분류 체계(LAAC-D)’에 대응하여 해석할 수 있도록 한 단어 수준, 2~3개의 단어 조합 수준, 문법 규칙을 적용한 단어 조합 수준으로 구분하여 구성하였다. 하위 평가 (1)에서 대상자가 선택하는 상징 수에 제한이 있을 수 있으므로 운동능력의 결함이 수행에 미치는 영향을 최대한 배제하기 위해 상징 수는 8개로 제한하였다. 한 단어 수준에서의 평가 화면이 Figure 4에 제시되어 있다.
2. 어휘 목록 개발
평가에 포함되는 어휘는 연령에 따른 어휘의 친숙도가 수행에 미치는 영향을 최소화하기 위해 취학 전 아동의 고빈도 어휘를 중심으로 문헌을 수집하였다(Lee et al., 2009; Shin & Park, 2020). 아동과 성인의 AAC 핵심어휘 목록을 수립하기 위해 국내 연구를 고찰하여 통합 분석한 Shin과 Park(2020)에 포함된 9편의 문헌 중에서 정상 발달의 취학 전 아동을 대상으로 자발화를 분석한 Cha 등(2014)과 Oh 등(2014)의 연구 2편을 본 연구에 포함하였다. 이와 함께 정상 발달의 취학 전 아동에 대한 표준화된 검사 도구인 한국판 맥아더-베이츠 의사소통발달 평가(K M-B CDI, Pae & Kwak, 2011)의 표현 어휘 목록을 포함하였다.
평가 어휘 목록은 우선 제 1연구자가 위 3편의 문헌에 대해 어휘 중복을 제거하여 총 613개의 1차 어휘목록을 수립하였다. 명사는 376개, 동사는 156개, 형용사는 63개, 부사는 18개로 나타났다. 이어 어휘 품사에 따른 그림상징의 도상성이 수행에 미치는 영향을 최소화하기 위해 형용사와 부사에 해당하는 어휘는 제외하고 추상적인 명사를 제외하여 구체명사(n=289)와 동사(n=155)로 구성된 444개의 어휘 목록을 2차로 수립하였다. 동사의 경우 명사에 비해 도상성이 상대적으로 낮기 때문에(Shin et al., 2017) 상징 유형 평가는 구체명사로 구성하되, 상징 의사소통 수준 평가는 평가 목적상 대상자의 문장 구성 능력을 살펴보아야 하므로 동사를 포함하기로 하였다.
444개의 어휘를 ‘의미범주화 능력 평가’에 포함되는 10개의 의미범주에 따라 분류한 결과 사람 36개, 신체 31개, 동물 41개, 음식 64개, 의류 및 장신구 21개, 가정용품 44개, 문구류 6개, 탈것 14개, 장소 32개, 동작 155개로 구분되었다. 이를 토대로 AAC 분야의 박사학위를 소지한 1급 언어재활사 1인이 하위 평가별 문항을 개발하였다. 타당도 검사가 실시된 하위 평가의 항목 수와 서로 다른 단어 수가 Table 1에 제시되어 있다.
상징 유형 평가에는 총 10개의 어휘가 3개의 상징 유형(그림상징, 사진, 글자)에 대해 동일하게 실시되도록 함으로써 유형 간의 수행을 비교할 수 있도록 하였다. 평가 시에는 10개의 어휘가 동일한 상징 유형 안에서는 무작위로 제시되도록 하여 순서 효과가 미치는 영향을 최소화하기로 하였다. 목표어휘 10개와 함께 의미적, 음운적으로 관련되거나 무관한 어휘가 함께 제시되므로 총 40개의 서로 다른 어휘가 상징 유형 평가에 포함되었다. 목표 어휘와 함께 제시되는 비목표 어휘들은 음절수를 모두 목표 어휘의 음절수에 맞추었으며, 제시되는 단어의 음절수에 따라 목표 상징을 선택하는 수행이 영향을 받는지를 검사자가 질적 분석하도록 하기 위해 1음절 목표 어휘 3개, 2음절 목표 어휘 4개, 그리고 3음절 목표어휘 3개로 구성하였다.
의미범주화 능력 평가에는 10개의 서로 다른 의미 범주에 대해 각 2개씩의 어휘가 포함되도록 하였다. 모든 어휘는 청각적으로 제시될 때 음절수가 수행에 미치는 영향을 배제하기 위해 2음절 단어로 통일하였다.
상징 의사소통 수준 평가에서는 한 단어, 단어 조합, 문법 규칙을 적용한 단어 조합 수준 별로 5개의 문항이 포함되도록 하여, 총 15개의 문항이 구성되었다. 본 하위 평가가 평가의 마지막 단계에서 진행되는 만큼 장시간 평가를 수행해야 하는 대상자의 피로도를 고려하여 문항수를 수준별 5개씩으로 제한하였다. 각 수준별로 4 × 2의 화면에 서로 다른 8개 어휘로 구성된 의사소통판이 제시되므로 총 24개의 어휘가 포함되도록 하였다.
2. 그림상징 선정 및 개발
검사 항목에 대응하는 개별 그림상징 자료는 언어치료 AAC센터 사람과소통(n.d.)에서 개발한 한스피크 상징을 사용하였다. 상징개발자로부터 사용 승인을 득한 후 해당 상징의 검색이 가능한 웹사이트(http://aacexchange.net)에 접속하여 제 1연구자가 상징을 수집하였다. 어휘에 해당하는 그림상징이 복수일 경우 제 1연구자와 제 2연구자의 검토를 거쳐 가장 도상성이 높은 상징으로 최종 선정하였다. 어휘에 해당하는 그림상징이 복수일 경우 제 1연구자와 제 2연구자의 검토를 거쳐 가장 도상성이 높은 상징으로 최종 선정하였다.
의미범주를 나타내는 그림상징은 별도로 제작되어 있지 않은 경우, 한스피크의 개별 그림상징을 사용하여 제 2연구자가 다음의 규칙을 적용하여 개발하였다. (1)해당 의미범주에 포함되는 4개의 개별 그림상징을 묶어서 제작할 것, (2)4개의 개별 상징에는 목표 어휘에 해당하는 그림상징이 포함되지 않도록 할 것, (3)상징크기와 배열 규칙을 10개의 의미범주 그림상징에 대해 동일하게 적용할 것. 위 규칙을 적용하여 개발한 의미범주 상징의 예가 Figure 5에 제시되어 있다. 상징은 Adobe Photoshop 버전 22.1.1을 이용하여 제작하였다.
3. 타당도 검사
상징 유형평가에 대한 검사 문항은 연구자가 설정한 목표 어휘 10개에 대해 음운적, 의미적으로 관련된 어휘 각 1개와 무관한 어휘 1개의 적절성을 평가하도록 구성되었다. 따라서 총 30개의 서로 다른 어휘에 대해 타당도 검사 문항을 개발하였다. 아울러 의미 범주화 능력 평가에 포함되는 10개의 의미범주에 해당하는 각 2개의 어휘 문항에 대한 적절성을 평가하기 위해 총 20개의 타당도 검사 문항을 개발하였다. 마지막으로 상징 의사소통 수준평가에 포함되는 어휘는 한 단어 수준, 2~3개의 단어 조합 수준, 문법규칙을 적용한 단어 조합 수준 별로 구성된 각 5개의 문항, 총 15개 문항에 대해 검사 문항을 개발하였다.
그림상징에 대한 타당도 검사지는 개별 그림상징에 대한 타당도와 의미범주 그림상징에 대한 타당도로 구분하여 구성하였다. 개별 그림상징 타당도 검사에 포함된 그림상징의 개수는 총 70개였고 의미범주 그림상징은 총 10개였다.
모든 검사 문항과 그림상징에 대해 5점 리커트 척도(1점=매우 부적절함, 2점=부적절함, 3점=보통, 4점=적절함, 5점=매우 적절함)로 평가하도록 체크리스트 형태의 타당도 검사지를 개발하였다. 아울러 검사지 문항마다 주관적인 의견이나 개선사항을 자유롭게 기입하도록 하였다.
평가도구에 포함되는 문항과 그림상징에 대한 타당도를 조사하기 위해 관련 분야의 전문가 집단을 대상으로 조사를 실시하였다. 선정 조건은 다음과 같다. (1)언어재활사 1급 자격증을 소지하고 있고, (2)임상 경력이 3년 이상이며, (3)최소 1인에게 AAC 중재를 제공한 경험이 있고, (4)대상자(아동 또는 성인)의 표현언어 증진을 위해 국내 또는 해외 AAC 그림상징을 사용해 본 적이 있는 자로 하였다. 위 조건을 모두 충족하는 언어재활사 21명이 본 연구에 참여하였다. 이들의 인구통계학적 정보는 Table 2에 제시된 바와 같다.
선정 조건을 충족하는 연구참여자에게 구두와 서면으로 연구를 설명하고 연구 동의서에 서명을 득한 후, 문항 타당도 검사지와 그림상징에 대한 타당도 검사지를 이메일로 전송한 뒤, 7일 이내에 이메일로 답변을 수령하는 방식으로 진행하였다.
4. 자료분석 및 통계처리
어휘 및 그림상징에 대한 타당도 분석은 Fehring(1987)이 제시한 내용타당도 인덱스(content validity index: CVI) 계산법 이용하여 각 검사 문항과 그림상징 별 CVI를 산출하였고, 하위 평가 별로 전반적인 문항 타당도를 살펴보기 위해 평균 CVI를 산출하였다.
CVI 산출은 리커트 척도 점수에 가중치를 부여한 후(1점=0, 2점=.25, 3점=.50, 4점=.75, 5점=1.00), 21명의 평균값을 구하여 각 문항별 그리고 그림상징 별 CVI 점수를 산출하였다. 하위 평가 별 평균 CVI는 각 문항의 CVI 점수의 평균을 내어 산출하였다. CVI는 IBM SPSS Statistics 26.0을 사용하여 기술통계 분석하였다.
선행연구에 따라(Fehring, 1987; Seong & Lee, 2011) CVI가 .80 이상인 문항은 타당성을 갖춘 것으로 간주하였고, CVI 값이 .50를 초과하면서 .80 미만인 문항에 대해서는 수정 보완 후 채택하는 것으로 하되, 연구 참여자의 의견과 제언을 참고하기로 하였다. CVI가 .50 이하인 문항에 대해서는 타당도가 낮은 것으로 보고 최종 문항 선택 시 배제하기로 하였다.
Ⅲ. 연구 결과
1. 문항 타당도 검사 결과
전체 검사 문항 65개 모두 CVI는 .80 이상인 것으로 나타났다. 하위 평가별로 살펴보면, 상징 유형 평가의 30개 문항 어휘에 대해 평균 CVI는 .92(SD=.04, Max=.96, Min=.82)로 나타났다(Table 3). 의미범주화 능력 평가에 포함되는 20개 문항의 어휘에 대해서는 평균 CVI가 .97(SD=.08, Max=.99, Min=.88)로 나타났다(Table 4). 마지막으로 상징 의사소통 수준 평가 문항 15개에 대해서는 평균 CVI가 .98(SD=.02, Max=.92, Min=.85)이었다(Table 5).
2. 그림상징 타당도 검사 결과
단일 개념을 이미지로 표상한 개별 그림상징 70개에 대한 평균 CVI는 .94(SD=.06, Max=.99, Min=.67)로 전반적으로 높은 타당도를 보이는 것으로 나타났다. 개별 그림상징 중 CVI가 .80 이상인 것은 67개였으며, CVI가 .50를 초과하고 .80 미만인 그림상징은 3개로 확인되었다. 수정이 필요한 이들 3개의 상징은 아빠(CVI=.79), 호박(CVI=.69), 흙(CVI=.67)이었다.
의미범주를 나타내는 그림상징 10개에 대한 평균 CVI 또한 동일하게 .94(SD=.04, Max=.99, Min=.87)로 나타나 전반적으로 높은 타당도를 보였다. 의미범주 그림상징에서는 CVI가 모두 .80 이상인 것으로 나타났다(Table 6).
Ⅳ. 논의 및 결론
본 연구는 검사 문항과 그림상징에 대한 타당성을 갖춘 국내 AAC 상징 평가 도구인 AAC-SAT를 개발하기 위해 1급 언어재활사를 21명을 대상으로 타당도 검사를 실시하였다.
문항 타당도 검사 결과 상징 유형 평가, 의미범주화 능력 평가, 상징 의사소통 수준 평가에서 평균 .92 이상의 CVI가 확인되었으며 모든 문항에서 .80 이상의 CVI가 확인되었다. Fehring(1987)에 따르면 해당 CVI 점수대는 타당성을 갖춘 것으로 보고 문항의 수정이 불필요한 것으로 해석할 수 있다. 그러나 연구 참여자가 작성한 주관적 의견 중에 상징 의사소통 수준 평가의 일부 문항에 대해서 수정이 필요하다는 의견이 있었고, 연구진이 이를 타당하게 받아들여 해당 문항을 수정하기로 하였다. 수정 결정이 이루어진 문항은 ‘라면 좋아해요’로, ‘라면’이 비록 문헌에서 보고하고 있는 취학 전 아동의 표현어휘 중 하나이기는 하나, 건강상 부적절하다는 의견에 있어 이를 삭제하고 또 다른 취학 전 고빈도 어휘인 ‘포도’를 채택하기로 하였다.
그림상징 타당도 검사에서도 개별 그림상징과 의미범주 그림상징에 대해 평균 CVI .94로 비교적 높게 나타난 것으로 확인되었다. 그러나 일부 개별 그림상징에 대해서는 CVI 값이 .80 미만으로 나타나 그림상징의 수정이 필요한 것으로 나타났다. 각각의 의견을 살펴보면, ‘아빠’를 나타내는 그림상징에 대해서는 콧수염 때문에 아저씨나 할아버지가 연상된다는 의견이 있어, 이를 삭제하기로 하였고, ‘호박’에 대해서는 형태적인 특징이 상징에 덜 반영되어 감이나 귤로 인식될 수 있다는 의견이 있어 상징을 보완하기로 하였다. 마지막으로 상징 유형 평가의 보기 문항으로 사용될 예정이었던 ‘흙’에 대해서는 흙이 쌓여진 흙더미의 그림으로 수정하기로 하였다.
AAC-SAT의 검사 문항과 그림상징의 타당도 값이 비교적 높게 나타남에 따라 추후 AAC 상징 평가에서 대상자가 보이는 반응을 해석할 때에 어휘의 내재적 요인이 미치는 영향을 최소화 하면서 각 하위 영역별 수행 특징을 보다 명확하게 설명하는데 기여할 것으로 보인다. 특히 기존의 ‘AAC 그림상징 수행능력 평가’(Ahn et al., 2021)와 함께 몇몇 제한점을 보완한 AAC-SAT를 제공함으로써 언어재활사와 관련 전문가가 보다 정확하고 용이하게 대상자의 수행을 평가하고 해석할 수 있을 것으로 기대한다.
AAC-SAT의 검사 문항은 ‘AAC 그림상징 수행능력 평가’와 다르게, 상징 크기 및 개수 평가에서 상징 확인과 상징 판별 과제로 분류하여 실시한다는 특징을 갖는다. 아울러 동사와 형용사에 대해 그림상징 부호화 능력을 살펴본 Ahn 등(2021)과 다르게, 서로 다른 상징 유형 조건에서 동일한 10개의 구체명사에 대한 상징 선택 능력을 살펴보도록 고안되었다는 특징을 갖는다. 대상자가 구어로 제시되는 입력 자극에 대응되는 상징을 정확하게 선택하여 표현할 수 있는지를 살펴볼 수 있을 뿐만 아니라(Sutton, 2004; Trudeau et al., 2014), 목표어휘 외에 의미적, 음운적, 무관한 어휘 3개를 보기로 제시함에 따라 상징 선택 과정에서의 오류 반응을 질적 분석할 수 있도록 고안되었다는 점도 또 다른 차이점이라 할 수 있겠다. 단어를 인출하는 과정에서 보일 수 있는 의미적 오류와 음운적 오류에 대한 특징 파악은 특히 후천적 뇌손상으로 인해 언어처리의 효율성이 떨어진 실어증 환자의 청각적 처리능력 결함과 단어인출의 결함을 상징 사용 평가를 통해 간접적으로 파악할 수 있게 해 줄 것으로 기대한다.
반면에 AAC-SAT는 ‘AAC 그림상징 수행능력 평가’에 일부 반영된 품사별 상징 평가 문항을 포함하고 있지 않다는 점을 주지할 필요가 있다. 본 평가의 문항은 처음 AAC 그림상징을 평가단계에서 접하게 되는 대상자의 초기 평가 상황에 가중치를 두고 제작되었기 때문에 도상성의 영향을 최소화할 수 있는 구체명사로만 문항이 구성되었다. 따라서 대상자에 따라서는 사용하고 있는 그림상징에 대해 친숙성을 보인 경우에 한하여, 품사별 상징 평가를 실시하는 것이 의미 있는 자료로 활용될 수 있을 것이다. 이 경우 동사와 형용사에 대한 검사 문항이 개발된 ‘AAC 그림상징 수행능력 평가’를 활용할 수 있겠으나, 다양한 품사를 포함하고 있지는 않으므로, 임상가는 별도의 비구조화된 심화 검사를 고안하여 실시하는 것을 고려할 수 있겠다.
AAC-SAT의 의미 범주화 능력은 ‘AAC 그림상징 수행능력 평가’의 4가지 의미범주를 10개로 확장하여 검사한다는 특징을 갖는다. 그러나 대상자의 피로도를 고려하여 각 범주 별로 2개의 문항만을 포함하도록 고안되었기 때문에, 대상자가 모두 정반응을 보인 의미범주라 하여, 그에 해당하는 하위 단어들을 모두 이해하고 있다고 해석해서는 안 될 것이다. 따라서 의미 범주화 능력 평가에 포함된 20개의 어휘에 대해서는 대상자가 대체로 이해하고 있는 상위어를 확인하는 차원에서 활용할 것을 제안한다. 대상자의 의미범주화 능력을 확인하는 것은 중재 단계에서 AAC 도구에 포함되는 그림상징의 수와 상징 배치방법을 결정하는 데에 중요한 정보를 제공하게 된다. 제한된 크기의 AAC 화면에 수많은 개별상징을 모두 배열하는 것은 물리적으로 불가능하기 때문에 대부분의 AAC 도구들은 상징들을 의미적으로 묶어서 상위 범주어의 폴더 형태로 저장하는 특징을 갖는다(Beukelman & Mirenda, 2013). 따라서 대상자가 범주화 능력을 갖춘 것으로 평가 단계에서 확인되었다면, 중재를 계획하는 단계에서는 의미적으로 구분된 여러 페이지를 구성하여 개별 상징이 포함된 의미범주의 그림상징을 선택하여 해당 페이지에 접근할 수 있도록 도모할 수 있다. 따라서 AAC 중재를 계획할 때에는 대상자가 AAC-SAT의 10개 문항 중에서 정확하게 수행을 보인 의미 범주를 중심으로 페이지를 구성하되, 동일 범주에 속하는 하위 개념어를 확장하고, 더 많은 의미범주를 이해하고 표현할 수 있도록 해야 할 것이다.
마지막으로 AAC-SAT의 상징 의사소통 수준 평가에 포함되는 문항들은 Shin과 Park(2021)의 ‘언어기반 AAC 진단분류 체계(LAAC-D)’에 대응하여 해석할 수 있도록 타당성 있게 고안되었다. 한 단어 수준부터 2~3개의 단어 조합 수준, 그리고 문법 규칙을 적용하여 단어 조합이 가능한 수준까지 15개의 문항을 통해 확인할 수 있도록 하였다. 단어, 구, 문장 수준의 문항을 모두 연령과 상관없이 아동과 성인 모두 친숙하게 알고 있는 어휘로 구성함에 따라 어휘의 습득 연령이나 친숙도가 미치는 영향을 최대한 배제한 상태에서 타당성이 확보된 그림상징을 통해 복잡한 언어표현의 정도를 평가할 수 있도록 하였다. 평가 문항이 각 수준마다 5개로 제한되어 있기 때문에 다양한 의미 관계에 대한 표현 능력이나 다양한 문법적인 기능어의 사용능력을 살펴보는 데에 분명 한계가 있다는 점은 주지할 필요가 있다.
인지, 언어, 시지각, 운동, 자세에 있어서의 어려움을 동반하고 있는 복합적인 의사소통 요구를 지닌 대상자들은 장시간의 평가 과정에 참여하는 데에 어려움이 있을 수 있다. 이를 고려하여 제한된 시간 동안 다양한 영역의 상징 수행 능력을 살펴보도록 고안된 AAC-SAT는 개개인이 필요로 하는 모든 상징 사용 능력을 세세하게 평가하는 데에 제한점이 있을 수 있다. 따라서 임상 현장에서는 필요에 따라 AAC 상징 사용에 대한 심화 검사 항목을 개발하여 보다 세심한 개인 맞춤의 평가가 이루어지도록 할 것을 제안한다.
Reference
-
Ahn, S. Y., Jeong, C. E., Hong, K. H., Park, S., & Yeon, S. J. (2021). Development of a web-based AAC graphic symbol performance test on high-tech AAC devices. AAC Research & Practice, 9(2), 147-174.
[https://doi.org/10.14818/aac.2021.12.9.2.147]
- Beukelman, D. R., & Mirenda, P. (2013). Augmentative and alternative communication: Supporting children and adults with complex communication needs (4th ed.). Baltimore: Paul H. Brookes Pub.
-
Bloomberg, K., Karlan, G. R., & Lloyd, L. (1990). The comparative translucency of initial lexical items represented by five graphic symbol systems. Journal of Speech and Hearing Research, 33(4), 717-725.
[https://doi.org/10.1044/jshr.3304.717]
- Bruno, J. (2010). Test of aided-communication symbol performance. Pittsburgh: Dynavox Meyer Johnson.
-
Cha, J. E., Kim, J. M., Kim, S. J., Yoon, M. S., & Chang, M. S. (2014). Substantives in the vocabulary of typically developing young children. Communication Sciences & Disorders, 19(4), 430-446.
[https://doi.org/10.12963/csd.14191]
- Dodd, J. L. (2017). Augmentative and alternative communication intervention: An intensive, immersive, socially based service delivery model. (1st ed.). San Diego: Plural Publishing.
- Fehring, R. J. (1987). Methods to validate nursing diagnoses. Heart and Lung: Journal of Critical Care, 16(6 I), 625-629.
- Hump Software. (2019). AAC evaluation genie [Mobile app]. Retrieved from http://www.humpsoftware.com/
-
Kim, S., & Oh, G. (2014). The preschooler's verb-usage through semantic categories in the spontaneous speech according to gender. AAC Research & Practice, 2(2), 139-154.
[https://doi.org/10.14818/aac.2014.12.2.2.139]
- Kim, Y. T., Park, E. H., Han, S. K., & Ku, J. A. (2016). Program of the Korean AAC Assessment (KAA) and Intervention (KAI). Seoul: Hakjisa.
-
Kweon, H., & Kim, M. (2019). A review regarding iconicity of graphic symbol systems for augmentative and alternative communication. Journal of Intellectual Disabilities, 21(2), 99-122.
[https://doi.org/10.35361/KJID.21.2.5]
-
Light, J. (1989). Toward a definition of communicative competence for individuals using augmentative and alternative communication systems. Augmentative and Alternative Communication, 5(2), 137-144.
[https://doi.org/10.1080/07434618912331275126]
-
Light, J., & McNaughton, D. (2014). Communicative competence for individuals who require augmentative and alternative communication: A new definition for a new era of communication? Augmentative and Alternative Communication, 30(1), 1-18.
[https://doi.org/10.3109/07434618.2014.885080]
-
Lee, H. R., Chang, Y. K., Choi, Y. L., & Lee, S. B. (2009). Lexical acquisition of Korean infants: Characteristics of early expressive vocabulary. Journal of Speech & Hearing Disorders, 18(3), 65-80.
[https://doi.org/10.15724/jslhd.2009.18.3.005]
-
Oh, J. H., Cha, J. E., Yoon, M. S., Kim, J. M., & Chang, M. S. (2014). Predicates in the vocabulary of typically developing preschoolers. Communication Sciences & Disorders, 19(3), 274-284.
[https://doi.org/10.12963/csd.14168]
- Pae, S., & Kwak, K. C. (2011). Korean MacArthur-Bates Communicative Development Inventories (K M-B CDI). Seoul: Mindpress.
-
Seong, Y., & Lee, Y. (2011). Content validity of transition planning assessment for students with disabilities. The Journal of Special Children Education, 13(4), 83-105. uci:I410-ECN-0102-2012-370-002880591
[https://doi.org/10.21075/kacsn.2011.13.4.83]
-
Shin, S., & Park, D. (2020). A literature review of AAC core vocabulary lists of children and adults. Journal of Speech-Language & Hearing Disorders, 29(1), 71-83.
[https://doi.org/10.15724/jslhd.2020.29.1.071]
-
Shin, S., & Park, H. (2021). A literature review on communication levels to develop language-based augmentative and alternative communication diagnostic classification system in Korea. Audiology and Speech Research, 17(1), 15-28.
[https://doi.org/10.21848/asr.200085]
-
Shin, S., Kim, Y. T., & Park, E. (2017). A study on the verification of AAC graphic symbols focusing on nouns, adverbs, and verbs. Communication Sciences & Disorders, 22(3), 597-607.
[https://doi.org/10.12963/csd.17423]
-
Sutton, A., Morford, J. P., & Gallagher, T. M. (2004). Production and comprehension of graphic symbol utterances expressing complex propositions by adults who use augmentative and alternative communication systems. Applied Psycholinguistics, 25(3), 349–371.
[https://doi.org/10.1017/S014271640400116X]
- The Language Therapy Center AAC People and Communicate (n.d.). Hanspeak. Retrieved from https://www.aacexchange.net
-
Trudeau, N., Sutton, A., & Morford, J. P. (2014). An investigation of developmental changes in interpretation and construction of graphic AAC symbol sequences through systematic combination of input and output modalities. Augmentative and Alternative Communication, 30(3), 187–199.
[https://doi.org/10.3109/07434618.2014.940465]
- Yorkston, K., & Karlan, G. (1986). Assessment procedures. In S. Blackstone (Ed.), Augmentative communication: An introduction (pp. 163-168). Washington: American Speech-Language-Hearing Association.
참 고 문 헌
- 권회연, 김미선 (2019). 보완ㆍ대체의사소통 (AAC) 상징체계 수립을 위한 그림상징 도상성에 관한 고찰. 지적장애연구, 21(2), 99-122.
- 김영태, 박은혜, 한선경, 구정아 (2016). 한국 보완대체의사소통 평가 및 중재 프로그램. 서울: 학지사.
- 배소영, 곽금주 (2011). 한국판맥아더-베이츠의사소통발달평가(K M-B CDI). 서울: 마인드프레스.
- 신상은, 김영태, 박은혜 (2017). AAC 그림상징 판별에 관한 연구: 명사, 부사, 동사를 중심으로. Communication Sciences & Disorders, 22(3), 597-607.
- 신상은, 박다은 (2020). 아동과 성인의 AAC 핵심어휘 목록에 관한 국내 문헌고찰. 언어치료연구, 29(1), 71-83.
- 안서영, 정채은, 홍기형, 박설화, 연석정 (2021). 웹기반 AAC 그림상징 수행능력 평가 시스템 개발. 보완대체의사소통연구, 9(2), 147-174.
- 언어치료 AAC 센터 사람과소통 (n.d.). 한스피크(Hanspeak). https://aacexchange.net
- 오재혁, 차재은, 윤미선, 김정미, 장문수 (2014). 2-5세 일반 아동의 어휘 발달: 용언. Communication Sciences & Disorders, 19(3), 274-284.
- 이희란, 장유경, 최유리, 이승복 (2009). 한국 아동의 어휘 습득: 초기 표현어휘의 특징. 언어치료연구, 18(3), 65-80.
- 차재은, 김정미, 김수진, 윤미선, 장문수 (2014). 2-5세 일반 아동의 어휘 발달: 체언. Communication Sciences & Disorders, 19(4), 430-446.