Korean Speech-Language & Hearing Association(KSHA)

Current Issue

Korean Speech-Language & Hearing Association(KSHA) - Vol. 33 , No. 1

[ ORIGINAL ARTICLE ]
Journal of Speech-Language & Hearing Disorders - Vol. 30, No. 2, pp. 87-97
Abbreviation: JSLHD
ISSN: 1226-587X (Print) 2671-7158 (Online)
Print publication date 30 Apr 2021
Received 27 Feb 2021 Revised 17 Mar 2021 Accepted 28 Apr 2021
DOI: https://doi.org/10.15724/jslhd.2021.30.2.087

비대면 동사 이름대기 검사 도구 개발을 위한 기초 연구: 자극 제시 유형에 따른 비교
최수진1 ; 조은하2 ; 성지은3, *
1이화여자대학교 일반대학원 언어병리전공 박사수료
2이화여자대학교 일반대학원 언어병리전공 박사과정
3이화여자대학교 언어병리학과 교수

Preliminary Study on the Action Naming Test: Online vs. Offline Comparisons by Presentation Type
Sujin Choi1 ; Eunha Jo2 ; Jee Eun Sung3, *
1Major in Communication Disorders, Graduate School, Ewha Womans University, Doctor Course Completion
2Major in Communication Disorders, Graduate School, Ewha Womans University, Doctor’s Course
3Dept. of Communication Disorders, Ewha Womans University, Professor
Correspondence to : Jee Eun Sung, PhD E-mail : jeesung@ewha.ac.kr


Copyright 2021 ⓒ Korean Speech-Language & Hearing Association.
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Funding Information ▼

초록
목적:

본 연구의 목적은 동사 이름대기 검사를 개발을 위한 기초 연구로, 검사 문항을 선정하고 비대면 유무 및 자극 제시 유형(애니메이션 vs. 연속 그림)에 따른 동사 논항 별 수행력의 차이를 비교하고자 하였다.

방법:

검사에 사용될 동사 문항을 선정하기 위하여 국내 동사 관련 논문 및 한국어 어휘 빈도를 참고하여 총 99개의 동사를 1차적으로 선정한 뒤, 검사 문항 일치도 조사를 통해 최종적으로 36개의 문항을 선정하였다. 최종 선정된 동사는 자극 제시 유형에 따라 애니메이션과 연속 그림 자극으로 제작되어 연구에 사용되었다. 총 197명의 정상 청년층 집단은 자극 제시 유형에 따라 100명은 애니메이션 자극, 97명은 연속 그림자극으로 배치되고, 비대면 유무에 따라 대면 및 비대면 집단으로 각각 분류되어 동사 이름대기 검사에 참여하였다.

결과:

동사 논항에 따른 정반응률의 주효과가 통계적으로 유의하였는데, 2항 동사가 1항과 3항 동사에 비해 유의하게 높은 수행력을 보였다. 그 외의 비대면 유무 및 자극 제시 유형에 따른 주효과가 통계적으로 유의하지 않았다. 또한, 대면 및 비대면 집단 간 자극 제시 유형 및 동사 논항에 따른 이차 및 삼차 상호작용이 통계적으로 유의하지 않았다.

결론:

비대면 유무 및 자극 제시 유형은 동사 이름대기 검사 수행력에 영향을 미치지 않았다. 즉, 동사 이름대기 검사는 상황에 따라 비대면 유무 및 자극 제시 유형을 상호교환적으로 사용할 수 있으므로 임상에서의 활용도가 매우 높을 것으로 기대된다. 또한, 국내의 비대면 언어 평가 시스템 구축을 위한 기초 발판을 제공했다는데 큰 의의가 있다.

Abstract
Purpose :

The purpose of this study was to develop an action naming test and to compare the performance of the test according to the assessment modality (online vs. offline) and the stimuli presentation type (animation vs. sequence picture).

Methods:

To select the verb items used in the test, a total of 99 verbs were selected by referring to previous studies. Ultimately, 36 items were selected through the verb agreement study. The 36 verb items were produced by presentation type for animation and sequence picture stimuli. A total of 197 normal young participants were assigned 100 for animation and 97 for sequence picture stimuli and they were again classified into an online and offline group according to the assessment modality. We analyzed the accuracy rate produced by each group in the test.

Results:

The main effect for verb argument was statistically significant, with two-place verbs having a higher rate than one- and three-place verbs. However, there were no significant differences between one- and three- place verbs. In addition, two-way interaction between assessment modality and presentation type, and a three-way interaction between assessment modality, presentation type, and argument were not significant.

Conclusions:

The results show that assessment modality and stimuli presentation type did not affect the performance of the test. We suggested that the action naming test can be used interchangeably with the assessment modality and presentation type of stimuli, making it useful in clinical settings. Our study is also meaningful in providing guidelines for developing an online language assessment system in Korea.


Keywords: Action naming test, online language assessment, assessment modality, presentation type
키워드: 동사 이름대기 검사, 비대면 언어 평가, 언어 평가 방식, 자극 제시 유형

Ⅰ. 서 론

2020년부터 현재까지 코로나바이러스 감염증-19의 전 세계적 확산에 따라 외부 활동에 대한 위험과 불안감이 증가하여, 의료계, 교육 및 사회복지 등 사회 전반적인 영역에서 심각한 영향을 미치고 있다(J. Kim, 2020; S. M. Kim, 2020; Sim, 2020). 한국 정부는 감염병 위기 단계에 따라, 다수의 사람이 모이는 시설을 일시적으로 폐쇄하거나, 방문 자제를 요청하였는데, 이러한 영향은 언어재활 영역으로까지 확대되고 있다. 언어재활이 필요한 대상자들이 사람과의 대면 상황을 피해 병원이나 치료실의 방문을 꺼려 언어 평가와 그에 따른 치료가 지연되고, 적절한 시기를 놓치고 있는 것이다.

대면이 어려운 상황은 언제든지 다시 발생할 수 있으므로, 언어 평가가 비대면으로 실시될 수 있는 방법이 고안된다면, 현재와 같이 대면이 어려운 상황에서도 언어재활 서비스를 제공할 수 있을 것이다. 비대면 언어재활 시스템은 시공간적 제약으로 인해 언어치료실에 방문하지 못하는 대상자들이나 거동이 불편한 노년층 및 신경언어장애 환자 군에게 꼭 필요한 시스템이지만, 국내에서 관련 연구는 매우 제한적이다. 특히 언어 평가는 비대면 시스템으로 구축될 경우, 임상 현장에서 효율적으로 적용될 수 있어(Dekhtyar et al., 2020), 비대면 언어 평가를 위한 국내의 연구가 매우 절실한 상황이다.

국외의 경우에는 언어병리학 분야에서 원격 혹은 비대면 기술에 관한 연구가 꾸준히 이루어지고 있고(Cherney & Van Vuuren, 2012; Duffy et al., 1997), 임상에서 시행한 비대면 원격 평가에 대한 연구 결과들이 보고되고 있다. 2016년 American Speech-Language Hearing Association (ASHA)의 설문 조사에 따르면, 비대면 원격 시스템을 활용하는 치료사 중, 약 60.7%가 비대면 언어 평가를 실제 임상에서 시행하고 있다고 밝혀, 국외에서는 국내보다 이전부터 비대면 시스템을 이용한 언어 평가가 활발하게 진행되고 있다는 것을 알 수 있다.

Dekhtyar 등(2020)은 화상 회의 관리(video conference administration) 시스템을 통해 언어 평가를 실시하고, 그 결과에 대해 보고하였다. 그들은 신경언어장애군 평가에 대표적으로 사용되는 Western Aphasia Battery-Revised (WAB-R)를 대면 및 비대면 상황에서 실시하고, 평가 결과에 대한 타당성 및 유효성에 대해 살펴보았다. 총 20명의 실어증 환자를 대면 집단과 Go To Meeting(2018) 또는 Zoom(2018) 플랫폼을 이용한 비대면 집단으로 나누어 연구하였다. 그 결과, 대면 및 비대면 상황의 평가 결과 간 높은 상관관계를 보였고, 비대면 유무에 따른 언어 영역별 점수에 유의한 차이를 보이지 않았다. 또한, 대부분의 참가자들은 비대면 평가에 대한 높은 만족도를 보였다. Guo 등(2017)은 아이패드 기반 실어증 평가 애플리케이션 ‘Access2Aphasia’를 사용하여 비대면 상황에서 실시간 원격 평가를 실시하였다. 총 30명의 실어증 환자는 각각 비대면 평가 집단과 대면 평가 집단으로 나뉘어 실험에 참여하였다. 그 결과, 두 집단 간 평가 결과에 유의한 차이를 보이지 않았으며, 추가로 시행한 만족도 설문에서 두 집단 모두 높은 만족도를 보였다. 또한, 실어증 환자 32명을 대상으로 표준화 검사인 Boston Diagnostic Aphasia Examination (BDAE-3)과 Boston Naming Test (BNT)를 대면과 인터넷 기반 비대면 원격 시스템을 이용하여 평가한 결과, 두 집단 간 평가 점수에 유의한 차이를 보이지 않았고, 참여자들은 비대면 원격 시스템에 대한 높은 만족도를 보였다고 보고하였다(Theodoros et al., 2008). 국외의 연구 결과들을 종합해보면, 신경언어장애군을 대상으로 시행하는 언어 평가는 대면 및 비대면 상황에서 상호교환적으로 사용될 수 있음을 시사한다.

최근 들어 국내에서도 대면 및 비대면 시스템의 언어재활에 대한 시도가 이루어지고 있지만, 관련 연구 결과에 대한 보고는 거의 없다. 그러므로 본 연구에서는 비대면 언어 평가 시스템 구축을 위하여, 대면 및 비대면 상황에서 동사 이름대기 검사(action naming test)의 수행력 차이를 비교하고자 한다.

동사는 사물 또는 사람의 동작이나 작용을 나타내는 품사로서 논항 구조(argument structure)를 갖는다. 논항(argument)이란, 동사나 형용사가 문장 내에서 필수적으로 취하는 성분으로, 서술어가 문장 내에서 의미를 성립시키기 위해 요구되는 성분이다(Nam, 2007). 예를 들어 1항 동사인 ‘걷다’의 경우, 문장의 의미가 성립되기 위해 주격 논항 1개가 필요하다. 반면 2항 동사 ‘신다’의 경우에는 ‘누가’ 신는지에 해당하는 주격과 ‘무엇을’ 신는지에 해당하는 대격이 필요하여 2개의 논항이 필수적으로 요구된다. 3항 동사 ‘주다’의 경우, ‘누가’에 해당하는 주격 논항과, ‘무엇을’에 해당하는 대격 논항, ‘누구에게’에 해당하는 여격 논항이 필요하다. 동사가 가진 특성은 한국어의 언어 특징을 가장 잘 반영하고 있으며, 노년층의 언어 처리 능력 저하를 살펴볼 수 있는 매우 중요한 성분이기 때문에(Sung & Kwag, 2012), 국내에서도 표준화된 검사 도구 개발이 필요하다.

동사 이름대기 검사에 사용될 자극은 동사의 특성을 가장 잘 반영할 수 있어야 한다. 명사는 참조하는 대상이 명확하므로, 단순한 한 컷의 그림으로 제시할 수 있어 자극 제시 방법이 간단하고 동사에 비해 상대적으로 용이하다. 그러나 동사는 순서를 가진 일련의 행위가 연속적으로 구성되는 특징이 있으므로, 제시 자극을 통해 동작이나 움직임의 방향 및 범위가 명확하게 나타나야 한다(Gross et al., 1991). 다시 말해, 동사를 한 컷의 단순한 그림 자극으로 제시하기에는 한계가 있으므로(Fujisawa et al., 2011), 여러 컷의 연속 그림이나 애니메이션 자극이 필요하다.

동사 이름대기 검사 자극에 대한 기존의 선행 연구들을 살펴보면, 단순한 한 컷의 이미지 그림을 통해 제시하거나(Choi et al., 2013; Druks, 2002; Zingerser & Berndt, 1990), 애니메이션 또는 동영상(d’Honincthun & Pillon, 2005; Kim et al., 2013; Ouden et al., 2009; Pashek & Tompkins, 2002; Sung & Kwag, 2012)을 이용하여 자극을 제시하였다. 동사를 제시하는 유형은 노년층 및 신경언어장애군의 수행력에 영향을 미칠 수 있다. 치매 환자의 경우에는 동사 이름대기 검사에서 그림보다 애니메이션을 제시하였을 때, 더 높은 정반응률을 보였다(d’Honincthun & Pillon, 2005). 노년층의 경우, 동사 논항에 따라 수행력의 차이를 보였는데, 1항 동사는 애니메이션 자극에서 수행력이 증가한 반면, 3항 동사는 그림자극에서 수행력이 향상되었다(Choi & Sung, 2014). 이러한 차이는 실어증 집단의 연구에서도 나타났는데, 애니메이션 자극을 제시할 경우 논항에 따른 수행력의 차이를 보였다(Yoon & Sung, 2020). 이와 같이 동사 이름대기 검사는 어떠한 자극을 제시하는지에 따라 수행력의 차이를 보일 수 있어, 자극 제시 유형에 따른 비교 연구가 필요하다.

본 연구에서는 동사 수행력을 살펴볼 수 있는 동사 이름대기 검사 개발을 위한 기초연구로서 검사에 사용될 문항을 선정하고, 선정된 문항을 각각 애니메이션 자극과 연속 그림자극으로 제작하여 그 수행력의 차이를 비교하고자 하였다. 또한, 개발된 동사 이름대기 검사를 비대면 시스템으로 활용하기 위하여 대면 및 비대면 상황에서의 유의한 차이가 있는지 알아봄으로써 검사 도구의 유효성을 확인하고자 하였다.


Ⅱ. 연구 방법
1. 예비 실험: 검사 문항 개발
1) 1차 동사 문항 선정

이 연구는 이화여자대학교 생명윤리위원회(Institutional Review Board: IRB)로부터 사전승인을 받은 후 실시되었다(No. 116-1). 동사 이름대기 검사에 사용될 동사 문항을 선정하기 위하여 국내 동사 관련 연구 6편(Choi & Sung, 2014; Hyun et al., 2003; Kim et al., 2004; Kim, 2006; Kwag et al., 2014; Sung & Kwag, 2012)에 제시된 동사 목록과 『현대 한국어의 어휘 빈도』 (Seo, 1998)를 참고하여 동사 목록을 수집하였다. 그런 다음, 중복되는 동사, 감정이나 심리 상태를 나타내는 동사는 제외하였고, 명사에 ‘-하다’가 결합한 형태(예, 청소하다)의 ‘하다’ 동사도 제외하였다.

그 결과, 총 99개의 동사 문항이 1차로 선정되었으며, 각 동사는 2~4음절로 이루어졌고, 논항에 따라 1항 동사 22개, 2항 동사 48개, 3항 동사 29개로 구성되었다. 동사는 문장의 의미가 성립되기 위해, 필요한 논항의 개수에 따라 1항, 2항, 3항 동사로 나뉘는데(Nam, 2007), 1항 동사는 문장 내에서 ‘누가’에 해당하는 주격 논항 1개가 필요한 동사이다. 2항 동사는 주격과 ‘무엇을’에 해당하는 대격 논항이 필요하고, 3항 동사는 주격, 대격과 ‘누구에게’에 해당하는 여격 논항이 필요하다. 본 연구에서는 이러한 논항의 기준에 따라 동사를 1항, 2항, 3항으로 분류하고 수행력의 차이를 비교하였다.

1차로 선정된 동사 문항에 대한 논항별 예시는 Table 1에 제시하였고, 전체 동사 문항은 Appendix 1에 제시하였다.

Table 1. 
Examples of verb items initially selected
Argument Verb item
One-place cry
Two-place kick
Three-place throw

2) 애니메이션 자극 제작

동사를 애니메이션 자극으로 제작하기에 앞서, 각 동사에 적절한 논항을 확인하기 위하여 사전 설문 조사를 실시하였다. 설문에 참여한 대상자는 평균 연령 27.4세의 언어병리학 석사과정 대학원생과 정상 청년층 총 39명(남자 12명, 여자 27명)이었다. 연구자는 참여자에게 목표 동사를 제시하고, ‘누가’, ‘무엇을’, ‘누구에게’ 또는 ‘어디에’를 포함한 문장을 작성하도록 하였다. 이때, ‘누가’에 해당하는 행위자의 경우, ‘사람/여자/남자/’등의 일반적인 주어보다는 구체적으로 동사 및 대상과 관련된 행위자를 작성하도록 지시하였다. 설문 결과를 바탕으로 목표 동사별 가장 많이 산출된 논항을 바탕으로 예시 문장을 구성하여, 전문 업체에 애니메이션 제작을 요청하였다. 애니메이션 자극은 노년층에게 가장 가시성이 좋은 검정색 선화로 구성되었고(Choi et al., 2020), 혼동을 줄 수 있는 불필요한 배경이나 사물은 포함되지 않았다. 또한, 방향성을 나타내는 경우(예, 걷다, 기다, 뛰다, 열다 등), 한 방향(one way)으로 동사를 표현하여 자극의 혼동을 줄였다. 애니메이션 자극은 6~48개의 프레임으로 구성된 GIF 파일로 제작되었다.

3) 검사 문항 일치도 조사

1차적으로 선정된 99개의 애니메이션 자극 중 최종적으로 동사 이름대기 검사의 문항으로 사용될 동사를 선정하기 위하여 청년층을 대상으로 검사 문항 일치도 조사(agreement study)를 진행하였다. 검사 문항 일치도 조사란, 동사 애니메이션 자극을 제시하고, 목표 동사와 참여자가 산출한 동사와의 일치도를 알아보기 위한 실험이다.

본 실험에는 청년층(만 18~39세) 101명이 참여 의사를 밝혔으며, 대상자의 주관적 기억장애 심각도를 평가하는 주관적 기억감퇴 설문(subjective memory complaints questionnaire: SMCQ, Youn et al., 2009)의 기준에 충족하지 못한 1명을 제외한 총 100명(남자 21명, 여자 79명)이 참여하였다. 모든 참여자는 기본적인 건강 상태를 묻는 건강 선별 설문지(health screening questionnaire: HSQ, Christensen et al., 1991) 결과, 뇌졸중, 외상성 뇌손상, 고혈압 등의 병력이 없고, 우울증 및 인지 언어장애가 없는 자를 대상으로 하였다.

100명의 대상자는 애니메이션 자극을 보고, ‘지금부터 움직임이나 동작을 나타내는 영상을 보여드리겠습니다. 영상을 잘 보시고 어떠한 동사를 표현하고 있는지 말씀해주세요.’라는 지시문과 함께 실험에 참여하였다. 제시된 애니메이션 자극은 논항에 관계없이 무선 배열하였고, 한 페이지에 1개의 동사가 각각 1회씩만 재생되는 형태로 제작되었고, 대상자가 재요청할 경우 최대 1회까지만 추가 재생하였다. 총 100명의 대상자는 검사자와 직접 대면한 상황에서 검사를 수행하는 대면 집단 46명(남자 10명, 여자 36명)과 54명의 비대면 집단(남자 11명, 여자 43명)으로 무선 할당되어 실험에 참여하였다. 비대면 집단은 모바일 혹은 컴퓨터를 사용하여 웹 기반 화상 시스템인 줌(Zoom) 애플리케이션에 접속하여 검사에 참여하였다. 검사자는 화면 공유 기능을 통해 애니메이션 자극을 제시하였고, 대상자는 검사자와 비대면 상태에서 동사 이름대기를 실시하였다. 집단에 상관없이 애니메이션 자극은 10인치 이상의 태블릿PC 혹은 노트북을 통해 대상자에게 제시되었다.

연구자는 검사 문항 일치도 조사에서 100명의 참여자가 산출한 동사를 전사하여 동사 이름대기 일치율(action naming agreement rate)을 계산하였다. 동사 이름대기 일치율이란, 목표 동사와 실제 참여자들이 산출한 동사와의 일치율을 백분율로 계산한 값이다. 동사 이름대기 일치율을 계산하는 방법은 다음과 같다.

  목표 동사를 산출한 대상자 수  전체 대상자 수×100

예를 들어 2항 동사 ‘깎다’를 보고 총 100명의 대상자 중에서 99명이 ‘깎다’라고 산출한 경우는 ‘(99/100) × 100’으로 계산하여 일치율 99%로 산정하였다. 그러나 특정 목표 동사에서 동사 이름대기 일치율이 30% 미만일 경우에는 목표 동사를 수정하였다. 예를 들어 3항 동사 ‘깔다’의 경우, 목표 동사로 선정되었으나, 검사 문항 일치도 조사에서 참여자들의 70% 이상이 해당 애니메이션을 보고 ‘펴다’로 산출하였기 때문에 목표 동사를 ‘깔다’에서 ‘펴다’로 대체하였고, 동사 이름대기 일치율 역시 ‘펴다’를 기준으로 계산하였다.

4) 최종 문항 선정

동사 이름대기 검사에 사용될 최종 동사 문항 선정을 위해 첫 번째로, 집단에 상관없이 논항 별 동사 이름대기 일치율을 높은 순서대로 정렬하였다. 두 번째로, 논항 이동이 나타난 경우를 1차적으로 선별하여 제외하였다. 예를 들어, 1항 ‘끓다’와 2항 ‘끓이다’의 경우, 대상자들의 40% 이상이 논항이 이동된 형태(예, 끓다 → 끓이다, 끓이다 → 끓다)로 혼용하여 산출하였으므로 두 개의 동사를 모두 제외하였다. 세 번째로, 동사 ‘찍다’와 ‘찢다’의 경우 조음의 유사성으로 인해 반응 기록에 혼동을 줄 수 있으므로 한 가지의 동사만 채택하였다. 네 번째로, ‘일어나다-일어서다’, ‘안다-안아주다’, ‘바르다-발라주다’ 등과 같이 동사의 원형에 보조동사가 결합한 형태는 모두 제외하였다. 마지막으로 상대적인 방향성을 가진 동사(예, 열다-닫다, 입다-벗다)는 두 가지 중 동사 이름대기 일치율이 높은 동사를 선정하였다.

그 결과, 최종적으로 1항 동사 11개, 2항 동사 13개, 그리고 3항 동사 12개로 총 36개의 동사 문항을 선정하였다. 모든 동사 문항은 2~3음절로 구성되었으며, 90~100% 사이의 높은 동사 이름대기 일치율을 보였다.

(1) 집단 간 동사 문항 일치도 비교

대면 및 비대면 집단 간 최종 선정된 동사 문항 36개가 동일한 지 살펴보기 위하여, 두 집단 간 선정 동사가 서로 일치할 경우를 1, 일치하지 않을 경우를 0으로 코딩하여 비교하였다. 그 결과, 두 집단 간, 일치도가 100%로 최종 선정된 동사 문항이 동일하였다.

또한, 두 집단 간 최종 선정된 36개의 동사 이름대기 일치율의 차이를 보이는지 살펴보기 위하여, PASW(PASW statistics 25.0, SPSS Inc.)를 사용하여, 대응표본 t-검정을 유의수준 .05에서 실시하였다. 그 결과, 집단 간 선정된 36개의 동사 문항 이름대기 일치율의 차이가 통계적으로 유의하지 않았다(t(35)=.790, p>.05).

최종 선정된 검사 문항 및 집단 별 동사 이름대기 일치율에 대한 정보는 Appendix 2에 제시하였다.

(2) 논항 별 단어 빈도 비교

논항 별 동사의 단어 빈도(word frequency)에 유의한 차이가 있는지 알아보기 위하여, 일원 분산분석(one-way ANOVA)을 유의 수준 .05에서 실시하였다. 동사 빈도는 꼬꼬마 세종 말뭉치 활용 시스템(Lee et al., 2010)를 사용하여 한국어 문어 및 구어 말뭉치에서 해당 동사가 사용된 횟수를 기준으로 조사하였다. 그 결과, 논항 별 동사 빈도는 통계적으로 유의한 차이가 없었다(F(2, 35)=.543, p>.05). 논항 별 동사 빈도의 평균값에 대한 정보는 Table 2에 제시하였다.

Table 2. 
Verb frequency comparison by the arguments
One-place Two-place Three-place
Mean 2879.09 3094.85 2122.42
SD 788.82 849.91 312.35
Note. SD=standard deviation.

2. 본 실험
1) 검사 대상

본 연구의 최종 목적은 비대면 유무 및 자극 제시 유형에 따른 동사 이름대기 검사 수행력 차이를 비교하는 것이다. 이를 위해 동사 이름대기 검사를 대면 및 비대면 방식으로 나누고, 제시 자극 유형을 애니메이션과 연속 그림으로 제작하여 본 실험을 진행하였다.

본 실험에 참여한 대상자는 검사 문항 선정 과정에 참여한 100명과 새롭게 모집한 97명으로 총 197명이 참여하였다.

새롭게 모집된 청년층(만 18~39세) 97명은 기존에 참여한 100명의 참여 기준과 동일하게, SMCQ 결과, 주관적 인지장애를 호소하지 않으며, 건강 선별 설문지 결과, 인지 및 언어장애와 연관된 신경 및 정신과학적 병력이 없는 자를 선정하였다.

기존에 참여한 100명은 모두 애니메이션 자극을 통해 검사에 참여하였다. 그러나 본 연구의 목적대로 자극 제시 유형에 따른 수행력 차이 비교를 위해, 새롭게 모집된 97명은 모두 연속 그림 자극으로 제시하여 검사를 실시하였다. 애니메이션 자극으로 검사를 한 집단과 새롭게 모집되어 연속 그림 자극으로 검사에 참여한 집단 간 연령(F(1, 196)=.052, p>.05) 및 교육년수(F(1, 196)=.000, p>.05)에는 통계적으로 유의한 차이를 보이지 않았다. 두 집단 간의 기술통계 정보는 Table 3에 제시하였다.

Table 3. 
Descriptive information of groups
Animation
groupa (SD)
Sequence
groupb (SD)
F p
Gender (male : female) 21 : 79 26 : 71
Age 26.72 (4.23) 26.59 (3.92) .052 .820
Education years 15.33 (1.54) 15.33 (1.97) .000 1.00
Note. Values are presented as mean (SD).
an=100, bn=97.

2) 검사 자극

자극 제시 유형에 따라 애니메이션과 연속 그림 자극이 본 실험에 사용되었다.

(1) 애니메이션 자극. 최종 동사 문항으로 선정과정에서 사용된 36개의 애니메이션 파일을 그대로 사용하였다.

(2) 연속 그림 자극. 동사 애니메이션 자극 프레임 중에서 동사의 움직임을 명확하게 대표할 수 있는 5컷을 선택하여 동일한 가로 선상에 연속적으로 배열하여 제작하였다. 제작된 연속 그림 자극은 본 연구에 대한 정보를 알지 못하는 언어병리학 전공 박사 과정 학생 3인에게 제시하여, 동사 이름대기 일치율을 비교한 결과 100%로 일치하였다. 애니메이션과 연속 그림자극의 예시는 Figure 1에 제시하였다.


Figure 1. 
Examples of stimuli by the arguments

3) 검사 절차 및 방법

연구 참여자들은 자극 제시 유형에 따라 검사 자극을 애니메이션과 연속 그림자극으로 나누었고, 동시에 비대면 유무에 따라 대면 및 비대면 방식으로 나누어 검사를 실시하였다. 모든 대상자의 반응은 검사자에 의해 전사되었고, 동사 이름대기 검사의 정반응률(accuracy rate)을 계산하여 수행력 차이를 비교하였다.

(1) 대면 검사. 검사자는 대상자와 직접 대면한 상태에서 10인치 이상의 태블릿PC 혹은 13인치 이상의 노트북을 통해 자극을 제시하여 검사를 진행하였다.

(2) 비대면 검사. 검사자 및 연구 참여자들은 10인치 이상의 태블릿PC 혹은 13인치 이상의 노트북을 사용하여 웹 기반 화상 시스템인 줌 애플리케이션에 접속하여 검사에 참여하였다. 검사자는 파워포인트 파일을 화면 공유 기능을 통해 대상자에게 보여주고, 대상자는 동사 이름대기 검사를 실시하였다.

애니메이션 자극 집단에서 대면 및 비대면 집단 간 연령(F(1, 99)=1.286, p>.05) 및 교육년수(F(1, 99=1.638, p>.05)에 통계적으로 유의한 차이가 없었고, 연속 그림 집단에서도 대면 및 비대면 집단 간 연령(F(1, 96)=.296, p>.05) 및 교육년수(F(1 ,96)=1.319, p>.05)에 통계적으로 유의한 차이가 없었다. 자극 제시 유형에 따른 대면 및 비대면 집단 간 기술통계 정보는 Table 45에 각각 제시하였다.

Table 4. 
Descriptive information of animation group
Offline
groupa (SD)
Online
groupb (SD)
F p
Gender (male : female) 10 : 36 11 : 43
Age 27.23 (3.98) 26.27 (4.41) 1.286 .260
Education years 15.33 (1.54) 15.33 (1.97) 1.638 .204
Note. Values are presented as mean (SD).
an = 46, bn = 54.

Table 5. 
Descriptive information of sequence group
Offline
groupa (SD)
Online
groupb (SD)
F p
Gender (male : female) 8 : 20 18 : 51
Age 26.92 (3.06) 26.44 (4.22) .296 .588
Education years 15.67 (1.70) 15.18 (1.97) 1.319 .254
Note. Values are presented as mean (SD).
an = 28, bn = 69.

3. 결과처리

동사 이름대기 검사에서 비대면 유무(대면 vs. 비대면)와 자극 제시 유형(애니메이션 vs. 연속 그림)에 따른 논항 별 정반응률의 차이를 알아보고자, PASW(PASW statistics 25.0, SPSS Inc.)를 사용하여, 삼원 혼합 분산분석(three-way mixed ANOVA)을 유의 수준 .05에서 실시하였다. 이 때, 독립변수는 비대면 유무, 자극 제시 유형, 동사 논항으로 설정하였고, 종속 변수는 동사 이름대기 검사의 정반응률로 설정하였다.


Ⅲ. 연구 결과

대면 및 비대면 집단 간 자극 제시 유형(애니메이션 vs. 연속 그림) 및 동사 논항(1항 vs. 2항 vs. 3항)에 따른 정반응률에 차이가 있는지 살펴보기 위하여, 삼원 혼합 분산분석을 실시하였다.

그 결과, 비대면 유무(F(1, 33)=.951, p>.05) 및 자극 제시 유형(F(1, 33)=1.988, p>.05)에서의 주효과는 통계적으로 유의하지 않았다. 반면 동사 논항의 주효과는 통계적으로 유의하였다(F(1, 33)=3.414, p<.05). 이에 따라 LSD 사후검정을 통하여 주효과에 대한 비교를 실시한 결과, 정반응률의 평균값은 2항 98.89(SD=.714), 1항 96.59(SD=.776), 3항 96.55(SD=.743)로 2항 > 1항 > 3항 순으로 나타났다. 2항과 1항, 2항과 3항 간의 정반응률의 차이는 통계적으로 유의하였으나(p<.05), 1항과 3항 간 정반응률의 차이는 통계적으로 유의하지 않았다(p>.05). 그 밖에 이차 및 삼차 상호작용은 나타나지 않았다.

대면 및 비대면 집단 간 자극 제시 유형과 동사 논항에 따른 정반응률에 대한 정보는 Table 6에 제시하였고, 이에 따른 사후검정 결과는 Figure 2에 제시하였다.

Table 6. 
Comparison of accuracy rate between offline and online group by presentation types
Presentation types Arguments Offline
group (SD)
Online
group (SD)
Animation One-place 97.04 (4.54) 95.02 ( 8.4)
Two-place 98.62 (3.11) 98.00 (2.93)
Three-place 95.24 (4.65) 96.77 (3.22)
Sequence One-place 97.04 (2.62) 96.78 (3.33)
Two-place 99.50 ( .95) 99.42 ( .91)
Three-place 97.46 (2.91) 96.73 (2.64)
Note. Values are presented as mean (SD).


Figure 2. 
Result of post-hoc analysis on the main effect of the arguments of the verbs


Ⅳ. 논의 및 결론

코로나바이러스 감염증-19로 인하여 비대면 시스템을 활용한 언어 평가 수요가 급증함에 따라, 비대면 동사 이름대기 검사 개발을 위한 기초 연구를 실시하였다. 우선 동사 이름대기 검사에 사용될 동사 문항을 선정하고, 비대면 유무(대면 vs. 비대면)에 따른 수행력을 비교하고자 하였다. 또한, 움직임을 나타내는 동사의 특성을 고려하여 검사 자극을 애니메이션과 연속 그림으로 제작하여 검사 자극 간 정반응률의 차이를 살펴보고자 하였다.

우선, 동사 이름대기 검사에 사용될 동사 문항을 선정하기 위하여, 국내 동사 관련 논문들 및 한국어 어휘 빈도 자료를 토대로 총 99개의 동사를 1차 예비 선정하였다. 선정된 99개의 동사는 애니메이션 자극으로 제작하였고, 100명의 청년층을 대상으로 검사 문항 일치도 설문 조사를 하였다. 이 설문을 통해 99개의 동사에 대한 동사 이름대기 일치율을 계산하여, 90-100%의 비율을 보이는 동사 36개(1항 동사 11개, 2항 동사 13개, 3항 동사 12개)를 최종 검사 문항으로 선정하였다.

최종 선정된 36개의 동사를 바탕으로 비대면 유무와 자극 제시 유형에 따라 유의한 차이가 있는지 알아보기 위하여, 본 실험을 실시하였다. 청년층 총 197명을 애니메이션 자극과 연속 그림 자극의 두 가지 유형으로 나누고, 대면 및 비대면 집단으로 나누어 동사 이름대기 검사를 실시하였다.

그 결과, 비대면 유무 및 자극 제시 유형에 따른 동사 이름대기 검사 수행력의 유의한 차이를 보이지 않았다. 이러한 결과는 대면 및 비대면 방법에 따른 언어 평가 결과에서 유의한 차이를 보이지 않는다는 선행 연구 결과와도 일치한다(Dekhtyar et al., 2020; Theodoros et al., 2008). 하지만 애니메이션 및 연속 그림 자극에 따른 동사 이름대기 검사 결과를 살펴보면, 기존의 선행 연구들에서는 자극 제시 유형에 따라 이름대기 수행력의 차이를 보인 반면(Choi & Sung, 2014; d’Honincthun & Pillon, 2005; Yoon & Sung, 2020), 본 연구에서는 유의한 차이를 보이지 않았다. 이는 연구 참여 대상에 대한 특성의 차이로 해석할 수 있는데, 기존의 선행 연구들은 인지 능력에 손상이 있는 치매 및 실어증 등의 신경언어장애군을 대상으로 하거나, 노화에 따른 수행력의 차이를 살펴보았다. 그러나 본 연구는 정상 청년층만을 대상으로 하였기 때문에, 전반적인 수행력이 높았을 것으로 해석할 수 있다. 그러므로 추후 노화 및 신경언어장애군 집단에서의 동사 이름대기 검사를 실시하고 비대면 유무 및 자극 제시 유형에 따른 수행력 차이를 비교할 필요가 있다.

본 연구에서는 동사 논항에 따른 수행력의 차이를 비교하였는데, 그 결과 동사 논항의 주효과가 통계적으로 유의하였다, 논항별 정반응률은 2항, 1항, 3항 순으로 높게 나타났고, 2항이 1항 및 3항에 비해 유의하게 높았지만, 1항과 3항 동사 간의 정반응률에는 유의한 차이가 없었다. 2항 동사의 경우, 정반응률이 100%인 경우가 다른 논항의 동사에 비해 빈번하게 나타난 점에 기인한 것으로 해석할 수 있다. 하지만 본 연구는 전반적으로 검사 수행력이 좋은 정상 청년층만을 대상으로 실시하였기 때문에, 청년층의 결과만으로는 논항에 따른 차이를 일반화하기에는 한계가 존재한다. 그러나 본 연구는 비대면 언어 평가 개발을 위한 기초 연구이므로, 후속 연구를 통해 다양한 연령층과 신경언어장애군을 대상으로 연구를 실시하여 논항 별 정반응률을 비교할 필요가 있다. 본 연구에서 나타난 논항 별 수행력의 차이는 선행 연구들과 부분적으로 일치하는데, Yoon과 Sung(2020)의 연구에 따르면 실어증 환자와 정상 성인 모두 2항, 1항, 3항 순으로 높은 수행력을 보였으며, 정상 성인 집단은 논항 별로 동사 이름대기 수행력에 유의한 차이가 없었으나, 실어증 환자 집단은 2항 동사와 3항 간 유의한 차이가 나타났다고 보고하였다. 또한 Sung(2016) 연구에서도 실어증 환자와 정상 성인 모두 3항 동사에서 가장 낮은 수행력을 보였으며, 정상 성인 집단에서 논항 별 동사 이름대기 수행력에 유의한 차이를 보이지 않았으나, 실어증 환자 집단에서는 2항 동사와 3항 동사 간 유의한 차이를 보인다고 보고하였다. 본 연구 결과에서도 2항, 1항, 3항 순으로 높은 수행력을 보이고, 2항 동사와 3항 동사 간 유의한 차이를 보인다는 점에서 부분적으로 일치한다.

종합해보면, 대면 또는 비대면 방법에 따른 동사 이름대기 검사 수행력에 차이가 없고, 동시에 애니메이션 자극이나 연속 그림 자극 중 어떠한 자극을 제시해도 검사 수행력에는 차이가 없었다. 그러므로 본 동사 이름대기 검사는 상황이나 환경에 따라 대면 또는 비대면 중 대상자에게 가장 적절한 방법을 선정하여 검사를 수행할 수 있고, 마찬가지로 애니메이션과 연속 그림 자극 중 상황에 따라 상호 교환적으로 사용될 수 있기 때문에 임상에서의 활용도가 매우 높을 것으로 기대된다.

또한, 본 연구는 국내의 비대면 언어 평가 시스템 구축을 위한 기초 연구로서, 이를 토대로 언어재활 분야에서 다양한 플랫폼을 이용한 연구가 진행될 수 있는 발판을 제공했다는 데 큰 의의가 있다. 코로나바이러스 감염증-19로 인해 사람과 사람 간의 대면이 어려운 상황은 추후 언제든지 다시 발생할 수 있다. 비대면 언어 평가 개발의 기초 연구를 통해, 언어치료 분야에서도 비대면 시스템의 구축이 자리 잡는다면, 시기적 영향을 받지 않고 적절한 언어 평가 및 치료를 제공할 수 있을 것이다. 뿐만 아니라 거동이 불편한 노년층 또는 환자 군이나, 거리상으로 접근성에 제약이 있는 대상자들에게 다양한 기회를 제공할 수 있을 것이다.

그러나 본 연구는 정상 청년층만을 대상으로 한 기초 연구이기 때문에, 위와 같은 결과를 노년층 혹은 신경언어장애군 집단에게 일반화하기에는 어려움이 있다. 그러므로 향후 노년층 및 신경언어장애군 집단을 대상으로 자극 제시 방법 및 자극 제시 유형에 따른 동사 이름대기 수행력의 비교 연구가 이루어져야 할 것이다.


Acknowledgments

이 연구는 2020년도 한국연구재단 국제협력사업의 지원을 받아 수행된 연구임 (NRF-2020K2A9A2A20111898).

이 논문은 2019학년도 이화여자대학교 대학원의 장학금 지원에 의한 논문임.

This work was supported under the framework of international cooperation program managed by the National Research Foundation of Korea (NRF-2020K2A9A2A20111898).

This study was supported by the Ewha Womans University scholarship of 2019.


Reference
1. Cherney, L. R., & Van Vuuren, S. (2012). Telerehabilitation, virtual therapists, and acquired neurologic speech and language disorders. Seminars in Speech and Language, 33(3), 243–258.
2. Choi, E., Sung, J. E., Jeong, J. H., & Kwag, E. (2013). Noun-verb dissociation in a confrontation naming task for persons with mild cognitive impairment. Dementia and Neurocognitive Disorders, 12(2), 41-46.
3. Choi, S. J., & Sung, J. E. (2014). Task-specific and argument structure effects on verb production in normal elderly adults: Animation vs. picture comparisons. Journal of Rehabilitation Research, 18(4), 279-293.
4. Choi, Y. M., Han, J. Y., Park, J., & Choi, J. E. (2020). A study on a diagnostic tool for language processing ability of active senior: Focusing on the illustrations of traditional fairy tales. The Korean Journal of Animation, 16(3), 161-174.
5. Christensen, K. J., Multhaup, K. S., Nordstrom, S., & Voss, K. (1991). A cognitive battery for dementia: Development and measurement characteristics. Psychological assessment: A Journal of Consulting and Clinical Psychology, 3(2), 168.
6. Dekhtyar, M., Braun, E. J., Billot, A., Foo, L., & Kiran, S. (2020). Videoconference administration of the Western Aphasia Battery–Revised: Feasibility and validity. American Journal of Speech-Language Pathology, 29(2), 673-687.
7. d’Honincthun, P., & Pillon, A. (2005). Why verbs could be more demanding of executive resources than nouns: Insight from a case study of a fv-FTD patient. Brain and Language, 95(1), 36-37.
8. Druks, J. (2002). Verbs and nouns—A review of the literature. Journal of Neurolinguistics, 15(3-5), 289-315.
9. Duffy, J. R., Werven, G. W., & Aronson, A. E. (1997). Telemedicine and the diagnosis of speech and language disorders. Mayo Clinic Proceedings, 72(12), 1116–1122.
10. Fujisawa, K., Inoue, T., Yamana, Y., & Hayashi, H. (2011). The effect of animation on learning action symbols by individuals with intellectual disabilities. Augmentative and Alternative Communication, 27(1), 53-60.
11. Gross, D., Soken, N., Rosengren, K. S., Pick, A. D., Pillow, B. H., & Melendez, P. (1991). Children's understanding of action lines and the static representation of speed of locomotion. Child Development, 62(5), 1124-1141.
12. Guo, Y. E., Togher, L., Power, E., Hutomo, E., Yang, Y. F., Tay, A., ... & Koh, G. C. H. (2017). Assessment of aphasia across the international classification of functioning, disability and health using an iPad-based application. Telemedicine and e-Health, 23(4), 313-326.
13. Hyun, J. M., Kim, H. H., Shin, J. C., & Seo, S. G. (2003). Retrieval of nouns and verbs in Broca’s and Wernicke’s aphasia. Korean Journal of Communication & Disorders, 8(3), 171-187
14. Kim, J. W., Hwang, J. H., Kim, S. R., & Kim, H. (2013). Differences in attention and naming ability with age in the elderly. Journal of Speech & Hearing Disorders, 22(3), 25-44.
15. Kim, J. (2020). Implications of the COVID-19 pandemic on health equity and healthy cities. Korean Journal of Health Education and Promotion, 37(4), 81-89.
16. Kim, K. Y. (2006). Verb Production and argument structures in aphasics (Master’s thesis). Yonsei University, Seoul.
17. Kim, S. M. (2020). Analysis of press articles in Korean media on Online Education related to COVID-19. Journal of Digital Contents Society, 21(6), 1091-1100.
18. Kim, S. R., Park, C. I., Kim, D. Y., & Hwang, M. A. (2004). Production of nouns and verbs in adults with Broca’s aphasia: Comparison between naming and narration. Korean Journal of Communication & Disorders, 9(2), 1-18. uci:G704-000725.2004.9.2.006
19. Kwag, E. J., Sung, J. E., Kim, Y. H., Cheond, H. J., Kwag, E. J., Sung, J. E., ... & Cheond, H. J. (2014). Effects of verb network strengthening treatment on retrieval of verbs and nouns in persons with aphasia. Communication Sciences & Disorders, 19(1), 89-98. uci:G704-000725.2014.19.1.009
20. Lee, D. J., Yeon, J. H., Hwang, I. B., & Lee, S. G. (2010). KKMA: A tool for utilizing Sejong corpus based on relational database. Journal of KIISE: Computing Practices and Letters, 16(11), 1046-1050. uci:G704-A00398.2010.16.11.001
21. Nam, S. H. (2007). Event structure and argument structure of Korean predicates. Seoul: Seoul National University Press.
22. Ouden, D. B., Fix, S., Parrish, T. B., & Thompson, C. K. (2009). Argument structure effects in action verb naming in static and dynamic conditions. Journal of Neurolinguistics, 22, 196-201.
23. Pashek, G. V., & Tompkins, C. A. (2002). Context and word class influences on lexical retrieval in aphasia. Aphasiology, 16(3), 261-286.
24. Seo, S. (1998). Word frequency in modern Korean language. Seoul: Language and information development center, Yonsei University.
25. Sim, M. (2020). Psychological effects of the coronavirus disease 2019 pandemic. The Korean Journal of Medicine, 95(6), 360-363.
26. Sung, J. E., & Kwag, E. J. (2012). Age-related verb naming abilities depending on the argument structures. Korean Journal of Communication Disorders, 17(4), 550-564. uci:G704-000725.2012.17.4.003
27. Sung, J. E. (2016). The effects of verb argument complexity on verb production in persons with aphasia: Evidence from a subject–object–verb language. Journal of psycholinguistic Research, 45(2), 287-305.
28. Theodoros, D., Hill, A., Russell, T., Ward, E., & Wootton, R. (2008). Assessing acquired language disorders in adults via the Internet. Telemedicine and e-Health, 14(6), 552-559.
29. Yoon, H., & Sung, J. E. (2020). Effects of verb argument structure and the types of presentation modality on verb production in individuals with aphasia using a verb-final language. Communication Sciences & Disorders, 25(2), 399-410.
30. Youn, J. C., Kim, K. W., Lee, D. Y., Jhoo, J. H., Lee, S. B., Park, J. H., ... & Woo, J. I. (2009). Development of the subjective memory complaints questionnaire. Dementia and Geriatric Cognitive Disorders, 27(4), 310-317.
31. Zingeser, L. B., & Berndt, R. S. (1990). Retrieval of nouns and verbs in agrammatism and anomia. Brain and Language, 39(1), 14-32.

참 고 문 헌
32. 곽은정, 성지은, 김연희, 전희정 (2014). 동사의미역강화중재가 실어증 환자의 동사 및 명사 이름대기에 미치는 효과. Communication Sciences & Disorders, 19(1), 89-98.
33. 김가영 (2006). 실어증 환자의 동사 산출과 논항구조 간의 관계. 연세대학교 대학원 석사학위 논문.
34. 김상미 (2020). 코로나 19 관련 온라인 교육에 관한 국내 언론보도기사 분석. 한국디지털콘텐츠학회 논문지, 21(6), 1091-1100.
35. 김수련, 박창일, 김덕용, 황민아 (2004). 브로카 실어증 환자의 과제간 명사와 동사의 산출 비교. 언어청각장애연구, 19(2), 1-18.
36. 김정완, 황재호, 김수련, 김향희 (2013). 정상 노인의 연령에 따른 주의력 및 이름대기 능력의 차이. 언어치료연구, 22(3), 25-44.
37. 김진희 (2020). 코로나 19 유행의 건강형평성, 건강도시에서의 함의. 보건교육건강증진학회지, 37(4), 81-89.
38. 남승호 (2007). 한국어 술어의 사건 구조와 논항 구조 (Vol. 57). 서울대학교출판부.
39. 서상규 (1998). 연세말뭉치 1-9를 대상으로 한 현대한국어의 어휘빈도. 서울: 연세대학교 언어정보개발연구원.
40. 성지은, 곽은정 (2012). 연령 및 동사 논항 구조에 따른 애니메이션을 활용한 동사 이름대기 과제 수행력 차이. 언어청각장애연구, 17(4), 550-564.
41. 심민영 (2020). 코로나바이러스감염증-19와 관련된 정신건강 문제. 대한내과학회지, 95(6), 360-363.
42. 윤혜수, 성지은 (2020). 자극 제시 유형 및 동사 논항구조에 따른 실어증 환자의 동사 이름대기 특징. Communication Sciences & Disorders, 25(2), 399-410.
43. 이동주, 연종흠, 황인범, 이상구 (2010). 꼬꼬마: 관계형 데이터베이스를 활용한 세종 말뭉치 활용 도구. 정보과학회논문지: 컴퓨팅의 실제 및 레터, 16(11), 1046-1050.
44. 최수진, 성지은 (2014). 과제 제시 유형 및 논항 수에 따른 노년층의 동사 이름대기 수행력 차이. 재활복지, 18, 279-293.
45. 최유미, 한지윤, 박조이, 최주은 (2020). 노년층을 위한 ‘이야기말하기형 진단도구’의 그림체 연구. 애니메이션연구, 16(3), 161-174.
46. 최은정, 성지은, 정지향, 곽은정 (2013). 경도인지장애군의 명사 및 동사 하위 유형에 따른 대면 이름대기 산출 능력. 대한치매학회지, 12(2), 41-46.
47. 현정문, 김향희, 신지철, 서상규 (2003). 베르니케실어증과 브로카실어증 환자들의 명사와 동사 인출 비교. 언어청각장애연구, 8(3), 171-187.

Appendix 1. 
List of verbs initially selected
논항 동사 목록
1항 걷다, 짖다, 구르다, 기다, 날다, 달리다, 돌다, 울다, 웃다, 자다, 깨지다, 자라다, 피다, 타다, 끓다, 내리다, 녹다, 마르다, 부러지다, 시들다, 썩다, 얼다 (22개)
2항 마시다, 불다, 신다, 앉다, 열다, 차다, 닦다, 굽다, 입다, 자르다, 깎다, 찍다, 찢다, 꼬집다, 먹다, 뱉다, 그리다, 줍다, 짜다, 켜다, 풀다, 끄다, 누르다, 닫다, 안다, 재다, 날리다, 묶다, 씻다, 끌다, 들다, 보다, 지우다, 벗다, 접다, 쓸다, 흔들다, 당기다, 읽다, 쓰다, 밀다, 두드리다, 감다, 때리다, 흐르다, 펴다, 일어서다, 끓이다 (48개)
3항 메다, 떼다, 뽑다, 심다, 버리다, 던지다, 걸다, 업다, 따다, 뿌리다, 붙이다, 쌓다, 바르다, 박다, 주다, 넣다, 놓다, 따르다, 꺼내다, 젓다, 깔다, 섞다, 꽂다, 담다, 캐다, 베다, 싣다, 싸다, 받다 (29개)

Appendix 2. 
Action naming agreement rate in the final selected verb items
논항 동사 대면 집단 (%) 비대면 집단 (%) 총합 (%)
1항 짖다 100.0 100.0 100.0
날다 100.0 100.0 100.0
웃다 95.7 100.0 97.8
기다 97.8 96.3 97.1
울다 95.7 98.1 96.9
걷다 95.7 92.6 96.3
자다 97.8 94.4 95.0
녹다 97.8 100.0 98.9
깨지다 97.8 98.1 98.0
피다 95.7 94.4 95.0
내리다 91.3 90.7 91.0
2항 마시다 100.0 100.0 100.0
불다 100.0 100.0 100.0
신다 100.0 100.0 100.0
앉다 100.0 100.0 100.0
열다 100.0 100.0 100.0
차다 100.0 100.0 100.0
닦다 100.0 98.1 100.0
굽다 100.0 98.1 99.1
입다 100.0 98.1 99.1
자르다 97.8 100.0 99.1
깍다 97.8 100.0 98.9
찢다 97.8 100.0 98.9
꼬집다 100.0 98.1 99.1
3항 메다 100.0 98.1 100.0
떼다 100.0 98.1 99.1
뽑다 100.0 98.1 99.1
심다 97.8 100.0 98.9
버리다 95.7 100.0 97.8
던지다 97.8 98.1 98.0
걸다 97.8 96.3 97.1
업다 100.0 94.4 97.2
따다 100.0 94.4 97.2
뿌리다 95.7 94.4 95.0
붙이다 93.5 92.6 93.0
쌓다 91.3 94.4 92.9
Note. 소수점 둘째 자리에서 반올림한 비율.