취학전 아동의 대면 및 원격검사 실시 방법에 따른 PRES 언어검사 수행력 비교

Ⅰ. 서론

세계적인 COVID-19 대유행으로 사회적 거리 두기 및 이동 제한 조치 등으로 인해 비대면이라는 새로운 패러다임을 수용하게 되었다. 특히, 기존의 면대면 방식의 검사, 상담, 중재가 어려워지면서 전문적인 언어 재활 및 청각 서비스 제공을 위해 인터넷 통신 기술을 사용하는 방식인 ‘원격재활서비스(telepractice)’로의 전환이 불가피해졌다(Aggarwal et al., 2021; Fong et al., 2021). 미국 언어청각학회(American Speech-Language-Hearing Association: ASHA), 캐나다 언어 및 청각학회(Speech–Language & Audiology Canada: SAC) 등의 전문 단체가 원격재활서비스의 채택 및 제공을 촉진하기 위한 자료와 권장사항 등을 제공하는 등 코로나 시대의 원격재활서비스는 언어재활사가 접근할 수 있는 가장 안전한 서비스 전달 방법 중 하나가 되었다(ASHA, 2020; SAC, 2020).

그러나 기존의 원격재활서비스에 관한 연구를 살펴보면, 주로 원격재활서비스의 이용 가능성(Gibson et al., 2010; Samadi et al., 2020; Sicotte et al., 2003) 대면중재와 비교한 원격중재의 효과성(Behl et al., 2017; Grogan‐Johnson et al., 2010; Hao et al., 2021; McGill et al., 2019; Reynolds et al., 2009; Sicotte et al., 2003)에 관한 연구가 대부분이고, 원격언어검사 관련한 연구는 매우 적다.

초기 원격언어검사의 연구는 주로 언어재활서비스의 접근성이 떨어지는 지역에 거주하는 대상자에게 원격검사서비스 방법에 대한 실현 가능성 및 효용성에 대한 것이었다(Coleman et al., 2015; Fairweather et al., 2016; Molini-Avejonas et al., 2015; Sutherland et al., 2016). 또한 기술력의 한계로 인해 수용언어측정의 어려움으로 표현언어검사에 주로 활용되었다(Cole et al. 1986). 이후 COVID-19로 거리 두기, 이동 제한 및 보호 조치로 인해 대면검사가 금지되었다. 이에 따라 코로나 시대에는 원격재활서비스가 단순히 선택적인 서비스 전달 방식이 아니라 평가 및 진단을 할 수 있는 유일한 선택사항이었다고 할 수 있다. 그러나 원격검사에 대한 유효성에 대한 증거가 적은 상황에서, 미국 심리학회(American Psychological Association: APA, 2020)와 같은 단체는 코로나 초기에 검사 자체를 일시 중단하거나, 주 단위의 심리학회(state-level psychological association)는 전문가들이 원격진료 사용이 검증되지 않은 도구를 사용할 경우 발생할 수 있는 위험요소에 대해 경고하였다(Farmer et al., 2021). 그럼에도 불구하고 인터넷, 화상회의 프로그램 및 다양한 디바이스 등의 발전으로 다양한 기술을 활용한 원격언어검사에 대해 기존의 대면검사와 비교하여 동등한 결과를 산출할 수 있는지에 대한 일치도, 상관관계 연구를 통해 그 타당성을 입증한 연구 결과들이 보고되고 있다.

아동이 대상인 원격검사의 연구 결과를 살펴보면, Waite 등(2010)의 연구에서 언어발달장애로 진단되거나, 언어발달에 있어 어려움이 있는 만 5~9세의 아동 25명을 대상으로 Evaluation of Language Fundamentals-4th edition(CELF-4)를 대면과 원격으로 실시한 결과 대면 및 원격 상황의 평가 결과에 유의한 차이가 없었다. Sutherland 등(2017)의 8~12세의 23명의 아동을 대상으로 한 연구에서도 CELF-4의 대면과 원격검사의 실시 방법에 따른 결과에 유의한 차이가 없었다. Eriks-Brophy 등(2008)의 연구에서는 4~12세의 아동에게 CELF-4 외에도 Peabody Picture Vocabulary Test-3rd edition(PPVT-III), the Preschool Language Scale-4th edition(PLS-4), Clinical the Expressive One Word Picture Vocabulary Test(EOWPVT) 검사를 대면과 비대면 조건에서 시행하고, 두 조건 간 결과를 검사자 두 명의 문항별 일치도 비율을 통해 비교 분석한 결과, 매우 높은 일치도(98~100%)를 보여, 대면검사와 원격언어검사의 차이가 없음을 발견하였다. Wright(2018)는 만 5~16세의 아동 및 청소년 240명을 대상으로 연령과 성별을 일치시킨 쌍의 구성원을 Woodcock-Johnson IV Cognitive and Achievement Tests(WJ IV)의 원격검사 그룹 및 대면검사 그룹으로 무작위 할당하여 검사를 실시하였고, 그룹 평균 간에 유의한 차이를 보이지 않았다. 또한 Nelson과 Plante(2022)는 만 6~18세 51명의 아동과 청소년을 대상으로 Test of Integrated Language and Literacy Skills(TILLS)를 6개월 이상의 간격을 두고, 동일한 대상에게 원격 및 대면으로 평가하여 언어장애의 유무를 판별하였고, 그 결과, 96% 일치하였다. 또한 학습 효과를 줄이기 위해 검사 순서를 통제하여 하위 항목에 대한 부분 상관관계 분석을 하였고, 비단어 반복을 제외한 모든 하위 검사 점수 간에 높은 상관을 보였다. Magimairaj 등(2022)은 154명의 1~4학년 학령기 아동을 대상으로 아동의 담화 수용 및 표현 능력을 측정을 위해 Test of Narrative Lnguage-2nd edition(TNL-2)을 비대면으로 시행하여 그 타당성을 알아보기 위한 연구를 시행하였다. 동일 대상에게 중재 전 사전 검사는 대면으로 중재 후 사후검사 및 추적검사(follow-up)는 원격방법(Zoom)으로 실시한 뒤 상관분석을 실시한 결과, 담화 수용 및 표현 능력 모두 통계적으로 유의하였다. 이 밖에도 화상회의 시스템을 이용한 조음평가(Crutchley et al., 2010), 수용어휘검사(Castilla-Earls et al., 2022). 아동 및 청소년의 문해력을 포함한 인지-언어 기술의 평가(Hodge et al., 2019). 모두 대면과 원격검사 방법이 유의한 차이를 보이지 않았다.

언어의 어려움을 가진 성인을 대상으로 한 원격검사의 연구 결과를 살펴보면, Dekhtyar 등(2020)은 실어증으로 인한 언어문제가 있는 20명의 성인을 대상으로 Go To Meeting(2018) 또는 Zoom(2018)의 화상회의 시스템을 통해 WAB-r(Western Aphasia Battery-revised)을 대면 및 비대면 상황에서 실시하고, 검사 결과의 유효성 및 타당성에 대해 살펴본 결과, 대면 및 비대면 검사 결과 간 높은 상관관계를 나타냈고, 대면과 비대면 상황에 따른 언어 영역별 점수에 유의한 차이가 없었다. Guo 등(2017)은 총 30명의 실어증 환자를 대상으로 각각 대면 평가 집단과 실시간 원격 평가 집단과 대면 평가 집단으로 나누어 실험한 결과, 두 집단 간 평가 결과에 유의한 차이를 보이지 않았다. 또한 실어증 환자 32명을 대상으로 표준화 검사인 Boston Diagnostic Aphasia Examination(BDAE-3)과 Boston Naming Test(BNT)를 대면과 인터넷 기반 원격시스템을 이용하여 평가한 결과 역시 두 집단 간 평가 점수에 유의한 차이를 보이지 않았다(Theodoros et al., 2008).

원격재활서비스는 초기에는 주로 성인과 학령기 아동을 대상으로 시작했으나, 점차 영유아 및 학령전기 아동으로 확대되었으며, 대부분의 선행 연구에서 기존의 대면 방법과 원격 방법 간 차이가 없는 것으로 나타났다(Edwards et al., 2012). 여러 장애가 있는 아동을 대상으로 표준화된 원격언어평가의 타당성을 입증하는 연구가 증가하고 있으나, 중재 서비스 관련한 선행 연구와 비교하면 여전히 원격재활 평가 연구는 적으며, 언어평가를 위한 실현 가능하고 신뢰할 수 있는 원격검사절차 구현에 관한 연구가 부족한 실정이다(Campbell et al., 2020; Macoir et al., 2021; Savard et al., 2003). 특히, 기존의 검사들 대부분이 대면 방식으로 제작되었고, 원격 방식을 고려하여 설계되지 않았기 때문에 표준화 검사 결과의 타당성에 대한 의문이 제기되고 있다(Tucker, 2012). 또한 국외에 비해 상대적으로 국내의 원격언어검사에 대한 연구는 초기 단계이고, 현장에 적용하기 위해 더 많은 연구가 필요하지만(Jung et al., 2020; Kim & Kwon, 2018; Lim & Sim, 2016), 원격언어검사의 타당성을 입증하는 연구들이 있다. 예를 들면, Chun과 Hong(2021)은 국내 만 5~6세 언어발달장애 아동의 부모를 대상으로 표준화된 언어검사인 REVT를 원격검사로 바꾸어 진행했을 때, 대면검사와 비교하여 표현어휘력 점수에 차이가 없음으로 나타났고, Kim 등(2023)은 취학전 3~6세 일반아동의 비대면 언어선별검사는 대면 방식의 표준화 검사(PRES)의 수행력과 유의한 상관을 보이는 결과를 도출하여 원격언어검사의 타당성을 입증하였다.

그러나 기존 연구들은 검사자가 검사 자극을 화면에 그림을 제공하거나, 질문하기의 형식으로 제공하고, 검사 대상자의 반응은 화면의 그림을 짚거나, 질문의 대답하는 것으로 결과를 수집하는 것이 대부분이어서, 실물의 검사 도구를 사용하는 검사들에 있어서는 그 효용성을 입증하기 어렵다. 따라서 본 연구에서는 Pearson과 ASHA의 지침을 참고하여, 대면검사와 최대한 유사한 원격언어검사 실시 환경을 구축하였다.

또한, 원격재활서비스에 관한 선행 연구들의 대상은 대부분 성인에 초점을 맞추고 있어, 아동이나 청소년을 대상으로 한 연구는 약 1/4에 불과한 실정이다(Molini-Avejonas et al., 2015; Sutherland et al., 2019; Wales et al., 2017). COVID-19를 겪으면서 원격재활서비스의 경험을 할 수 있었고, 앞으로 다양한 방법으로 발전될 수 있는 가능성을 확인할 수 있었다. 특히 서비스 접근이 어려운 곳에 거주하거나 여러 가지 사정으로 대면검사 참여가 어려운 학령전기 아동에 대해 원격으로 평가할 수 있다면 조기에 언어 문제를 파악하고, 중재할 수 있을 것이다. 그러므로 학령전기 아동에 대한 원격 평가에 대한 구체적인 지침과 방법에 대한 연구가 필요하다.

그러므로 본 연구에서는 3~5세 아동을 대상으로 대면 및 원격검사 실시 방법(대면검사, 검사자 주도 원격검사, 부모 주도 원격검사)에 따라 PRES 언어검사 수행력에 차이가 있는지 살펴보고자 한다. 특히, PRES 검사는 현재 임상에서 만 2~6세 아동의 수용언어 및 표현언어 능력을 측정하기 위해 널리 사용하고 있는 표준화된 평가도구로서, 대면 상황에서 검사 도구의 직접적 조작이 필요하므로 원격 상황에서의 한계가 존재한다(Fairweather et al., 2004; Kwok et al., 2022; Savard et al., 2003). 또한 원격 상황에서 상호작용 평가에 대한 경험 및 인터넷 접근성의 인프라 구축이 필요하다(Iacono et al., 2007; Kwok et al., 2022). 그에 따라 화상회의 프로그램을 선정해야 하는데 ‘Zoom’ 프로그램은 코로나 이후, 어린이집, 유치원, 학원, 학교, 회사 등 다양한 기관에서 채택하여 사용했기 때문에 부모와 아동 모두가 이용한 경험이 있고, 타 프로그램에 비교해보았을 때, 접근성 및 편의성이 높은 것으로 판단되었다. 따라서 본 연구의 원격검사 프로그램으로 화상회의를 위한 ‘Zoom’ 프로그램을 사용하기로 하였다.

한편, 부모는 유아 및 아동과 가장 친밀한 성인이며, 전반적 발달을 양육 과정을 밀착적으로 관찰할 수 있으므로 유아를 평가하는 데 필수적인 자원이다(Roopnarine & Johnson, 2010). 특히 부모가 평가나 중재의 전체 과정에 참여할 경우, 자녀에 대한 이해, 자녀 양육에 대한 자신감과 안정감을 제공할 수 있다(Chun & Hong, 2021; Kim, & Sim, 2002). 이러한 선행 연구의 연구 결과에 따라 본 연구에서는 대면 상황에서 검사자와 대상자 간 직접적인 상호작용이 필요한 검사 과제를 원격 상황에서 전문가인 검사자 주도와 비전문가인 부모 주도로 나누어 실시함으로써 효과적인 상호작용 원격검사의 대안을 마련하고, 대면검사와 원격검사 수행의 차이를 확인함으로써 추후 관련 연구의 실증적 근거를 제시하고자 한다. 본 연구는 검사 실시 방법에 따라 PRES 수행력에 유의한 차이가 있는지 알아보고, 각 검사 실시 방법의 PRES 점수 간에 유의한 상관관계가 있는지 알아보는 데 목적이 있다. 연구 문제는 다음과 같다.

첫째, 검사 실시 방법(대면검사 vs. 검사자 주도 원격검사 vs. 부모 주도 원격검사)에 따라 PRES 수행력(수용언어 점수, 표현언어 점수)에 유의한 차이가 있는가?

둘째, 검사 실시 방법(대면검사 vs. 검사자 주도 원격검사 vs. 부모 주도 원격검사)에 따라 PRES 수행력 점수 간에는 유의한 상관관계가 있는가?

Ⅱ. 연구 방법

1. 연구 대상

본 연구는 만 3~5세의 일반 아동(대면 25명/검사자 주도 원격검사 25명/부모 주도 원격검사 25명) 75명과 원격검사에 참여하는 아동의 어머니 50명을 대상으로 하였다.

구체적인 선정 조건은 다음과 같다. (1)수용ㆍ표현 어휘력검사(Receptive & Expressive Vocabulary Test: REVT, Kim et al., 2009)에서 수용 등가연령이 아동의 생활연령 이상인 일반 아동으로 (2)원격검사의 특성상 아동이 컴퓨터, 노트북, 태블릿 등의 기기를 사용하며, 검사자가 검사 상황을 직접적으로 통제할 수 없다는 한계가 있으므로 부모에 의해 아동이 컴퓨터 화면에 집중할 수 있고, 일정 시간 이상 자리 이탈이 없이 검사자의 지시에 따라 반응하는 것이 가능하며, (3)시각 및 청각 등 감각 장애를 보이지 않는다고 보고된 아동을 대상자로 선정하였다. 본 연구에 참여한 대상자의 생활연령, 수용어휘력 검사(REVT-r)의 평균 및 표준편차는 Table 1에 제시하였다.

Table 1.

Children’s information

또한, 검사 방법 집단 간 통제가 잘 이루어졌는지 확인하기 위해 일원배치분산분석(one-way ANOVA)을 실시하였다. 분석 결과, 세 집단 간 성별(F_(2,72)=.652, p>.05), 생활연령(F_(2,72)=.014, p>.05), 수용어휘력(F_(2,72)=.736, p>.05)은 통계적으로 유의한 차이가 나지 않았다. 이에 대한 분산분석 결과표는 Table 2에 제시하였다.

Table 2.

ANOVA of children

마지막으로 본 연구에 참여하는 어머니의 특성은 아래 Table 3과 같다.

Table 3.

Parents’ information(n=50)

3. 검사 실시 방법

1) 대면검사

‘대면검사(face-to-face assessment)’란 검사자가 직접 대상자를 만나 검사를 시행하고, 그 결과를 기록하여 채점하는 것을 의미한다. 또한, 검사자는 검사의 표준화된 지침과 절차를 반드시 준수하여 검사를 수행해야 한다. 특히, 대면검사 시에는 대상자의 신체적(피로도, 질병 등), 정서적(긴장, 불안) 상태, 주변 소음이나 날씨 등 물리적 환경 요인, 검사에 대한 이해 정도, 검사에 임하는 대상자의 동기를 고려해야 한다.

본 연구에서는 연구자(언어재활사 2급)가 직접 검사 대상자를 만나 PRES의 표준화된 검사 절차 및 지침 그대로 검사를 시행하였다.

2) 원격검사

‘원격검사(tele-assessment)’란 언어검사가 필요한 대상자와 임상의, 기타 의료 제공자 및 교육 담당자 등의 전문가를 통신 및 인터넷 기술을 사용하여, 원격으로 연결하는 서비스를 제공하는 것을 의미한다(ASHA, 2014). 특히 원격검사는 대면검사와 동일한 환경에서 이루어져야 하므로 효율적인 원격검사를 위해서는 기존의 대면검사를 단순히 원격으로 수행하는 것 이상의 준비가 필요하다. 즉, 노트북, 컴퓨터, 태블릿 등의 장비 및 원격 회의 소프트웨어에 대한에 대한 이해도와 사용 가능 여부 및 기기 조작 및 제어, 연령 및 주의력을 고려한 대상자 선정, 원격 검사자에 대한 적절한 훈련, 사전 동의 및 문서화를 통한 자료 보관 및 유지, 보안 및 개인정보 보호, 서비스 제공에 따른 기존 규칙 및 규정 준수 등을 확인해야 한다(ASHA, 2021). 특히 대상자 선정을 신중히 해야 하는데, 대상자가 키보드 조작이 가능한 소근육 능력을 갖추고 있는지, 컴퓨터 화면을 보고 듣는 청각적ㆍ시각적 능력과 화면을 통한 통제에 따를 수 있는 인지 수준은 어떠한지, 화면에 집중할 수 있는 주의력 및 착석 유지 능력, 비대면 언어검사를 받고자 하는 의지 등을 고려해야 한다(ASHA, n.d.).

본 연구에서는 원격검사를 화상회의 프로그램을 통해 수행하는 것으로 하였다. PRES 검사 특성상 대면 상황에서 실제 검사 도구의 조작이 필요한 과제가 존재하므로 이를 위해 원격검사에 참여하는 모든 부모는 사전에 검사 관련 교육을 받았으며, 검사 수행에서의 부모 역할 비중에 따라 부모 주도 원격검사와 검사자 주도 원격검사로 나누었다.

그러나 부모와 자녀의 친숙함으로 인해 검사 시, 부모는 자녀가 가지고 있으나 나타나지 않는 능력이나 언어 지식을 알 수 있으므로 편향된 점수로 이어질 수 있으므로 원격언어검사 시, 부모의 역할에 대한 한계를 명확히 해야 한다(Kwok et al., 2022; Schmitt et al., 2022). 따라서 본 연구에서는 검사의 신뢰성과 타당성을 유지하기 위해 부모는 연구자의 지시 및 지침에 따라 검사를 수행하는 역할만 하고, 채점은 연구자가 하였다. 또한 표준화된 평가 방법을 유지하는 것의 중요성을 강조하고, 검사 진행 과정 중 아동의 표정과 행동, 응답 등을 확인하는 등 검사자의 신뢰도를 판단하기 위한 오디오 및 비디오 기록을 수집하여 이중으로 결과를 체크하였다.

(1)검사자 주도 원격검사

‘검사자 주도 원격검사’는 PRES 검사 시, 부모의 개입을 최소한으로 하여, 부모는 보조자의 역할만을 수행하게 하는 것이다. 즉, 부모는 기기 사용, 검사에 방해될 수 있는 요소 점검 등 검사 환경의 통제, 부모의 직접 개입이 필요한 실물을 사용해야 하는 과제(수용 8문항, 표현 7문항, 총 15문항)의 실물 검사 도구를 제시하는 역할만을 하도록 하였다. 검사의 진행을 위해 사전에 부모교육을 시행하였고, 간단 지침서를 제공하여, 부모 개입이 필요한 문항 번호 및 개입의 방법을 명시하였다.

(2)부모 주도 원격검사

‘부모 주도 원격검사’는 PRES 검사 시, 부모가 자녀에 대해 직접 검사를 시행하지만, 연구자는 검사 전에 검사에 대한 사전 교육과 검사 당일 원격으로 참여하여 검사 진행 관리 및 조력의 역할을 수행하는 것이다. 즉, 부모가 검사를 주도적으로 실시하는 검사자의 임무를 수행하고, 연구자는 부모가 검사를 정해진 절차에 맞게 수행하도록 교육 및 검사 전반을 관리하는 역할을 하였다. 부모의 역할을 세부적으로 살펴보면 기기 사용, 검사에 방해될 수 있는 요소 점검 등 검사 환경의 통제, 실물 검사 도구 제시 등의 역할 뿐만 아니라, 표준화 검사를 직접 시행하는 역할을 담당한다. 연구자는 검사 전에는 부모의 사전 교육에서 과제의 특성(도구의 사용, 지시하기, 그림 문항)과 과제 실시 번호 등 검사 진행 순서 및 검사자의 역할 및 주의사항을 교육하고, 지침서를 제공하였다. 연구자는 검사 당일에 원격으로 참여하여 검사 화면을 제공하고, 부모가 검사자의 역할을 수행하는 데 어려운 부분이 있을 때는 조언하고, 표준화 검사 절차에서 벗어난 행동 등에 대해 적극적으로 개입하여 검사가 원활하게 진행될 수 있도록 관리하는 역할을 하였다.

검사자 주도와 부모 주도 원격검사 수행 시, 제공되는 검사 화면의 예는 Figure 1에 제시하였다.

Figure 1.

Example of comparing for examiner-conducted & parent-conducted tele-assessment screen

(3)원격검사 실시지침서

본 검사의 원격검사는 검사자 주도와 부모 주도로 나누어진다. 두 검사는 기기 사용, 검사에 방해가 될 수 있는 요소들을 점검하는 등 검사 환경을 통제한다는 측면에서는 같은 역할을 하지만, 부모가 직접 검사를 진행하는지에 따라 검사자 주도와 부모 주도로 검사 방법이 나누어진다. 따라서 원격검사에 검사자 주도와 부모 주도 원격검사의 부모 역할에 차이가 있고, 그에 따라 검사 실시에 참고할 수 있는 지침서의 내용이 다르다. 구체적인 내용은 다음과 같다.

①검사자 주도 원격검사 부모 지침서

검사자 주도 원격검사 부모 지침서는 검사 문항 및 속성, 부모 개입의 여부와 개입할 때 제시해야 하는 도구와 행동만 표시하였다. 예를 들면, 각 문항별 PRES 과제의 특징에 따라 ‘듣고 반응/표현하기: 검사자의 말에 집중할 수 있도록 도와주세요’, ‘도구 제시: (도구 명칭)을 아동의 앞에 놓아주세요’, ‘그림 보고 반응/표현하기: 아동이 화면에 제시되는 그림에 집중할 수 있도록 도와주세요’라고 적혀있어, 문항의 특성에 따라 부모가 해야 할 행동이 제시되어 있다. 즉, 부모는 직접 개입이 필요한 검사 도구를 사용하는 검사 항목(수용 8문항, 표현 7문항, 총 15문항)의 검사 도구를 제시하고, 아동의 집중력을 유지시키는 역할만을 담당하도록 하였다.

②부모 주도 원격검사 지침서

부모 주도 원격검사의 부모는 표준화 검사를 직접 실시하는 검사자의 역할을 한다. 즉, 주의력을 유지하고, 실물 검사 도구 제시 등의 역할 뿐 아니라, 검사를 직접 진행하는 역할을 수행하는 것이다. 문항에 필요한 도구나 그림 등이 제시되고, 아동에게 해야 할 질문(과제 질문은 빨간색, 하위 문항 질문은 파란색으로 표시함) 및 해야 할 행동뿐 아니라 과제 문항 시행 시, 주의사항까지 적어놓았다.

검사자 주도와 부모 주도 원격검사의 지침서 비교의 예는 Figure 2에 제시하였다.

Figure 2.

Example of comparing guidelines for examiner-conducted & parent-conducted tele-assessment

4. 연구 설계 및 절차

1) 예비 실험

본 실험에 앞서 원격검사 환경의 조성, 과제의 소요시간과 아동 및 부모의 검사 실시 과정, 지침서에 대한 피드백을 확인하기 위하여 예비 연구를 실시하였다. 예비 연구는 검사자 주도 원격검사 대상으로 38개월 일반 아동(여) 1명과 부모 주도 원격검사 대상으로 50개월 일반 아동(남) 1명을 대상으로 예비 연구를 진행하였으며, 모두 사전에 선별검사 및 부모교육을 마쳤다. 실험 당시, 원격검사 환경 조성을 위한 장비 설치 등을 포함한 총 소요시간은 각각 2시간, 1시간 30분이었다. 예비 검사 과정 및 결과에서 연구자의 관찰과 부모의 피드백을 통해 파악된 검사 환경 세팅, 검사 실시 방법, 지침서 등의 보완해야 할 사항에 대해 수정을 하였다.

이를 자세히 살펴보면, 첫째, 검사 환경 세팅이다. 부모 주도 원격검사 아동의 경우, 만 5세로 마우스 조작이 가능한 아동이었다. 따라서, 수용언어과제-그림으로 반응하기를 실시할 때, 그림 제시 방법을 다르게 하였다. 즉, (1)직접 검사 책을 통해 그림을 제시하여 아동의 응답을 확인하는 방법과 (2)컴퓨터 화면에서 그림을 제시해 준 후, 아동의 응답을 확인하기 위해 zoom의 스탬프 기능 사용과 손가락으로 가리키기 방법을 사용하였다. 그 결과, (1)직접 검사 책을 사용할 때, 페이지를 넘겨서 그림을 찾아야 하는 것이 매우 번거롭고, 시간이 오래 걸린다는 부모의 피드백을 반영하여, 컴퓨터 화면을 통해 연구자가 그림을 제시해주는 방법으로 변경하였다. (2)선택지 문항에서 아동이 화면을 가리키는 방법 대신 zoom의 스탬프 기능을 사용하기로 하였는데, 예비 실험 결과, 표시했던 스탬프를 지우면, 다시 클릭할 수 있게 스탬프를 다시 활성화하는 과정에서 아동의 주의력이 떨어지고, 스탬프를 여러 번 찍는 등 장난을 쳐서 검사 소요시간이 길어지게 되었다. 예비 검사에서 파악한 어려움에 대해 아동이 직접 컴퓨터 화면의 그림을 가리키는 방식으로 수정하여 최종 확정하였고, 본 연구에는 아동의 응답을 기록할 수 있도록 별도의 카메라를 설치하였다. 또한, 부모에게 제공된 검사 지침서 내용 중 도구를 제시하는 과제에 부모가 제시해야 하는 실물 도구가 글로만 적혀 있어서 어떤 도구를 꺼내야 할지 바로 보이지가 않는다는 피드백이 있었다. 따라서 검사도구를 찾을 때 직관적으로 파악할 수 있도록 검사 도구의 실물 사진을 지침서에 수록하였다. 마지막으로 수용언어 31번 문항인 책상 두드리는 소리를 듣고 그대로 따라 하기에서 채점 과정에서 연구자가 녹화 영상 또는 실시간으로 책상 두드리는 소리의 변별이 어려웠으므로 손뼉 치는 소리로 바꿔 실시하기로 하였다.

2) 대상자 선정 및 사전 부모교육 절차

본 연구를 시작하기 전 모든 연구 참여자에게 연구 목적, 연구 방법, 연구 절차를 자세하게 설명하였으며, 자료 분석을 의한 녹화 및 녹음에 대한 동의를 받았다.

본 검사와 사전 검사는 모두 아동의 가정에서 진행하였으며, 사전에 연구 대상에 적합 여부를 알아보기 위해 선별검사로 수용ㆍ표현 어휘력 검사(Receptive & Expressive Vocabulary Test: REVT, Kim et al., 2009)를 진행하여 수용어휘력 검사의 등가연령이 아동의 생활연령 수준 이상인지를 확인하였다. 또한, 원격검사의 경우, 선별검사 시행 시, 환경적 측면에서 가정 내 검사 기기 및 인터넷 환경, 독립된 2개의 방, 검사에 방해되는 요소들이 있는지 등 검사 환경이 적절한지, 아동의 주의력, 착석 등을 확인하여, 실질적으로 원격검사 진행이 가능한지를 연구자가 사전에 확인하였다, REVT 선별검사는 사전 부모교육이 있는 날에 실시하였고, (1)선별검사를 통해 수용어휘력 검사의 등가연령이 아동의 생활연령 수준 이하인 경우 연구 대상자에서 배제하고, 수용어휘력 검사의 등가연령이 아동의 생활연령 수준 이상인 경우, 최종 연구 방법의 대상으로 확정하였다. 그리고 선정된 연구 대상의 성별과 연령의 비율을 고려하여, (2)대면검사와 원격검사(검사자 주도, 부모 주도)중 하나의 검사로 무작위 배치하였다. 대면검사로 선정된 아동은 당일 PRES 검사를 실시하였고, 원격검사 대상자로 선정된 아동은 본 검사를 위한 사전 부모교육을 시행하였으며, 기본 정보 외에 원격검사 대상자가 검사를 받을 장소와 연구자가 검사를 진행 및 통제할 수 있는 장소의 인터넷 연결 상태 및 보유기기(컴퓨터, 아이패드 등) 등 원격검사 환경을 다시 한번 확인하고, 사전 부모 교육과 더불어 검사 세팅에 대한 교육도 함께 시행하였다. 사전 선별검사 및 부모교육은 총 1시간에서 1시간 30분 정도 소요되었다.

3) 본 실험

(1)검사 환경 세팅

본 실험은 연구자가 실험 상황을 통제할 수 있도록 아동 집의 분리된 공간에서 원격으로 진행하였고, 검사의 세팅 시 고려해야 할 사항은 다음과 같다(Schmitt et al., 2022).

먼저, 검사에 방해될 수 있는 요소들을 제거한다. 검사 전에 미리 아동이 화장실을 사용하거나, 물병을 휴대할 수 있도록 하고, 사용 기기들의 충전 상태를 점검하며, 검사 기기 및 인터넷 연결이 제대로 작동하는지 확인한다.

그리고 PRES의 문항은 실물 검사 도구(장난감 딸랑이, 신발, 컵, 공, 숟가락, 책, 차, 지우개, 상자, 반지, 긴 연필, 짧은 연필, 곰 인형, 강아지 인형, 의자, 스티커, 블록 10개, 큰 찰흙과 작은 찰흙) 19개를 사용해야 한다. 이를 위해 사물이 검사 대상자 집에 있어야 하며, 별도의 카메라를 통해 연구자가 아동이 실제 도구를 조작하는 것을 실시간으로 확인해야 한다. 그림 가리키기 문항 역시 검사자가 그림 보기를 컴퓨터 화면을 통해 제시하고, 아동이 이를 보고 검사자의 지시 사항에 적합한 그림을 지적하는 방법으로 진행되므로 별도의 카메라를 통해 아동이 어떠한 그림을 가리키는지 연구자가 확인할 수 있어야 한다. 또한, 아동의 응답 채점 및 검사 진행을 상황을 실시간으로 파악하고 통제할 수 있도록 zoom의 화면 실시간 녹화 방법을 사용하였다.

마지막으로 본 검사 실시 전 연구대상자 교육을 통해 아동이 공유된 화면에서 간단한 동물의 그림을 보고 가리키고 대답하는 연습을 해봄으로써 실제 본 검사에서 원활하게 검사를 수행할 수 있도록 하였다.

검사 세팅의 예는 Figure 3에, 검사 진행 시, 아동과 연구자가 동시에 보고 있는 Zoom 화면의 예는 Figure 4에 제시하였다.

Figure 3.

Tele-assessment setting

Figure 4.

Tele-assessment screen via Zoom

(2)검사 결과 산출

본 연구에서 수집된 모든 PRES 검사의 결과는 연구자가 산출하였다. 이를 위해 검사자는 원격검사 시, 실시간으로 아동의 응답을 확인하여 채점하였고, 추후, 누락 및 오류를 확인하기 위해 Zoom의 녹화프로그램을 이용하여, 검사 과정 전체를 녹화하였다.

Ⅲ. 연구 결과

1. 아동의 대면검사, 검사자 주도 원격검사, 부모 주도 원격검사, PRES 언어검사 수행력 비교

검사 실시 방법(대면검사, 검사자 주도 원격검사, 부모 주도 원격검사)에 따라 언어발달점수에 통계적으로 유의한 차이가 나타나는지 확인하기 위해 일원배치분산분석(one-way ANOVA)을 실시하였고, 수행력에 대한 기술통계와 일원배치분산분석 결과는 아래의 Table 4과 같다. 즉, 검사실시 방법 간 전체언어발달점수(F_(1,72)=.518, p>.05), 수용언어점수(F_(1,72)=.911, p>.05), 표현언어점수(F_(1,72)=.228, p>.05)의 평균 차는 모두 통계적으로 유의하지 않았다.

Table 4.

ANOVA of PRES score by testing methods

2. 아동의 대면검사, 검사자 주도 원격검사, 부모 주도 원격검사, PRES 언어검사 수행력 간 상관관계

검사 방법 및 PRES 수행력 간의 상관관계를 살펴본 결과는 Table 5와 같다. 첫째, 전체언어점수에서 검사 방법 간의 상관관계를 살펴본 결과, 대면검사는 검사자 주도 원격검사(r=.884, p<.01), 부모 주도 원격검사(r=.796, p<.01)와 정적 상관을 나타냈으며, 검사자 주도 원격검사는 부모 주도 원격검사(r=.719, p<.01)와 정적 상관을 보였다.

Table 5.

Correlation between three testing methods and PRES language score

둘째, 수용언어점수에서 검사 방법 간의 상관관계를 살펴본 결과, 대면검사는 검사자 주도 원격검사(r=.897, p<.01), 부모 주도 원격검사(r=.711, p<.01)와 정적 상관을 나타냈으며, 검사자 주도 원격검사는 부모 주도 원격검사(r=.619, p<.01)와 정적 상관을 보였다.

마지막으로 표현언어점수에서 검사 방법 간의 상관관계를 살펴본 결과, 대면검사는 검사자 주도 원격검사(r=.750, p<.01), 부모 주도 원격검사(r=.794, p<.01)와 정적 상관을 나타냈으며, 검사자 주도 원격검사는 부모 주도 원격검사(r=.839, p<.01)와 정적 상관을 보였다.

Ⅳ. 논의 및 결론

COVID-19는 사회적 거리두기와 이동 제한 등으로 인해 많은 대상자들이 직접 기관을 방문하는 것이 어려워졌고, 이에 따라 의료, 교육, 언어재활 등의 분야에서 원격회의 시스템의 활용이 중요한 대안으로 제시되었다. 이를 통해 언어재활 분야에서도 원격재활의 방법을 채택하는 기관이 많아지면서 엔데믹 이후에도 대면언어재활 평가 및 중재를 보완하는 방법으로 활용되고 있다. 그러나, 하지만 평가 영역에서 원격언어검사의 경우 전통적인 대면검사와 비교해보았을 때, 대상자와의 상호작용과 대상자 반응 관찰 등이 원격 환경에서 다소 제한될 수 있기 때문에 대면검사와 동일한 결과를 산출할 수 있는지의 측면에서 원격검사의 타당성에 대한 의문이 제기되고, 이로 인하여 논란의 여지가 있을 수 있다. 그러므로 원격언어재활서비스는 코로나 이후 새로운 환경에 부응하기 위해 필수적이지만, 원격언어검사의 타당성에 대한 더 많은 연구와 개발이 필요하다.

따라서 본 연구는 취학 전 만 3~5세 아동을 대상으로 대면 및 원격검사 실시 방법에 따라 PRES 언어검사 수행력의 유의한 차이가 있는지 알아보고, 각 검사 실시 방법의 PRES 점수 간에 유의한 상관관계가 있는 확인하여 원격검사의 타당성을 확인해보고자 하였다.

우선, 대면표준화검사인 PRES를 원격 환경에서도 최대한 표준화 지침을 유지하여 실시할 수 있도록 카메라 세팅, 검사 기록, 화상회의프로그램 선정 등 원격검사환경을 구축하고, PRES 검사의 특성상 검사 진행을 위해 부모가 반드시 필요하므로 원격검사를 부모의 역할을 최소화하는 검사자 주도 원격검사와 부모가 검사자의 역할을 하는 부모 주도 원격검사로 나누고, 원격검사 지침서를 제작하였다. 예비 실험을 통해 검사 지침서 및 검사 화면 구성, 검사 과제 제시 방법 등의 수정을 하였고, 최종 검사 진행 시스템을 확정하였다. 그 결과, 다른 선행 연구에서와 마찬가지로 대면 및 원격검사 실시 방법에 따른 일반 아동의 PRES 수행력은 통계적으로 유의한 차이가 없었다. 즉, 검사자가 아동을 직접 대면하여 검사하는 기존의 방식과 Zoom을 통해 원격으로 검사를 시행하는 것에 유의한 차이가 없으므로 원격으로 표준화된 언어평가를 제공하는 것이 가능하며, 원격검사도 대면검사 방식과 마찬가지로 신뢰할 수 있고 유효하다는 것을 밝히고 있는 여러 선행 연구의 결과를 뒷받침한다(Castilla-Earls et al., 2022; Eriks-Brophy et al., 2008; Hodge et al., 2019; Nelson & Plante, 2022; Sutherland et al., 2017; Waite et al., 2010; Wright, 2018).

표준화 검사인 REVT의 대면 및 원격검사를 비교한 Chun과 Hong(2021)의 연구에서 학령전기 언어발달장애 아동을 대상으로 한 수용어휘력 과제에서 대면검사보다 원격검사가 유의하게 낮은 수행률을 보였다. 그 이유를 살펴보면, REVT의 수용어휘력 과제는 4개의 그림을 보고 가리키는 것이기 때문에 높은 주의력과 화면을 통해 제시되는 지시 사항을 이해할 수 있는 지적 능력이 필요한데, 대면검사의 경우, 아동이 주의집중을 하고 있는지, 과제를 보고 있는지, 검사 과제를 이해하고 있는지 등을 검사자가 아동의 표정이나 행동을 통해 바로 판단하여 적절한 개입을 해줄 수 있지만, 원격검사의 경우 그렇지 못하기 때문이라고 언급하였다. 또한 어린 아동들은 검사에 집중하거나, 검사 도구를 조작하는 등의 행동을 할 때 집중력을 유지하는 데 어려움이 있을 수 있고, 언어발달에 어려움이 있는 아동들은 특히 평가 결과를 수집하는 데 어려움이 있다고 하였다(Fairweather et al., 2004; Kwok et al., 2022). 본 연구의 대상은 언어발달장애 아동은 아닌 학령전기 아동으로 그들의 원격검사 과정에서도 어려움은 존재한다. 대면검사에서 연구자는 직접적으로 아동의 반응이나 표정을 손쉽게 확인할 수 있었지만, 검사자 주도 원격검사에서는 화면을 통해서만 아동의 반응을 확인할 수 있었다. 따라서, 아동이 고개를 숙이거나 자리에서 일어나는 등 화면 밖으로 이탈하는 경우나 그림을 제대로 가리키지 않아 응답을 정확히 확인할 수 없는 경우, 재차 아동의 응답을 요구하는 경우가 발생했다. 그리고 대면검사에서는 아동의 주의력이 떨어질 경우, 바로 아동과 눈을 마주치거나 머리를 쓰다듬는 등의 신체적 접촉을 하면서 빠르게 검사를 진행할 수 있었으나, 검사자 주도 원격검사의 경우에는 수행 촉구를 위한 시도가 제한적이었다. 이로 인해 원격검사의 경우, 검사 시간이 지체되었고, 그만큼 아동의 주의집중력 유지시간도 짧아 검사 수행에 어려움을 보였다. 이는 위에 제시한 선행 연구와 동일한 결과로 볼 수 있다. 따라서 원격검사 수행 시, 화면을 통해 과제를 보고, 들을 수 있는 시ㆍ청각 능력, 과제가 제시되는 화면에 집중할 수 있는 주의집중력과 착석유지능력 등 대상자가 원격검사를 수행할 수 능력을 갖추고 있는지 반드시 확인해야 할 것이다(ASHA, 2014). 또한 보호자가 검사에 동석하여 아동의 주의 환기 및 돌발 상황에 대한 대처 등 명확하게 주어진 역할만을 수행하도록 하는 것도 좋은 방법일 것이다. 추후 연구에서는 언어장애 아동을 대상으로 대면 및 원격검사를 비교하여 그 차이가 있는지 살펴봐야 한다.

두 번째로 검사 방법과 언어점수와의 상관관계를 살펴본 결과, 전체언어점수, 수용언어점수, 표현언어점수 모두 유의한 정적 상관관계를 나타내었다. 이를 통해 대면검사, 보호자 주도 원격검사, 검사자 주도 원격검사의 어떠한 방법으로 검사를 수행해도 검사 결과가 유사하게 나타난다는 것으로 해석할 수 있다. Nelson과 Plante(2022)의 연구에서 만 6~18세 51명의 아동과 청소년을 대상으로 언어 및 문해 능력을 평가하는 Test of Integrated Language and Literacy Skills(TILLS)를 6개월 이상의 간격을 두고, 동일한 대상에게 원격 및 대면으로 평가하여 언어장애의 유무를 판별하고, 하위 항목에 대한 부분 상관관계 분석하였을 때, 비단어 반복을 제외한 모든 하위 검사 점수 간에 높은 상관을 보였다. 또한 Test of Narrative Lnguage-Second edition(TNL-2)를 154명의 1~4학년 학령기 아동에게 대면과 원격방법으로 실시한 결과, 담화 수용과 표현능력 모두에서 유의한 상관관계가 나타났다는 연구도 있었다(Magimairaj et al., 2022). 실어증으로 인한 언어문제가 있는 20명의 성인을 대상으로 Western Aphasia Battery-revised(WAB-r)를 대면 및 비대면 방법의 평가 결과 간 높은 상관관계를 보인 선행 연구와도 일치한다(Dekhtyar et al., 2020). 이러한 결과를 보았을 때, 대면검사의 특성을 반영한 적절한 세팅, 기술적인 뒷받침, 보호자 및 검사자 역할에 대한 명확한 지침, 대상자의 협조 등이 갖춰졌을 경우 원격 언어검사의 타당성을 확보할 수 있음에 대해 확인할 수 있었다.

본 연구의 제한점은 다음과 같다.

첫째, 연구의 대상자가 만 3~5세의 일반 아동을 대상으로 대면 및 원격검사의 실시 방법에 따라 PRES 수행력이 유의하게 다르지 않은 것으로 나타났다. 연구에 참여한 아동의 경우 대면검사 25명이었고, 부모와 같이 검사 절차를 실시하는 원격검사의 경우, 검사자 주도 원격검사 25쌍, 부모 주도 원격검사 25쌍이었다. 이를 통해 연구 결과를 일반화하는 데 한계가 있을 것이다.

둘째, 본 연구의 대상자는 만 3~5세 일반 아동을 대상으로 하고 있다. 일반 아동의 경우, 검사를 위한 집중력 유지시간이 장애 아동에 비해 긴 편이었으나, 검사 시간이 길어짐에 따라 피로를 느끼는 아동은 중간에 휴식 시간이 필요했다. 하지만 휴식을 주는 타이밍이 모두 일정하지 못했고 길이도 다른 것으로 나타났다.

따라서 본 연구의 후속 연구를 위한 제언은 다음과 같다.

첫째, 후속 연구에서는 대상자 수를 많이 확보하여 대규모 연구를 통해 대면 및 원격검사 실시 방법의 타당성을 확인하는 것이 필요할 것이다.

둘째, 후속 연구에서는 장애 아동을 대상으로 원격검사를 진행한다면, 그들이 가지고 있는 개인적인 어려움 즉, 주의력이나 인지 능력의 부족 등이 대면검사와 원격검사에 차이에 영향을 미치는지 파악해야 할 것이다.

셋째, 본 연구는 연구 대상 어머니 50명 중 2명을 제외하고는 모두 대학 이상의 학력 수준을 가지고 있었기 때문에 비대면검사의 실시절차 및 진행방법을 이해하는 데 큰 어려움이 없었다. 하지만 연구 대상의 어머니가 검사 과제의 이해에 어려운 인지 능력을 가졌거나, 어머니와 아동과의 상호작용 능력에 따라 그 결과는 달라질 것이다. 따라서, 추후 연구에서는 대상 어머니의 지적 능력 및 아동과의 상호작용 능력 등과 같은 개인적 특성이 대면 및 원격검사의 수행력에 미치는 영향에 대해서도 살펴봐야 할 것이다.

넷째, 부모 주도 원격검사를 실시할 때, 표준화된 언어평가를 제시된 방법에 맞게 실시할 수 있도록 사전 교육 및 부모 검사 지침서를 제공하였음에도, 자칫 결과에 영향을 줄 수 있는 요소들이 존재할 수 있다. 그러므로 원격검사 시 주의사항 등에 대해 구체적인 사례로 제시하고, 지침서를 숙지하게 하는 등의 부모교육을 강화해야 한다.

Acknowledgments

이 논문은 김임순(2024)의 석사학위 논문을 수정ㆍ보완하여 작성한 것임.

이 연구는 2021년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임 (No. NRF-2021S1A3A2A01096102).

This article was based on the first author’s master’s thesis from Ewha Womans University (2024).

This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (No. NRF-2021S1A3A2A01096102).

References

• Aggarwal, K., Patel, R., & Ravi, R. (2021). Uptake of telepractice among speech-language therapists following COVID-19 pandemic in India. Speech, Language and Hearing, 24(4), 228-234. [https://doi.org/10.1080/2050571X.2020.1812034]
• American Psychological Association. (2020). Guidance on psychological tele-assessment during the COVID-19 crisis. Retrieved from http://www.apaservices.org/practice/reimbursement/health-codes/testing/tele-assessment-covid-19
• American Speech-Language-Hearing Association. (2014). Telepractice. Retrieved from https://www.asha.org/practice-portal/professional-issues/telepractice/#collapse_1
• American Speech-Language-Hearing Association. (n.d.). Teleassessment. Retrieved from https://www.asha.org/practice/teleassessment/
• American Speech-Language-Hearing Association. (2020). Assistants code of conduct [Ethics]. Retrieved from https://www.asha.org/policy/
• American Speech–Language–Hearing Association. (2021) Considerations for speech, language, and cognitive assessment via telepractice [online]. [Accessed 22 April 2021]. Available: https://www.asha.org/slp/clinical/considerations-for-speech-language-and-cognitive-assessment-via-telepractice/
• Behl, D. D., Blaiser, K., Cook, G., Barrett, T., Callow-Heusser, C., Brooks, B. M., . . . White, K. R. (2017). A multisite study evaluating the benefits of early intervention via telepractice. Infants & Young Children, 30(2), 147-161. [https://doi.org/10.1097/YC.0000000000000090]
• Campbell, J., Theodoros, D., Hartley, N., Russell, T., & Gillespie, N. (2020). Implementation factors are neglected in research investigating telehealth delivery of allied health services to rural children: A scoping review. Journal of Telemedicine and Telecare, 26(10), 590-606. [https://doi.org/10.1177/1357633X19856472]
• Castilla-Earls, A., Ronderos, J., McIlraith, A., & Martinez, D. (2022). Is bilingual receptive vocabulary assessment via telepractice comparable to face-to-face? Language, Speech, and Hearing Services in Schools, 53(2), 454-465. [https://doi.org/10.1044/2021_LSHSS-21-00054]
• Chun, W., & Hong, G. H. (2021). The utility of telepractice in language assessment for children with language developmental disabilities and parental satisfaction survey. Journal of the Korea Contents Association, 21(7), 510-518. [https://doi.org/10.5392/JKCA.2021.21.07.510]
• Cole, C., Martin, V., Moody, J., & Miller, B. (1986). Speech pathology at a distance. Australian Communication Quarterly, 2, 17-19.
• Coleman, J. J., Frymark, T., Franceschini, N. M., & Theodoros, D. G. (2015). Assessment and treatment of cognition and communication skills in adults with acquired brain injury via telepractice: A systematic review. American Journal of Speech-Language Pathology, 24(2), 295-315. [https://doi.org/10.1044/2015_AJSLP-14-0028]
• Crutchley, S., Dudley, W., & Campbell, M. (2010). Articulation assessment through videoconferencing: A pilot study. Communications of Global Information Technology, 2, 12-23.
• Dekhtyar, M., Braun, E. J., Billot, A., Foo, L., & Kiran, S. (2020). Videoconference administration of the Western Aphasia Battery-Revised: Feasibility and validity. American Journal of Speech-Language Pathology, 29(2), 673-687. [https://doi.org/10.1044/2019_AJSLP-19-00023]
• Edwards, M., Stredler-Brown, A., & Houston, K. T. (2012). Expanding use of telepractice in speech-language pathology and audiology. The Volta Review, 112(3), 227-242. [https://doi.org/10.17955/tvr.112.3.m.704]
• Eriks-Brophy, A., Quittenbaum, J., Anderson, D., & Nelson, T. (2008). Part of the problem or part of the solution? Communication assessments of aboriginal children residing in remote communities using videoconferencing. Clinical Linguistics & Phonetics, 22(8), 589-609. [https://doi.org/10.1080/02699200802221737]
• Fairweather, C., Parkin, M., & Rozsa, M. (2004). Speech and language assessment in school-aged children via videoconferencing. Presentation at 26th World Congress of the International Association of Logopedics and Phonatrics 29 August-2 September Brisbane, Australia, 2004.
• Fairweather, G. C., Lincoln, M. A., & Ramsden, R. (2016). Speech-language pathology teletherapy in rural and remote educational settings: Decreasing service inequities. International Journal of Speech-Language Pathology, 18(6), 592-602. [https://doi.org/10.3109/17549507.2016.1143973]
• Farmer, R. L., McGill, R. J., Dombrowski, S. C., Benson, N. F., Smith-Kellen, S., Lockwood, A. B., . . . Stinnett, T. A. (2021). Conducting psychoeducational assessments during the COVID-19 crisis: The danger of good intentions. Contemporary School Psychology, 25(1), 27-32. [https://doi.org/10.1007/s40688-020-00293-x]
• Fong, R., Tsai, C. F., & Yiu, O. Y. (2021). The implementation of telepractice in speech language pathology in Hong Kong during the COVID-19 pandemic. Telemedicine and e-Health, 27(1), 30-38. [https://doi.org/10.1089/tmj.2020.0223]
• Gibson, J. L., Pennington, R. C., Stenhoff, D. M., & Hopper, J. S. (2010). Using desktop videoconferencing to deliver interventions to a preschool student with autism. Topics in Early Childhood Special Education, 29(4), 214-225. [https://doi.org/10.1177/0271121409352]
• Grogan-Johnson, S., Alvares, R., Rowan, L., & Creaghead, N. (2010). A pilot study comparing the effectiveness of speech language therapy provided by telemedicine with conventional on-site therapy. Journal of Telemedicine and Telecare, 16(3), 134-139. [https://doi.org/10.1258/jtt.2009.090608]
• Guo, Y. E., Togher, L., Power, E., Hutomo, E., Yang, Y.-F., Tay, A., . . . Koh, G. C.-H. (2017). Assessment of aphasia across the international classification of functioning, disability and health using an iPad-based application. Telemedicine and e-Health, 23(4), 313-326. [https://doi.org/10.1089/tmj.2016.0072]
• Hao, Y., Franco, J. H., Sundarrajan, M., & Chen, Y. (2021). A pilot study comparing tele-therapy and in-person therapy: Perspectives from parent-mediated intervention for children with autism spectrum disorders. Journal of Autism and Developmental Disorders, 51(1), 129-143. [https://doi.org/10.1007/s10803-020-04439-x]
• Hodge, M. A., Sutherland, R., Jeng, K., Bale, G., Batta, P., Cambridge, A., . . . Silove, N. (2019). Literacy assessment via telepractice is comparable to face-to-face assessment in children with reading difficulties living in rural Australia. Telemedicine and e-Health, 25(4), 279-287. [https://doi.org/10.1089/tmj.2018.0049]
• Iacono, T., Johnson, H., Humphreys, J., & McAllister, L. (2007). Recruitment of speech pathologists into positions considered less attractive. Advances in Speech-Language Pathology, 9(3), 204-212. [https://doi.org/10.1080/14417040600949659]
• Jung, S. I., Lim, S., Jo, E., Sim, H. S., Sung, J. E., & Kim, Y. T. (2020). The efficacy of telepractice intervention for children & adolescents with speech, language & hearing impairments: A meta-analysis. Communication Sciences & Disorders, 25(4), 976-986. [https://doi.org/10.12963/csd.20756]
• Kim, H. J., & Kwon, S. B. (2018). The effect of augmented reality-based language therapy program on the vocabulary strength improvement in children with language developmental delay. Journal of Speech-Language & Hearing Disorders, 27(3), 87-96.
• Kim, M. H., & Sim, Y. H. (2012). Early children’s portfolio assessment and participation in the assessment for parents looking. Journal of Early Childhood Education & Educare Administration, 16(1), 29-57.
• Kim, S. J., Kang, J. K., Kim, Y. T., & Hong, K. Y. (2023). A study of validity and satisfaction of tele-assessment. Communication Sciences & Disorders, 28(2), 372-385. [https://doi.org/10.12963/csd.23971]
• Kwok, E. Y. L., Chiu, J., Rosenbaum, P., & Cunningham, B. J. (2022). The process of telepractice implementation during the COVID-19 pandemic: A narrative inquiry of preschool speech-language pathologists and assistants from one center in Canada. BMC Health Services Research, 22, 81. [https://doi.org/10.1186/s12913-021-07454-5]
• Lim, Y.-R., & Sim, H.-S. (2016). Effect of speechreading telepractice intervention using smartphone on speechreading ability of young deaf adults. Special Education Research, 15(3), 125-154.
• Macoir, J., Desmarais, C., Martel-Sauvageau, V., & Monetta, L. (2021). Proactive changes in clinical practice as a result of the COVID-19 pandemic: Survey on use of telepractice by Quebec speech-language pathologists. International Journal of Language & Communication Disorders, 56(5), 1086-1096. [https://doi.org/10.1111/1460-6984.12669]
• Magimairaj, B. M., Capin, P., Gillam, S. L., Vaughn, S., Roberts, G., Fall, A.-M., & Gillam, R. B. (2022). Online administration of the test of narrative language-second edition: Psychometrics and considerations for remote assessment. Language, Speech, and Hearing Services in Schools, 53(2), 404-416. [https://doi.org/10.1044/2021_lshss-21-00129]
• McGill, M., Noureal, N., & Siegel, J. (2019). Telepractice treatment of stuttering: A systematic review. Telemedicine and e-Health, 25(5), 359-368. [https://doi.org/10.1089/tmj.2017.0319]
• Molini-Avejonas, D. R., Rondon-Melo, S., de La Higuera Amato, C. A., & Samelli, A. G. (2015). A systematic review of the use of telehealth in speech, language and hearing sciences. Journal of Telemedicine and Telecare, 21(7), 367-376. [https://doi.org/10.1177/1357633x15583215]
• Nelson, N. W., & Plante, E. (2022). Evaluating the equivalence of telepractice and traditional administration of the test of integrated language and literacy skills. Language, Speech, and Hearing Services in Schools, 53(2), 376-390. [https://doi.org/10.1044/2022_lshss-21-00056]
• Reynolds, A. L., Vick, J. L., & Haak, N. J. (2009). Telehealth applications in speech-language pathology: A modified narrative review. Journal of Telemedicine and Telecare, 15(6), 310-316. [https://doi.org/10.1258/jtt.2009.081215]
• Roopnarine, J., & Johnson, J. E. (2010). Approaches to early childhood education (5th ed.; J. H. Lee, E. J. Lee, S. Y. Sung, B. H. Lee, H. J. Jeon, & J. R. Ahn, Trans.). Seoul: Academy Press.
• Samadi, S. A., Bakhshalizadeh-Moradi, S., Khandani, F., Foladgar, M., Poursaid-Mohammad, M., & McConkey, R. (2020). Using hybrid telepractice for supporting parents of children with ASD during the COVID-19 lockdown: A feasibility study in Iran. Brain Sciences, 10(11), 892. [https://doi.org/10.3390/brainsci10110892]
• Savard, L., Borstad, A., Tkachuck, J., Lauderdale, D., & Conroy, B. (2003). Telerehabilitation consultations for clients with neurologic diagnoses: Cases from rural Minnesota and American Samoa. NeuroRehabilitation, 18(2), 93-102. [https://doi.org/10.3233/nre-2003-18202]
• Schmitt, M. B., Tambyraja, S., Thibodeaux, M., & Filipkowski, J. (2022). Feasibility of assessing expressive and receptive vocabulary via telepractice for early elementary-age children with language impairment. Language, Speech, and Hearing Services in Schools, 53(2), 445-453. [https://doi.org/10.1044/2021_lshss-21-00057]
• Sicotte, C., Lehoux, P., Fortier-Blanc, J., & Leblanc, Y. (2003). Feasibility and outcome evaluation of a telemedicine application in speech-language pathology. Journal of Telemedicine and Telecare, 9(5), 253-258. [https://doi.org/10.1258/135763303769211256]
• Sutherland, R., Hodge, A., Trembath, D., Drevensek, S., & Roberts, J. (2016). Overcoming barriers to using telehealth for standardized language assessments. Perspectives of the ASHA Special Interest Groups, 1(18), 41-50. [https://doi.org/10.1044/persp1.sig18.41]
• Speech–Language & Audiology Canada. (2020) Update for members and associates on COVID‐19 [online]. [Accessed 26 April 2021]. Available: https://www.sac‐oac.ca/update‐members‐and‐associates‐covid‐19, .
• Sutherland, R., Trembath, D., Hodge, A., Drevensek, S., Lee, S., Silove, N., & Roberts, J. (2017). Telehealth language assessments using consumer grade equipment in rural and urban settings: Feasible, reliable and well tolerated. Journal of Telemedicine and Telecare, 23(1), 106-115. [https://doi.org/10.1177/1357633x15623921]
• Sutherland, R., Trembath, D., Hodge, M. A., Rose, V., & Roberts, J. (2019). Telehealth and autism: Are telehealth language assessments reliable and feasible for children with autism? International Journal of Language & Communication Disorders, 54(2), 281-291. [https://doi.org/10.1111/1460-6984.12440]
• Theodoros, D., Hill, A., Russell, T., Ward, E., & Wootton, R. (2008). Assessing acquired language disorders in adults via the internet. Telemedicine and e-Health, 14(6), 552-559. [https://doi.org/10.1089/tmj.2007.0091]
• Tucker, J. K. (2012). Perspectives of speech-language pathologists on the use of telepractice in schools: Quantitative survey results. International Journal of Telerehabilitation, 4(2), 61-72. [https://doi.org/10.5195/ijt.2012.6100]
• Waite, M. C., Theodoros, D. G., Russell, T. G., & Cahill, L. M. (2010). Internet-based telehealth assessment of language using the CELF-4. Language, Speech, and Hearing Services in Schools, 41(4), 445-458. [https://doi.org/10.1044/0161-1461(2009/08-0131)]
• Wales, D., Skinner, L., & Hayman, M. (2017). The efficacy of telehealth-delivered speech and language intervention for primary school-age children: A systematic review. International Journal of Telerehabilitation, 9(1), 55-70. [https://doi.org/10.5195/ijt.2017.6219]
• Wright, A. J. (2018). Equivalence of remote, online administration and traditional, face-to-face administration of the Woodcock-Johnson IV cognitive and achievement tests. Archives of Assessment Psychology, 8(1), 23-35.

참 고 문 헌

• 김명희, 심윤희 (2012). 부모가 바라보는 유아 포트폴리오 평가와 평가참여. 유아교육ㆍ보육복지연구, 16(1), 29-57.
• 김영태, 성태제, 이윤경 (2003). 취학전 아동의 수용언어 및 표현언어 발달 척도. 서울: 서울장애인종합복지관.
• 김영태, 홍경훈, 김경희, 장혜성, 이주연(2009). 수용ㆍ표현 어휘력 검사. 서울: 서울장애인종합복지관.
• 김혜진, 권순복 (2018). 증강현실 기반 언어치료 프로그램이 언어발달지체 아동의 어휘력 향상에 미치는 효과. 언어치료연구, 27(3), 87-96.
• 임예람, 심현섭 (2016). 스마트폰을 이용한 원격 독화 중재가 청년층 청각장애인의 독화 능력에 미치는 영향. 특수교육, 15(3), 125-154.
• 정상임, 임성희, 조은하, 심현섭, 성지은, 김영태 (2020). 아동 및 청소년을 대상으로 한 원격 언어치료 효과에 관한 메타분석. Communication Sciences & Disorder, 25(4), 976-986.
• 천웅, 홍경훈 (2021). 언어발달장애 아동의 원격 언어검사의 효용성 및 부모 만족도 조사. 한국콘텐츠학회논문지, 21(7), 510-518.
• Roopnarine, J. & Johnson, J. E. (2010). 영ㆍ유아 프로그램의 다양성과 역동성(제5판; 이진희, 윤은주, 성소영, 이병호, 전홍주, 안지령 역). 서울: 아카데미프레스.