Korean Speech-Language & Hearing Association(KSHA)
[ ORIGINAL ARTICLE ]
Journal of Speech-Language & Hearing Disorders - Vol. 31, No. 2, pp.107-115
ISSN: 1226-587X (Print) 2671-7158 (Online)
Print publication date 30 Apr 2022
Received 17 Feb 2022 Revised 18 Mar 2022 Accepted 30 Apr 2022
DOI: https://doi.org/10.15724/jslhd.2022.31.2.107

의사소통 장애 중재에서의 인공지능 활용에 대한 동향 연구

강진경1 ; 강혜원2 ; 이수복3, * ; 심현섭4
1이화여자대학교 일반대학원 언어병리학과 박사후연구원
2이화여자대학교 일반대학원 언어병리학과 박사과정
3우송대학교 언어치료학ㆍ청각학과 교수
4이화여자대학교 언어병리학과 교수
Research Trends on the Use of Artificial Intelligence in Intervention for Communication Disorders
Jin Kyong Kang1 ; Hye Won Kang2 ; Soo Bok Lee3, * ; Hyun Sub Sim4
1Dept. of Communication Disorders, Graduate School, Ewha Womans University, Postdoctoral Researcher
2Dept. of Communication Disorders, Graduate School, Ewha Womans University, Doctoral Student
3Dept. of Speech-Language Therapy & Aural Rehabilitation. Woosong University, Professor
4Dept. of Communication Disorders, Ewha Womans University, Professor

Correspondence to: Soo Bok Lee, PhD E-mail : sblee@wsu.ac.kr

Copyright 2022 ⓒ Korean Speech-Language & Hearing Association.
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

초록

목적:

본 연구에서는 말ㆍ언어장애 분야 중 특히 중재 또는 의사소통 능력 향상을 위한 프로그램에 초점을 두어 인공지능이 어떻게 활용되고 있는지 국·내 외의 최근 연구 동향을 파악하고자 한다.

방법:

2016년부터 2021년 8월까지 발간된 최근 5년 내의 국내ㆍ외 논문 총 12편을 분석 문헌으로 최종 선정하여 연구 현황, 연구 대상(연령에 따른 분석, 진단에 따른 분석), 연구 분야에 따른 분석(언어치료 분야에 따른 분석, 언어치료 목적에 따른 분석), 연구 형태(설계)에 따라 분석하여 최근의 연구 동향을 살펴보고자 한다.

결과:

첫째, 2018년부터 인공지능을 이용한 의사소통 능력 향상을 위한 중재 프로그램 개발 및 적용 연구가 꾸준히 진행되고 있었다. 둘째, 주요 연구 대상은 아동(58%)이었으며, 연구 대상의 주요 장애는 청각장애, 자폐범주성장애가 가장 많았다. 셋째, 분석 문헌 중 총 58%의 연구에서 기술개발에 관한 연구보고서와 이를 활용한 실효성을 검증하는 실험적 중재연구를 모두 포함하였다. 넷째, 인공지능 활용 형태는 웨어러블 기기, 로봇, 챗봇, 인공지능 스피커 등이 있었다. 중재 프로그램에서 주로 다루어진 목표는 의사소통 기술(60%), 말 명료도(30%)인 것으로 나타났다.

결론:

본 연구를 통해 인공지능기술이 빠르게 발전하고 다양한 분야에 적용되고 있는 현재의 흐름에 맞추어 의사소통 장애 분야에서 인공지능을 활용할 수 있는 방안을 탐색하고 실제 임상현장에서 적용하는 것에 시사점을 제공하는 데에 본 연구의 의의가 있다.

Abstract

Purpose:

The purpose of this study is to identify trends in how artificial intelligence is being used in the field of speech and language disorders, especially by focusing on interventions or programs to improve communication skills.

Methods:

A total of 12 domestic and foreign studies published within the last 5 years between 2016 and August 2021 were selected and analyzed according to the research status, research subjects (analysis according to age, analysis according to diagnosis), and research field (analysis according to the field of speech language intervention program, analysis according to the purpose of speech language intervention program). The research type (design) will be analyzed to examine the latest research trends.

Results:

First, there has been a steady trend of research on language intervention using artificial intelligence since 2018. Second, The major subjects of studies were children (58%), and the major disorders of research subjects were HI (42%) and ASD (42%). Third, in 58% of the studies, both research reports on technology development and experimental and intervention studies verifying effectiveness using them were included. Forth, forms of AI utilization included wearable devices, robots, chatbots, and a AI speakers. The major intervention goals of studies were communication skills (60%), and speech intelligibility (30%).

Conclusions:

Through this study, in line with the current flow of rapid development of artificial intelligence technology and application to various fields, this study aims to explore ways to utilize artificial intelligence in the field of communication disorders and provide implications for application in clinical settings.

Keywords:

Artificial intelligence (AI), deep learning, machine learning

키워드:

인공지능, 딥러닝, 머신러닝

Ⅰ. 서 론

인공지능(artificial intelligence: AI)은 지능적인 업무를 기계에게 시키고자 연구하는 컴퓨터과학의 분야이나, 최근 수십년에 걸쳐 급속한 발전을 거치면서 현재는 일상생활 구석구석에서 인간의 삶 전반에 큰 영향을 주고 있다(Kim et al., 2019; Robila & Robila, 2020).

인공지능은 사람 수준의 인식 및 인지능력, 계획 수립, 학습, 의사소통과 신체적 행동이 요구되는 업무를 해결하기 위하여 컴퓨터로 개발된 인공 시스템이다. 인공지능은 컴퓨터에 지능적 업무를 하도록 명령하는 일종의 기술이다. 인공지능은 문제를 해결하는 단계적 방법 즉 알고리즘을 코드화하여 자동적으로 수행하도록 고안된 것으로, 알고리즘으로 만드는 지능이라고 볼 수 있다. 인공지능이 다루는 기술은 사물과 세상, 인간의 언어를 사용하여 소통하게 하는 인식기술, 판단하여 의사결정 하며, 계획을 수립하고 문제를 해결하는 기술, 지식을 이용하여 새로운 사실을 추론하는 기술, 주어진 데이터로부터 배우는 기술이 있다. 현재까지 개발된 인지능력과 문제 해결 능력으로 다양한 업무를 자동화하고 있는데, 단순 반복 작업은 물론, 고도의 인지능력이 필요한 작업들도 점차 자동화되고 있다. 뿐만 아니라 업무를 자동화함으로써 사람의 오류를 줄이고 더 나은 결정을 빠르게 내릴 수 있도록 발전되고 있다. 이로 인하여 반복적인 단순 작업은 인공지능에 맡기고 사람은 좀 더 창의적이고 독창적인 업무에 집중할 수 있다는 장점이 생긴다(Kim, 2020). 인공지능을 활용하여 좋은 연구 결과를 얻기 위해서는 많은 데이터가 필요한데, 이는 단점이자 장점으로 작용할 수 있다. 인공지능을 활용한 데이터 분석은 많은 데이터에 대한 기존의 연구 방법과 같은 유의성 도출은 할 수 없다는 단점이 있다. 대신 특정 경향성을 보여줌으로써 어떤 현상의 일반적 속성을 보여주는데 탁월성이 있다고 보고되었다(Song et al., 2020). 인공지능에서 기계학습을 통해 얻어지는 결과물은 상관관계에 의한 것이기 때문에 인과관계의 설명이나 계층 관계의 이해 등과 같은 설명을 얻어내기는 어렵다고 볼 수 있으며, 이는 인공지능을 활용한 연구의 단점이라고 볼 수 있다. 또한 데이터에는 편견이 작용 될 수 있는데, 이를 통해 얻는 인공지능에서의 결과물 역시 이러한 취약점을 띌 수 있다는 한계점이 있고, 또한 인공지능은 학습되지 않은 문제에 대해서는 처리할 수 없으므로 새로운 지식을 통합하고 응용하여 일반화에 이르는 과정을 기대하기는 어렵고 학습을 달리할 때마다 결과치가 달라질 수 있으므로 편향되지 않은 데이터를 수집하고 결과를 통해 특정 경향성을 파악하는 것은 연구자의 몫으로 남아있다고 볼 수 있다(Kim, 2020; Oleson et al., 2019).

이러한 한계점이 있음에도 불구하고 인공지능의 개발 및 다양한 영역에서의 활용은 거스를 수 없는 흐름이며, 이에 발맞추어 현재 언어병리학 분야에서 인공지능 기술을 진단 평가 및 중재에 활용하려는 노력들이 국내ㆍ외에서 나타나고 있다. 인공지능은 객관적 말 언어 평가에 도움이 되며, 특히 많은 데이터의 수집이나 수동 코딩에 드는 임상가의 에너지를 덜어주어 언어재활사의 언어문제에 대한 의사결정능력을 지원하고 향상시켜주는 수단이 될 수 있다. 또한 대상자를 위한 개별화된 치료를 계획하는 데 도움을 주고, 치료에 대한 대상자의 반응을 추적하는 데에 도움이 될 수 있으며, 언어재활사의 개별 사례에 대한 기록과 같은 임상 관련 문서 업무의 자동화를 통해 언어재활사의 노력과 시간을 줄여줄 수 있다(Van Stan et al., 2017). 언어재활사의 노력과 시간이 인공지능의 도움을 받아 줄어든다면 그만큼의 여유는 질적이며 효율적인 서비스로 대상자에게 돌아갈 수 있을 것이다. 이 외에도 대상자 입장에서는 치료에 대한 시간, 공간적 접근성이 개선되는 도움을 인공지능을 활용한 여러 보조프로그램을 통해 받을 수 있다는 장점이 있다. 이와 같은 방식으로 인공지능은 언어재활사의 관행을 재구성할 것으로 보인다(Law, 2020; Liss, 2020).

현재 언어재활 분야에서 인공지능이 활용되는 상황을 보면 우리의 일상에서 필수품이 된 휴대폰의 앱을 활용하여 사람의 음성을 녹음하고 분석하는 경우는 물론, 언어장애, 자폐스펙트럼장애 등에서 전형적인 인간 행동과 그렇지 않은 행동을 모니터링 하는 인공지능 프로그램이 개발되고 있으며, 구개열, 뇌성마비, 파킨슨병, 다운 증후군, 뇌졸중, 외상성 뇌 손상, 근위축성 측삭 경화증(ALS) 환자들로부터 음성 녹음을 수집하여 음성 인식 모델을 개발하고 있는 등 인공지능과 관련한 연구가 진행 중에 있으며(Dhillon et al., 2021; Law, 2020; Van Stan et al., 2017), 머신러닝 등의 기법에서 말소리장애를 지닌 사람의 음성 인식율을 개선하기 위한 연구가 이루어졌다(Lee & Mun, 2020; Lee et al., 2019). 또한 신경언어장애군의 중재 자극을 한국어의 특징을 고려하여 빅데이터 기반으로 분석한 기초자료 연구가 이루어졌는데, 머신러닝을 통해 산출된 어휘 간 의미 거리를 중재 자극 선정에서 활용해보고자 그 가능성을 탐색한 연구가 있었다(Park et al., 2019).

그러나 국내의 경우, 현재 언어병리학 분야에서의 인공지능 관련 연구가 제한적이고 특히 중재와 관련한 인공지능 활용이 적어 주제와 방법이 어떠한 경향성을 토대로 논의되고 있는지에 대한 전반적인 고찰이 어렵다. 해외 연구의 경우에도 아직 말·언어장애 중재 분야에서의 인공지능 활용에 대한 종합적인 고찰은 부족한 현실이다. 따라서 본 연구는 말ㆍ언어장애 분야 중 특히 중재 또는 의사소통능력 향상을 위한 프로그램에 초점을 두어 인공지능이 어떻게 활용되고 있는지 동향을 파악하고자 한다. 이를 위해 2016년부터 2021년 8월까지 발간된 최근 5년 내의 국내ㆍ외 논문 12편을 분석하여 연구 현황, 연구 대상, 연구 분야, 연구 형태(설계), 연구에서 다루어진 중재 혹은 프로그램의 특성에 따라 최근의 연구 동향을 살펴보고자 한다.


Ⅱ. 연구 방법

1. 문헌 검색 및 선정

논문은 CINAHL, EBSCOHost, Google Scholar, PubMed, ScienceDirect, Web of Science, RISS, DBpia, Kyobo scholar Journal의 전자저널 데이터베이스를 기반으로 검색하였다. 검색어는 “artificial intelligence”, “AI”, “deep learning”, “machine learning”, “big date”, “speech language pathology” 의 각 분야가 포함되도록 하였다. 검색 결과 328편의 논문이 검색되었고, 이중 중복되는 153개의 논문을 제외하고, 초록을 기반으로 선별하여 95개의 논문을 선정하였다. 이후 수작업을 통해 중재와 관련된 논문만 포함하였으며, 선정된 논문의 전문을 분석하여 출판년도, 전문 제공(full-text), peer review로 제한하였고 학술대회 proceeding을 제외하였다. 또한 포함 및 제외 기준을 적용하여 총 12편의 논문을 선정하였다. 분석 대상 논문의 포함 기준으로는 (1)연구 대상으로는 말ㆍ언어장애 및 의사소통장애와 관련될 것, (2)연구 분야로는 인공지능기술, 빅데이터, 머신러닝, 딥러닝 기술을 활용한 연구, (3)연구 형태로는 중재 및 중재를 위한 프로그램과 관련된 연구를 분석 대상 논문으로 포함하였으며, 이러한 기준에 부합되지 않은 연구들은 분석 대상에서 제외하였다(Figure 1).

Figure 1.

Flow chart

2. 문헌 분석 방법

선정된 12편의 논문들은 연구 현황, 연구 대상, 연구 형태(설계)에 따른 분석, 중재 또는 프로그램 내용으로 구분하여 분석하였다.


Ⅲ. 연구 결과

1. 연구 현황

2016년부터 2021년 8월까지 언어 중재와 인공지능 관련 연구의 연도별 현황을 국내외로 살펴본 결과 2016년과 2017년의 경우 중재 관련 논문은 없었으며 2018년은 4편(33.33%), 2019년 3편(25.00%), 2020년에 3편(25.00%)의 연구가 발표되었다. 2021년의 경우, 1월부터 8월까지 게재된 논문은 2편(16.67%)으로 2018년 이후 인공지능을 활용한 언어중재 관련 연구가 꾸준히 이루어지고 있는 추세를 보이고 있다(Table 1).

Current states of research by year

2. 연구 대상 분석

1) 연령에 따른 분석

연구 대상을 연령에 따라 분류한 결과, 연령 범위는 아동(만 3~14세), 청소년(만 18세), 성인(만 18세 이후)으로 구분하였다. 그 결과 아동 대상 연구가 7편(58.33%)으로 가장 많았고, 청소년 대상 연구가 1편(8.33%), 성인 대상 연구 2편(16.67%), 아동과 성인을 모두 포함하는 연구가 2편(16.67%)으로 나타났다(Figure 2). 아동과 성인을 포함하는 연구 2편 중 1편의 경우 청각장애로 인한 의사소통의 어려움을 지닌 부모와 그들의 건청 자녀를 대상으로 한 연구였다.

Figure 2.

Comparison participant’s age

2) 진단명에 따른 분석

연구 대상을 진단명에 따라 분류한 결과, 청각장애를 대상으로 한 연구가 5편(41.66%), 자폐스펙트럼장애를 대상으로 한 연구가 5편(41.66%)으로 가장 많았고, 지적장애 1편(8.33%), 자폐스펙트럼장애와 지적장애를 포함하여 발달장애로 분류한 연구가 1편(8.33%)이었다(Figure 3).

Figure 3.

Comparison of diagnosis

3. 연구 형태 분석

언어중재와 관련한 연구 형태는 크게 치료 및 중재 관련 기술 개발에 관한 개발연구 논문과 개발된 프로그램 및 도구를 활용한 실험연구, 개발된 프로그램 및 도구를 활용한 중재연구의 방향으로 나타났다. 분석대상 중 7편(58.33%)은 기술개발에 관한 연구보고와 이를 활용하여 효과성을 검증하는 실험 및 중재연구 두 가지 모두를 포함하였다. 구체적으로 살펴보면 이 중 3편은 직접적인 의사소통 중재라기보다는 의사소통 능력을 향상시키는데 필요한 기술의 개발을 위하여 여러 가지 조합의 방법 중 최적의 기술을 찾기 위한 실험연구였으며(25.00%), 4편은 개발된 프로그램을 활용한 중재연구였다(33.33%). 또한 전체 분석연구 중 3편(25.00%)은 기존에 개발된 인공지능 프로그램을 활용한 중재연구만을 다루었다. 나머지 2편(16.67%)은 기술개발에 관한 연구보고만을 다루었다(Table 2).

Comparison of study type

4. 중재 또는 프로그램 내용 분석

1) 중재 또는 의사소통능력 향상을 위해 개발된 프로그램에서의 인공지능 활용의 특성

각 연구에서 인공지능을 중재에 활용하는 방식은 안경 형태나, 의복 형태의 로봇 등과 같은 웨어러블 디바이스를 활용하여 직접 대상자가 착용하여 중재 활동 시 인공지능의 도움을 받는 형태로 진행되는 형태가 2편(Voss et al., 2019; Xiao et al., 2020), 대상자와 함께 중재 활동에 참여하는 로봇의 형태가 1편(Rudovic et al., 2018)으로 나타났다. 특히, 대상자가 웨어러블 디바이스를 착용하고 로봇과 함께 상호작용도 하는 형태가 1편 있었다(Melo et al., 2019). 또한 인공지능 스피커를 활용한 중재가 3편(Kim & Jeong, 2020; Kim & Yim, 2021; Park & Yim, 2021)이며, 챗봇을 보조적 형태로 활용한 연구가 1편(Ireland et al., 2018)이었다. 또한 기존에 이미 존재하고 있던 언어 문법 교정기를 활용한 인공지능 기반 AAC 프로그램이 1편(Park et al., 2020)이었다.

청각장애 연구 3편의 경우 청각장애인의 의사소통능력 향상을 위하여 인공지능 프로그램 또는 기술을 개발하여 효과성을 검증하는 형태로 진행되었다. 3편 모두에서 헤드폰을 통해 인공지능을 통해 프로그래밍된 조절된 형태 소리 자극을 들려주는 형식으로 연구가 진행되었는데, 그 중 1편에서는 인공와우를 이식한 대상자의 말명료도 향상을 위하여 인공와우신호처리기(CI signal processors)의 소음감쇄기능(noise reduction)을 높이는데 딥러닝 기반 잡음제거 오토 인코더(deep denoising autoencoder)와 소음분류기(noise classifier)가 결합된 형태의 프로그램의 효과성을 입증하였다(Lai et al., 2018). 나머지 2편에서는 보청기를 사용하는 청각장애인의 소음상황에서의 말명료도 향상을 위하여 딥러닝 알고리즘을 개발하여 효과성을 입증하였다(Healy et al., 2019; Zhao et al., 2018)(Table 3).

Comparison of characteristics using AI

2) 중재 또는 프로그램의 목표

분석대상 문헌 중 중재 및 실험이 포함된 총 10편에서 다루어진 목표는 대화 차례 주고받기, 눈맞춤, 의사소통의도 산출 빈도, 사회적 상호작용의 유지 등을 포함한 의사소통능력 향상이 6편(Melo et al., 2019; Kim & Jeong, 2020; Kim & Yim, 2021; Park & Yim, 2021; Voss et al., 2019; Xiao et al., 2020)에서 다루어졌고, 말명료도 향상 3편(Healy et al., 2019; Lai et al., 2018; Zhao et al., 2018), 이야기 이해 2편(Kim & Yim, 2021; Park & Yim, 2021), 이야기 문법 1편(Kim & Yim, 2021), 평균 발화 길이 1편(Park & Yim, 2021), 발성 빈도 1편(Melo et al., 2019)이 있었다. 그 외 직접적인 말ㆍ언어 의사소통능력에 관한 측정치는 아니었지만, 말ㆍ언어 측정치와 함께 얼굴 표정 읽기를 통한 감정에 대한 인식 및 표현능력 3편(Rudovic et al., 2018; Voss et al., 2019; Xiao et al., 2020), 적응행동 향상 1편(Voss et al., 2019) 등 말ㆍ언어능력과 관련된 기타 분야를 다룬 연구가 있었다(Table 4).

Comparison of goals in intervention programs


Ⅳ. 논의 및 결론

본 연구에서는 2016년부터 2021년 8월까지 최근 5년간 국내ㆍ외의 말ㆍ언어장애 분야 중 중재 또는 의사소통능력 향상을 위한 프로그램과 관련하여 인공지능이 어떻게 활용되고 있는지 동향을 파악하기 위하여 관련 연구 총 12편을 분석하였다.

첫째, 연구 현황을 분석한 결과, 2016년과 2017년도에는 게재된 연구가 없는 것으로 나타났으나, 2018년부터 매년 3~4편의 논문이 게재되고 있는 것으로 볼 때, 최근 언어재활 분야에서 인공지능을 활용하고자 하는 시도가 꾸준히 이루어지고 있는 것을 볼 수 있었다.

둘째, 연령 및 진단에 따라 연구 대상을 분석한 결과, 연령의 경우, 아동 연구 58%, 성인 연구 17%, 전 연령 대상 연구 17%, 청소년 연구 8% 순으로 나타났다. 즉 중재 관련 연구에서 아동을 대상으로 한 연구가 활발히 이루어지고 있다는 것을 알 수 있었다. 진단에 따른 분류의 경우, 청각장애를 대상으로 한 연구 42%, 자폐스펙트럼장애를 대상으로 한 연구가 42%, 지적장애 8%, 자폐스펙트럼장애와 지적장애를 포함하여 발달장애로 분류한 연구가 8%의 순으로 나타나, 청각장애와 자폐스펙트럼장애 분야에서 인공지능을 활용한 중재 프로그램의 개발이 활발하게 이루어지고 있는 것으로 보여 진다. 특히 기존에도 청각장애 관련 보조도구의 활발한 기술적 탐색이 이루어져 인공와우의 조기 적용 및 기술의 정교화, 보청기 기술의 발달로 인한 사용자 편의성 증가의 흐름이 나타나고 있었는데, 여기에 인공지능 기술의 적용을 통해 청각장애의 의사소통 문제에 보다 획기적인 발전이 있을 것을 기대하게 한다.

셋째, 연구 형태를 분석한 결과, 치료 및 중재 관련 기술 개발에 관한 개발연구, 개발된 프로그램 및 도구를 활용한 실험연구, 개발된 프로그램 및 도구를 활용한 중재연구로 분류되었다. 분석대상 중 58%는 기술개발에 관한 연구보고와 이를 활용하여 효과성을 검증하는 실험 및 중재연구 두 가지 모두를 포함하였다. 25%는 기존에 개발된 인공지능 프로그램을 활용한 중재연구만을 다루었다. 나머지 17%는 기술개발에 관한 연구보고만을 다루었다. 기술개발 보고 또는 기술개발 및 개발된 프로그램의 효과성을 검증하는 연구의 비율이 높은 것은(약 75%) IT 전문가가 주도한 연구의 비율이 전체 연구 중 다수(75%)를 차지하기 때문인 것으로 보인다. 즉, 언어재활 분야에서의 인공지능 연구는 현재까지 주로 IT 전문가에 의해 주도되고 있는 경우가 많으며 이후 개발된 프로그램들을 실제 임상현장에 적용하여 중재 효과를 검증하고 개발된 프로그램의 다양한 적용 방법이 모색되어야 할 필요성이 있다고 보여 진다.

넷째, 위에서 기술한 바와 같이 인공지능을 활용한 말ㆍ언어장애 분야의 중재연구 분야에서는 아직까지 컴퓨터과학, 매체 전문가 등과 같은 공학 전문가 주도의 연구가 주로 이루어지고 있다. 본 연구에서 분석한 12편의 문헌 중 총 9개의 문헌에서 공학 전문가가 주저자였으며, 언어병리학 전문가는 2편, 나머지 1편은 교사가 주도한 연구였다. 또한 공학 전문가가 주도한 9편의 연구에서도 공동저자의 대부분이 공학전문가로 구성되었으며, 각 연구에서 언어병리학 전문가는 1명 또는 0명이 포함되었다. 즉 선정된 문헌을 통해 현재까지 인공지능 알고리즘이 다양하게 개발되어지고 있다는 것을 알 수 있으나, 이를 통해 구체적이고 체계적인 중재효과가 밝혀지고 더 좋은 인공지능 프로그램은 무엇인지, 구체적으로 어떤 영역에서보다 효과적인지를 밝혀지기 위한 증거기반 자료로 활용되는 데에는 한계가 있는 것으로 보여 진다. 또한 연구에서 다루어진 중재의 구체적인 내용이나 프로그램의 구성 등 실제적으로 언어병리학 임상분야에서 주된 관심사가 되는 내용들이 부족하다는 한계점이 있었다. 이러한 점은 본 연구의 한계점으로 남아있으며, 추후 언어병리학 전문가의 인공지능 중재 프로그램 개발에 대한 적극적인 참여와 주도적인 역할이 필요하다고 보여 진다.

다섯째, 중재 또는 의사소통 향상을 위해 개발된 프로그램에서의 인공지능 활용의 특성을 분석한 결과, 웨어러블 디바이스를 대상자가 착용하여 중재 활동 시 인공지능의 도움을 받는 형태로 진행되거나, 대상자와 함께 중재 활동에 참여하는 인공지능 로봇의 형태로 나타났다. 또는 대상자가 웨어러블 디바이스를 착용하고 인공지능 로봇과 함께 상호작용하는 형태가 있었다. 또한 인공지능 스피커를 활용한 중재, 챗봇을 보조적 형태로 활용한 연구가 있었다. 청각장애인의 의사소통 능력 향상을 위하여 인공지능 프로그램 또는 기술로 소리 자극에 대한 처리를 조절하여 효과성을 검증하는 형태가 있었다. 종합해보면, 말ㆍ언어장애의 중재에서 인공지능이 활용되는 특성은 더 좋은 치료 도구 개발을 위한 노력의 일환으로써 인공지능기술을 활용하여 프로그램 및 컨텐츠 개발을 하고자 하는 노력 또는, 치료의 보조 수단으로써 인공지능을 활용하는 형태로 나타났다고 볼 수 있다(Liss, 2020).

여섯째, 중재 목표를 분석한 결과 대화 차례 주고받기, 눈맞춤, 의사소통의도 산출 빈도, 사회적 상호작용의 유지 등을 포함한 의사소통 능력의 향상을 다루는 논문이 6편으로 가장 많았고, 말명료도 향상 3편, 이야기 이해 2편, 이야기 문법, 평균 발화 길이, 발성 빈도가 각각 1편씩 있었으며, 말ㆍ언어능력 이외에도 얼굴 표정 읽기를 통한 감정에 대한 인식 및 적절한 표현능력, 적응행동 향상과 같은 의사소통과 관련된 기타 기술 등이 포함되었다. 즉 전반적인 의사소통 능력을 향상시키는데 보조적인 수단으로써의 인공지능의 활용이 두드러진 것으로 보인다. 또한 이야기 이해, 이야기 문법, 평균 발화 길이 및 어휘력과 같이 언어영역의 다양한 부분에서 인공지능기술을 활용함으로써, 말ㆍ언어장애 중재의 전반에 걸쳐 새로운 시도들이 꾸준히 이루어지고 있다는 것을 시사하고 있다.

본 연구는 국ㆍ내외의 말ㆍ언어장애 분야에서 중재 및 치료를 위한 노력의 일환으로 인공지능의 활용이 어떻게 이루어지고 있는지 동향을 파악하고자 하였다. 인공지능기술이 빠르게 발전하고 다양한 분야에 적용되고 있는 현재의 흐름에 맞추어 이를 말 언어장애 중재에 활용하는 데에 언어병리학 전문가의 적극적인 참여가 요구된다고 볼 수 있겠다. 인공지능을 활용할 수 있는 방안 탐색과 실제 임상현장에서 적용하는 것에 시사점을 제공하는 데에 본 연구의 의의가 있다고 볼 수 있다.

Acknowledgments

이 연구는 2021년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임(No. 2021-0-00406, 언어 발달 지체 및 장애 아동을 위한 언어치료 플랫폼 개발).

이 연구는 2021년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(NRF-2021S1A3A2A01096102).

This work was supported by Institute of Information & communications Technology Planning & Evaluation (IITP) grant funded by the Korea government (MSIT) (No. 2021-0-00406, Development of language therapy platform for children with language development delays and disabilities).

This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (NRF-2021S1A3A2A01096102).

Reference

  • Dhillon, H., Chaudlhari, P. K., Dhingra, K., Kuo, R. F., Sokhi, R. K., Alam, M. K., & Ahmad, S. (2021). Current applications of artificial intelligence in cleft care: A coping review. Frontiers in Medicine, 8, 1-14. [https://doi.org/10.3389/fmed.2021.676490]
  • Healy, E. W., Delfarah, M., Johnson, E. M., & Wang, D. (2019). A deep learning algorithm to increase intelligibility for hearing-impaired listeners in the presence of a competing talker and reverberation. The Journal of the Acoustical Society of America, 145(3), 1378-1388. [https://doi.org/10.1121/1.5093547]
  • Ireland, D., Bradford, D., & Farr-Wharton, G. (2018). Social fringe dwellers: Can chat-bots combat bullies to improve participation for children with autism? The Journal of Community Informatics, 14(1), 105-119. [https://doi.org/10.15353/joci.v14i1.3405]
  • Kim, D., & Jeong, E. H. (2020). The effect of interaction using artificial intelligence speakers on communication intention and pragmatic characteristics of students with intellectual disabilities. The Study of Education for Hearing-Language Impairments, 11(3), 91-113.
  • Kim, J. H. (2020). AI's strongest classes. Seoul: Maeil Business Newspaper
  • Kim, S., Kim, S. H., & Kim, H. C. (2019). Analysis of international educational trends and learning tools for artificial intelligence education. Proceedings of the Korean Society of Computer Information Conference, 23(2), 25-28.
  • Kim, S. Y., & Yim, D. (2021). The effects of parent training on narrative interaction for parents with hearing loss who have children with normal hearing: A case study using AI speakers. Journal of Speech-Language & Hearing Disorders, 30(1), 89-101. [https://doi.org/10.15724/jslhd.2021.30.1.089]
  • Lai, Y. H., Tsao, Y., Lu, X., Chen, F., Su, Y. T., Chen, K. C., ... & Lee, C. H. (2018). Deep learning–based noise reduction approach to improve speech intelligibility for cochlear implant recipients. Ear and Hearing, 39(4), 795-809. [https://doi.org/10.1097/AUD.0000000000000537]
  • Law, B. M. (2020). AI: A new window into communication disorders? Leader Live.
  • Lee, D., & Mun, M. K. (2020). Development of a machine learning-based language corrector for AI speakers of patients with articulation disorders. Proceedings of The Korean Association of Computer Education, 28(2), 371-372.
  • Lee, H. K., Kim, S., & Yang, K. W. (2019). A study on improving speech recognition rate (H/W, S/W) of speech impairment by neurological injury. Journal of the Korea Institute of Information and Communication Engineering, 23(11), 1397-1406.
  • Liss, J. (2020). How will artificial intelligence reshape speech-Language pathology services and practice in the future? ASHA Journals Academy. Retrieved from https://academy.pubs.asha.org/2020/08/how-will-artificial-intelligence-reshape-speech-language-pathology-services-and-practice-in-the-future/
  • Melo, F. S., Sardinha, A., Belo, D., Couto, M., Faria, M., Farias, A., ... & Ventura, R. (2019). Project INSIDE: Towards autonomous semi-unstructured human–robot social interaction in autism therapy. Artificial Intelligence in Medicine, 96, 198-216. [https://doi.org/10.1016/j.artmed.2018.12.003]
  • Oleson, J. J., Brown, G. D., & McCreery, R. (2019). The evolution of statistical methods in speech, language, and hearing sciences. Journal of Speech, Language, and Hearing Research, 62(3), 498-506. [https://doi.org/10.1044/2018_JSLHR-H-ASTM-18-0378]
  • Park, C., Kim, Y. H., Jang, Y., Umadevi, G. R., & Lim, H. S. (2020). An AI service to support communication and language learning for people with developmental disability. Journal of the Korea Convergence Society, 11(6), 51-57.
  • Park, C., Lim, Y., & Sung, J. E. (2019). Machine-learning and corpus-based analyses of Korean nouns from subjects and objects: Stimuli development of verb treatment for neurogenic communication disorders. Communication Sciences & Disorders, 24(4), 968-985. [https://doi.org/10.12963/csd.19659]
  • Park, W., & Yim, D. (2021). Effects of using a communication maintenance strategy in the context of AI speaker and preschoolers’ conversation and book reading interaction: Comparison of group differences on the levels of expressive language development. Journal of Speech-Language & Hearing Disorders, 30(2), 1-8. [https://doi.org/10.15724/jslhd.2021.30.2.001]
  • Robila, M., & Robila, S. A. (2020). Applications of artificial intelligence methodologies to behavioral and social sciences. Journal of Child and Family Studies, 29(10), 2954-2966. [https://doi.org/10.1007/s10826-019-01689-x]
  • Rudovic, O., Lee, J., Dai, M., Schuller, B., & Picard, R. W. (2018). Personalized machine learning for robot perception of affect and engagement in autism therapy. Science Robotics, 3(19). [https://doi.org/10.1126/scirobotics.aao6760]
  • Song, S., Chon, H., & Lee, S. (2020). Analyzing the disfluency of reading tasks of persons who stutter based on deep learning and word embedding. Communication Sciences & Disorders, 25(3), 721-737. [https://doi.org/10.12963/csd.20755]
  • Van Stan, J. H., Mehta, D. D., & Hillman, R. E. (2017). Recent innovations in voice assessment expected to impact the clinical management of voice disorders. Perspectives of the ASHA Special Interest Groups, 2(3), 4-13. [https://doi.org/10.1044/persp2.SIG3.4]
  • Voss, C., Schwartz, J., Daniels, J., Kline, A., Haber, N., Washington, P., ... & Wall, D. P. (2019). Effect of wearable digital intervention for improving socialization in children with autism spectrum disorder: A randomized clinical trial. JAMA Pediatrics, 173(5), 446-454. [https://doi.org/10.1001/jamapediatrics.2019.0285]
  • Xiao, W., Li, M., Chen, M., & Barnawi, A. (2020). Deep interaction: Wearable robot-assisted emotion communication for enhancing perception and expression ability of children with autism spectrum disorders. Future Generation Computer Systems, 108, 709-716. [https://doi.org/10.1016/j.future.2020.03.022]
  • Zhao, Y., Wang, D., Johnson, E. M., & Healy, E. W. (2018). A deep learning based segregation algorithm to increase speech intelligibility for hearing-impaired listeners in reverberant-noisy conditions. The Journal of the Acoustical Society of America, 144(3), 1627-1637. [https://doi.org/10.1121/1.5055562]

참 고 문 헌

  • 김동인, 정은희 (2020). 인공지능 스피커를 활용한 상호작용이 지적장애 학생의 의사소통의도와 화용론적 특성에 미치는 영향. 한국청각언어장애교육연구, 11(3), 91-113.
  • 김수환, 김성훈, 김현철 (2019). 해외 인공지능 교육동향과 학습도구 분석. 한국컴퓨터교육학회 학술발표대회논문집, 23(2), 25-28.
  • 김신영, 임동선 (2021). 건청 자녀를 둔 청각장애 부모를 대상으로 한 이야기 상호작용 교육의 효과: AI 스피커를 활용한 사례 연구. 언어치료연구, 30(1), 89-101.
  • 김진형 (2020). AI 최강의 수업. 서울: 매일경제신문사.
  • 박원정, 임동선 (2021). AI 스피커의 상호작용 유지 전략 사용 여부가 아동 발화 및 이야기 이해 수행에 미치는 영향: 표현 언어발달 수준에 따른 차이 비교 연구. 언어치료연구, 30(2), 1-8.
  • 박찬준, 김양희, 장윤나, Umadevi G. R., 임희석 (2020). 발달장애인을 위한 커뮤니케이션과 언어 학습 증진을 위한 인공지능 서비스. 한국융합학회논문지, 11(6), 51-57.
  • 박채원, 임윤섭, 성지은 (2019). 신경언어장애군의 동사 중재 자극 개발을 위한 기계학습 및 빅데이터 기반 한국어의 주격 및 목적격 명사 분석. Communication Science & Disorders, 24(4), 968-985.
  • 송상헌, 전희정, 이수복 (2020). 딥러닝-워드임베딩을 기반으로 한 말더듬 대상자의 읽기과제 비유창성 분석. Communication Science & Disorders, 25(3), 721-737.
  • 이동헌, 문미경 (2020). 조음장애인용 AI 스피커를 위한 머신러닝 기반 언어교정기 개발. 한국컴퓨터정보학회 학술발표논문집, 28(2), 371-372.
  • 이형근, 김순협, 양기웅 (2019). 신경학적 손상에 의한 언어장애인 음성 인식률 개선 (H/W, S/W)에 관한 연구. 한국정보통신학회논문지, 23(11), 1397-1406.

Appendix

분석된 문헌 요약

Figure 1.

Figure 1.
Flow chart

Figure 2.

Figure 2.
Comparison participant’s age

Figure 3.

Figure 3.
Comparison of diagnosis

Table 1.

Current states of research by year

Year Domestic Foreign Total
2016 0 0 0
2017 0 0 0
2018 0 4 4
2019 0 3 3
2020 2 1 3
2021 2 0 2
Total 4 8 12

Table 2.

Comparison of study type

Type N (%)
Note. Values are presented as number of publication (%).
Development & Experiment study 7 (58%)
Development study 2 (17%)
Experiment study 3 (25%)
Total 12 (100%)

Table 3.

Comparison of characteristics using AI

Type N (%)
Note. Values are presented as number of publication (%).
Wearable device 2 (17%)
Robot 1 ( 8%)
Wearable device & Robot 1 ( 8%)
AI speaker 3 (25%)
Chatbot 1 ( 8%)
Etc 4 (33%)
Total 12 (100%)

Table 4.

Comparison of goals in intervention programs

Type N
Communication skills 6
Speech intelligibility 3
Story comprehension 2
Story grammar 1
MLU 1
Vocalization 1

Appendix.Ⅰ

분석된 문헌 요약

Study Diagnosis Age Study type Mode of AI used Aim Analysis parameters Sample size Outcome
1 Voss et al. (2019)s 자폐 범주성장애 아동
(6~12세)
프로그램개발보고+실험+중재 웨어러블디바이스(구글스마트글래스) 스마트글래스를 착용과 스마트폰 앱을 활용하여 대상자의 표정을 분석하고 사회적 단서를 제공하여 자폐아동의 사회적 의사소통능력을 향상시키고자 함 사회적 의사소통능력 71명
(실험집단 40명, 통제집단 31명)
중재집단은 대조군과 비교하여 사회적 의사소통능력에서 유의한 개선을 보임
2 Xiao et al. (2020) 자폐 범주성장애 아동
(구체적 연령 없음)
프로그램개발보고+실험 웨어러블 로봇 자폐아동의 상호작용 능력을 높이기 위해 감정을 인식하고 표현하는 것을 돕는 웨어러블 로봇을 개발하고 감정 인식에 효과적인 인공지능 프로그램에 대한 타당성 검증 실시 표정인식샘플, 음성데이터 샘플 1,285개의 음성샘플에서 분리한 5,792개의 분석데이터 음성모델 및 표정인식 프로그램에 대한 타당도가 적절한 것으로 검증됨
3 Rudovic et al. (2018) 자폐 범주성장애 아동
(3~13세)
프로그램개발보고+실험 로봇 대상자의 표정, 음성, 팔다리의 움직임, 체온, 맥박을 측정하여 감정상태를 파악하고 이를 통해 로봇이 자폐아동의 감정과 참여를 인식하게 하여 자폐아동 치료에 도움을 주고자 함 오디오, 비디오, 자율생리학적인 다양한 데이터 세트 35명 자폐아동의 감정과 참여를 인식하는 것에 대하여 인간 전문가와 60% 일치율을 보임
4 Melo et al. (2019) 자폐 범주성장애 아동
(구체적 연령 없음)
프로그램개발보고+실험+중재 로봇, 웨어러블디바이스 둘 다 활용 자폐아동의 사회적 상호작용을 증진시키고자 함 로봇과의 사회적 상호작용이 포함된 활동에서의 수행율, 눈맞춤, 발성빈도, 심박동 수, 등 아동반응을 측정하여 자폐아동의 사회적 상호작용을 증진하고자 함 로봇과의 사회적 상호작용이 포함된 활동에서의 수행율, 눈 맞춤, 발성빈도, 심박동수 등 아동반응 18명 15~25분간의 121회기의 중재가 4주간 진행되었으며, 모든 아동에게서 활동 수행율 50%이상, 눈맞춤 빈도 증가, 로봇을 향한 발성빈도 증가가 나타났음
5 Ireland et al. (2018) 자폐 범주성장애 아동
(구체적 연령 없음)
프로그램개발보고 스마트폰 챗봇 프로그램 스마트폰 챗봇 프로그램의 괴롭힘상황대처모드(bullying module)을 개발하고 이를 활용하여 ASD대상자들의 괴롭힘 상황에서의 의사소통을 돕고자 함 챗봇프로그램을 사용하는 자폐아동과 관련된 부모, 교사, 언어치료사와의 인터뷰를 통한 사용성 평가 7명의 자폐아동 관련 부모, 교사, 언어치료사 개발된 챗봇프로그램은 자폐아동이 괴롭힘을 인식하고 그에 대응할 수 있는 사회적 의사소통능력을 함양시키도록 돕는데 유용한 도구인 것으로 평가됨
6 Healy et al. (2019) 청각 장애 성인
(18~73세)
프로그램개발보고+실험연구 의사소통능력 향상을 위한 보조도구의 개발 소음상황(경쟁적인 화자의 말소리, 소리의 울림)에서 청각장애인의 말명료도 향상을 위한 딥러닝알고리즘 개발 및 실험연구 말명료도 20명
(실험집단 10명, 통제집단 10명)
난청 대상자의 듣기 명료도를 감소시킬 수 있는 요인인 소리의 울림(반향, reverberation)과 경쟁적인 화자의 말소리를 제거하는 알고리즘을 통해 명료도 증진
7 Zhao et al. (2018) 청각 장애 성인
(19~74세)
프로그램개발보고+실험연구 소음상황(소리의 울림, 배경소음)에서 청각장애인의 말명료도 향상을 위한 딥러닝알고리즘 개발 및 실험연구 말명료도 22명
(실험집단 12명, 통제집단 10명)
소음상황(반향, 베경 소음)에서 산출되는 발화에 대한 감각신경성난청 대상군 청자들의 명료도를 증진시키기 위해 DNN 기반의 알고리즘을 사용한 결과 소음상황에서 산출되는 말소리 특징을 추출하여 명료도를 높임
Study Diagnosis Age Study type Mode of AI used Aim Analysis parameters Sample size Outcome
8 Lai et al. (2018) 청각 장애 아동 및 성인
(10~45세)
프로그램개발보고+실험연구 의사소통능력 향상을 위한 보조도구의 개발 인공와우이식술을 받은 청각장애인에 대하여 여러 가지 소음상황(비행기 엔진, 자동차 엑셀 밟는 소리 등)에서 기존의 소음감쇄기능 기법과 딥러닝기반 소음감쇄기능을 위한 접근법을 비교 분석 말명료도 9명의 인공와우이식수술을 받은 대상자 기존의 소음감쇄기능 기법에 비하여 딥러닝 기반의 소음분류와 잡음제거 오토인코더의 결합된 방식이 인공와우 이식자의 말명료도 향상에 도움을 주는 것을 나타남
9 박찬준 외(2020 발달 장애
(ID, ASD)
아동
(0~14세)
프로그램 개발 보고 픽토그램 및 영어문법교정기를 활용한 AI프로그램 발달장애 아동을 위한 AI기반 AAC프로그램 개발. 문장을 입력하면 해당 문자에 대한 문법교정을 거친 후 교정된 문장을 바탕으로 픽토그램을 생성함
10 박원정, 임동선(2021) 청각 장애 아동
(4~6세)
중재연구 인공지능스피커(카카오미니) AI스피커와 아동의 대화 및 동화 읽기 상호작용 과정에서 AI스피커의 반응방식에 따라 아동의 발화 및 이야기 이해 수행력에 차이가 나타나는지, 또한 이러한 수행력이 아동의 표현 언어 발달 수준에 따라 차이가 있는지 알아보고자 함 AI스피커의 상호작용 유지전략(선행발화 모방)과 단절반응에 따른 아동 발화의 MLU, 대화차례주고받기 횟수 및 이야기이해질문에 대한 정답의 수 측정 8명 상호작용 유지전략을 사용할 경우 대화상황 및 동화 읽기 상호작용 모두에서 아동의 대화차례주고받기 횟수가 유의하게 증가함. 또한 상호작용 유지전략을 사용한 동화읽기 상황에서 표현 언어 발달 수준이 높은 아동이 유의하게 이야기 이해 수행력이 높게 나타남
11 김신영, 임동선(2021) 청각 장애 청각장애 부모와 그들의 건청 자녀
(3~6세)
중재연구 인공지능스피커(카카오미니) 이야기 상호작용 부모교육 전 후 아동의 이야기문법 산출수행력과 부모-자녀 간 상호작용을 평가하여 비교함. 부모교육에 대한 이야기 상호작용 훈련에 AI스피커 프로그램을 활용하였음 AI스피커를 통한 동화 2가지, 아동의 이야기 문법 및 이야기 이해 수행율, 부모의 이야기 상호작용 행동(주의집중 유도, 호응, 평가, 확장/확대, 회상, 사실적 질문하기, 추론적 질문하기, 경험과 연결시키기, 모방시키기, 추론적 대화, 이야기문법)의 빈도 청각장애부모와 그들의 건청자녀 총 10명 부모교육 이후 모든 아동들의 과제 수행력이 향상됨. 과제를 수행한 4명의 부모 중 4명의 부모가 부모교육 이후 책읽기에서의 상호작용 종류 및 빈도가 증가함
12 김동인, 정은희(2020) 지적 장애 청소년
(18세)
중재연구 인공지능스피커(카카오미니) AI스피커를 활용한 상호작용이 지적장애 학생의 의사소통의도와 화용론적 특성에 미치는 영향을 알아보고자 함 AI스피커와의 상호작용 상황 시 대상자의 의사소통의도 산출빈도, AI스피커의 정반응율 변화를 분석함 3명 AI스키퍼를 활용한 상호작용이 대상자의의사소통의도 산출빈도를 증가시킴. 단 회기가 거듭될수록 AI스피커의 정반응율이 높은 참여자는 의사소통의도 산출 빈도가 증가하였지만 그렇지 않은 참여자는 변화가 나타나지 않음. 중재의 매개체로서의 AI스피커 활용, 반복학습 및 교정의 가상 멘토로써 AI스피커 활용을 제안함