한국 청소년 말더듬 검사(KAST) 도구 개발 연구: 구어 유창성 평가를 중심으로
초록
말더듬 청소년은 말더듬 아동이나 성인과는 다른 특성을 가지고 있음도 불구하고 이들만을 위한 말더듬 검사도구는 국내에 없다. 이에 본 연구자들은 청소년용 말더듬 검사인 한국 청소년 말더듬 검사(Korean Adolescent Stuttering Test: KASA)를 개발하고자 하였고, 검사의 하위 검사인 구어 유창성 평가를 위한 과업과 문항을 개발하고 내용타당도와 안면타당도를 분석을 통해 문항을 수정하고자 하였다.
연구대상은 내용타당도 측정을 위한 언어치료를 전공하고 치료 또는 강의 경력이 10년 이상인 전문가를 10명을 대상으로 하였고, 안면타당도 측정을 위해서는 중고등학생 각 10명씩 20명으로 하였다(남 10명, 여 10명). 내용타당도와 안면타당도는 개발된 문항을 제시하고 타당한 정도를 5점 척도로 응답하게 하였고, 내용타당도는 내용타당도지수를 산출하였고, 안면타당도 결과는 중고등학생 각 집단과 성별 집단의 평균을 구하였다.
첫째, 구어유창성 과업으로 읽기과업을 위하여 6개 읽기자료, 질문에 답하기 과업을 위하여 11개 질문유형의 55개 질문, 장면말하기 과업을 위하여 25개의 장면, 주제이야기 과업을 위하여 25개 주제를 선정하였다. 둘째, 내용타당도 결과 전반적으로 CVI가 .80이상으로 나타나 높은 타당도를 보였고, 상대적으로 낮게 평정된 문항과 전문가의 수정제의가 있었던 문항이 있었다. 셋째, 안면타당도 결과 전체적으로 안면타당도가 낮은 문항, 중고등 학령간, 남녀 성별간에 편차가 크게 나타난 문항의 수정 필요성이 있었다.
KAST 문항 개발과 내용타당도 및 안면타당도 과정을 통해 국내 청소년에게 보다 적합한 문항으로 수정개발이 가능하게 되었다. 검사도구의 개발과정에서 검사자와 피검자의 양쪽 입장에서 문항에 타당도를 검증하는 과정은 검사도구의 타당성을 확보하기 위한 매우 중요한 과정이라고 생각되며, 후속적으로 KAST 검사도구 개발과 표준화 과정이 이어져야 할 것이다.
Abstract
Although adolescents who stutter (AWS) have different characteristics from children who stutter (CWS) and peoples who stutter (PWS), there is no stuttering test tool for them in Korea. This study intended to develop a Korean Adolescent Stuttering Test (KASA), which is a test for AWS, and to analyze the content validity and facial validity.
The subjects of the study were 10 specialists who had majored in speech-language therapy and who had clinical or teaching experience of more than 10 years for the assessment of content validity. To measure facial validity, 20 students participated (10 middle- and 10 high school students). Content validity and facial validity were rated on a 5-point scale. First, the content validity index was calculated, then the facial validity result was obtained for each group of middle and high school students and genders.
First, 6 reading materials for reading task, 55 questions in 11 question types for answering task, 25 scenes for scene speaking task, and 25 topics for topic story task were selected for the spoken fluency task. Second, the results of the content validity test showed that the overall CVI was over .80, which showed high validity. There were relatively low-rated items and expert's suggestions. Third, there was a need to revise the items with relatively low facial validity, and high difference items between middle school students and high school students, and between gender.
The development of the KAST tasks and items and the content validity and facial validity process made it possible to develop a valid stuttering test for AWS. The process of verifying the items on both sides of the examiner and the subject during the development of the test tool is considered to be an important process for ensuring the validity of the test tool. Subsequently, KAST development and standardization process should be continued.
Keywords:
Adolescent stuttering test, speech fluency test, content validity, facial validity키워드:
청소년 말더듬 검사, 구어 유창성 검사, 내용타당도, 안면타당도Ⅰ. 서 론
말은 다른 사람들에게 자신을 표현하고, 주변 세계를 탐구하고, 소통하기 위한 필수적인 수단이다. 의사소통장애인들은 소통과 표현의 어려움을 갖게 되고, 이로 인해 다양한 문제(disability)와 사회적 불이익(handicap)을 받게 된다. 의사소통장애 중 유창성장애에 해당되는 말더듬은 발달기에 시작되어 청소년기를 거쳐 성인기까지 지속된다. 말더듬이 발생하는 초기에는 말더듬에 대한 인식이 없거나 아주 약해서, 부정적인 정서가 강하게 형성되지 않지만, 청소년기와 성인기로 나아가면서 말더듬의 증상이 보다 복잡해지고 내면화 된다(Guitar, 2014).
현대 사회에서 말을 유창하게 하는 것은 매우 중요한 일이다. 특히 청소년기에는 학업을 유지하거나 또래 관계를 유지하는데 유창성은 더욱 그 의미가 부각된다. 이 시기는 자기소개, 발표 등과 같은 방법으로 자신을 표현하게 되고 이러한 의사결정이 향후 삶의 방향을 좌우할 수 있기 때문에 그 어느 때보다 치열하게 경쟁하게 된다. 유창한 화자가 유창성을 유지하기 위해서는 많은 요인들이 영향을 미치는데, 이러한 요인들의 영향으로 나타나는 말더듬 행동은 초기에는 반복이나 연장으로 시작하여서 심한 막힘으로 진행되며, 점차 투쟁이나 회피로 진행되어간다. 청소년 시기의 말더듬 행동은 불수의적 행동들이 점차적으로 강화되어 의사소통 상황에서 자신의 의사를 정상적으로 표현하지 못하게 되기 때문에 불안이나 좌절감이 더욱 두드러진다(Manning, 2010). 그러므로 말더듬이 가지고 있는 본질적인 특성을 파악하기 위해서 진단 평가할 때 겉으로 드러나는 행동적인 요소인 외현적 특성뿐만 아니라, 내면적인 정서 및 인지적인 특성까지 다루어야 한다(Guitar, 1998; Chang et al., 2014).
이러한 다차원적인 말더듬에 대해 장애 유무 및 심한 정도를 평가하는 것은 치료의 효과를 알아보는데 매우 중요하다. 또한 말더듬인들에게 다양한 중재프로그램의 효과를 검증하기 위해서는 무엇보다 중재 전후의 심한 정도에 대한 특성과 검사가 유용한 정보가 된다. 따라서, 치료사 및 연구자들은 말더듬을 보다 정확하게 평가하기 위하여 신뢰도가 높고, 타탕한 검사 도구를 사용해야 한다(Shin et al., 2017a).
말더듬의 핵심행동과 부수행동 등의 외현적 특성에 초점을 두고 말더듬 심한정도를 평가하는 검사에는 P-FA-Ⅱ(Sim et al, 2010), 말더듬정도측정검사(Stuttering Severity Instrument for Children & Adult: SSI-4)(Riley, 2009), 유창성 인터뷰(Fluency Interview: FI)(Ryan, 2001) 등이 있다. 또한 내면적 특성을 평가하는 검사에는 의사소통태도 검사(Erickson, 1969), 자아효능감 검사(Ornstein & Manning, 1985), 말더듬지각 검사(Woolf, 1967), 행동통제소 검사(Craig et al., 1984) 등이 있다. 그리고 국내에서는 말더듬인들의 이러한 내면적 특성을 검사하는 도구들을 표준화하는 연구가 진행되었다. 의사소통 태도 검사 도구(S-24)의 표준화 연구(Kim & Kwon, 2005), 주관적 말더듬 선별검사에 대한 기초연구(Kim & Shin, 2007), 말더듬지각 검사(PSI)의 국내적용을 위한 예비연구(Kim et al., 2010), 말더듬 성인용 말하기 효능감 검사의 표준화 연구(Shin et al., 2013), 말더듬 내면적 검사 간의 상관연구: 한국판 의사소통 태도 검사, 한국판 말더듬 지각 검사, 말하기 효능감 검사를 중심으로(Kim et al., 2015) 등이 있다.
외현적 평가 도구를 살펴보면, P-FA-Ⅱ와 SSI-3는 취학전 아동, 학령기 아동, 중학생 이상(성인)으로 대상을 구분하여 발화를 수집하도록 되어 있다. 이는 말더듬 핵심행동과 부수적 행동에 학습화된(Guitar, 1998) 12세에서 20세에 이르는 청소년 시기의 말더듬인 특성을 파악하는데 제한점을 가지고 있다. 또한, 과업의 측면에서 살펴보면, P-FA-Ⅱ에서 중학생 이상의 과업은 읽기, 말하기그림, 대화이며, SSI-3에서는 읽기 및 독백 과업으로 제한되어 있다. 이는 말더듬 청소년의 특성을 반영하는데 어려움이 있다. 말더듬은 가변성으로 인해 다양한 과업 및 상황에서 평가가 이루어져야 한다. 예를 들면, 아동기의 말더듬과 청소년기, 성인기의 말더듬은 매우 다른 형태로 나타나기 때문에 말더듬 평가나 치료는 아동, 청소년 및 성인이 매우 달라질 수밖에 없다. 예를 들면, 청소년 시기의 대상자들은 언어 환경이 또래 아동과의 상호작용을 하는 학교 상황이나 학원이 대부분이다. 따라서 청소년의 언어 환경에 자연스러운 평가와 시간적 압박을 추가하여 청소년의 문화와 특성을 고려한 과업으로 평가가 이루어져야 한다.
둘째, 내면적 평가 도구의 측면에서 살펴보면, 내면적인 평가도구는 대부분 말더듬 성인을 대상으로 활용할 수 있도록 개발되어 있다. 하지만, 말더듬으로 인한 심리적인 문제는 말더듬에 대한 개인들의 반응이 다양하지만 청소년기부터 수년 동안 조건화되어 형성되어왔다(Guitar, 1998). 따라서 말더듬으로 인한 심리적인 변화가 일어나는 초기인 청소년을 대상으로 하는 내면 평가를 할 수 있도록 개발되는 것이 절실하게 필요하다.
청소년기에는 말더듬 발생이 짧고 언어 환경이 중요한 영향을 미치는 아동과 말더듬이 고착화된 성인과는 다른 특성을 보이는 시기로 비유창성 행동뿐만 아니라 정서적으로나 인지적으로 부가적인 평가가 필요하다. 또한, 청소년을 위한 말더듬 진단 도구 개발은 청소년 말더듬의 중재에 기초가 되어 말더듬 성인으로 진행되지 않도록 하는 것이 매우 중요하다.
청소년을 대상으로 외현적, 내면적 평가의 검사 결과에 따라 치료 여부를 결정하고, 치료의 시작점, 치료의 목표 및 프로그램 등을 설정할 수 있으며, 치료 전후의 변화를 비교하기 위해서는 간편하고 객관적인 검사 도구가 절실한 실정이다. 또한, 말더듬 청소년의 발화 전부를 전사하고 음절 수 및 시간을 측정하는 번거로움으로 많은 언어치료사들이 말더듬 평가에 부담을 갖게 된다. 실시간 측정이 가능하면서 심한 정도를 반영할 수 있도록 치료사 및 연구자들의 편이성을 고려한 검사도구의 필요성이 대두되고 있다.
이에 기존의 국내외 청소년을 대상으로 실시하고 있는 말더듬 검사도구 및 문헌을 검토하여 말더듬 청소년의 특성을 반영할 수 있는 한국 청소년 말더듬 검사를 개발하고자 한다. 이 검사는 청소년의 특성을 고려하여 외현적인 심한 정도, 발화 수집 및 분석방법의 용이성과 객관성에 초점을 둔 유창성 평가와 말더듬으로 인한 불안, 공포, 우울과 분노, 좌절 등과 관련된 인지·정서평가로 구성하고자 한다.
대부분의 검사도구의 개발 초기 과정에서 전문가의 내용타당도를 고려하는 경우는 많다. 안면타당도는 대부분의 연구자들은 안면타당도를 비전문가에 의한 시험(검사)의 표면상의 검토와 관련된 것으로 정의한다(Sartori, 2010, as cited in Lee, 2013). Lee(2013)은 흔히 수험자(피검자)의 입장에서 평가가 타당한 것처럼 보이는 정도를 측정하는 것으로 많이 정의된다고 하였다. Mosier(1947)는 안면타당도를 가정에 의한 타당성, 정의에 의한 타당성, 외현적 타당성, 가설의 타당성의 개념을 설명하였다. 흔희 안면타당성이 비전문가에 의해 실시되고, 주관적이고, 비과학적이라는 논란이 있지만(Kim, 1998), 평가(검사)의 질을 높이는 데에는 중요한 역할을 한다고 하였다(Lee, 2013). 안면타당도는 검사를 개발하는 과정에서 피검자의 입장에서 검사의 목적과 내용을 반영하는 과정이므로 개발단계에서 반드시 필요한 과정이라 볼 수 있다.
본 연구는 구어 유창성 평가 영역에 초점을 둔 예비연구로써 말더듬 외현적 평가를 할 수 있는 과업을 설정하고, 각 과업에 해당하는 문항을 한국 청소년의 실정에 맞게 구성하고자 한다. 각 과업에 사용되는 읽기 자료와 그림 자료, 말하기 장면 및 주제를 고안하고자 한다. 이와 같이 개발한 청소년용 말더듬 검사가 내용적 측면에서 타당한지 언어재활사와 유창성장애 전문가를 대상으로 내용타당도를 알아보았다. 또한 검사의 대상이 되는 청소년들에게 적합한 어휘, 주제, 내용인지를 확인하기 위하여 일반 청소년을 대상으로 검사 문항의 안면타당도를 실시하였다. 내용타당도와 안면타당도가 낮은 문항을 제외하여 한국 청소년 말더듬 검사의 구어 유창성 평가 과업 및 문항을 구성하고자 하였다.
본 연구의 문제는 다음과 같다.
첫째, 한국 청소년 말더듬 검사 도구에 대한 구어 유창성 평가 과업의 내용타당도를 알아보고자 한다.
둘째, 한국 청소년 말더듬 검사 도구에 대한 구어 유형성 평가 과업의 안면타당도를 알아보고자 한다.
Ⅱ. 연구 방법
1. 연구 절차
본 연구는 청소년을 대상으로 말더듬 검사 개발을 위한 예비연구로써 구어 유창성 영역에 대해서 검사하기 위한 과업을 선정하고 각 과업의 문항을 청소년에게 적합하다고 생각되는 어휘와 문장, 주제, 장면을 중심으로 검사 도구를 개발하였다. 1차 개발된 문항이 청소년들에게 적절한 읽기, 질문, 장면, 주제인지 확인하기 위해서 중·고등학교에 재학 중인 청소년들에게 검사를 실시하여 안면타당도를 실시하였다. 또한, 유창성장애 및 언어장애 전문가를 대상으로 개발된 검사 문항과 검사영역이 적절한지 알아보기 위하여 내용타당도를 실시하였다. 안면타당도와 내용타당도 결과를 바탕으로 문항을 수정하여 최종 검사문항을 제시하였다.
2. 연구 대상
내용타당도를 알아보기 위하여 유창성 장애 및 언어장애를 전공하고 치료 및 강의 경력이 10년 이상인 전문가 10명을 대상으로 하였다. 안면타당도를 실시하기 위하여 말더듬이 나타나지 않는 일반 13~18세의 중학생 10명(남자 7명, 여자 3명), 고등학생 10명을 대상으로 하였다.
3. 자료분석
전문가를 대상으로 내용타당도와 일반 청소년을 대상으로 안면타당도는 개별 문항과 과업에 대한 타당성을 묻는 설문으로 구성하였다. 개발된 각각의 문항이 타당한지를 모두 5점 척도로 평정하도록 하였고, 4개 유형의 과업이 문항 수는 적절한지, 어휘 및 난이도는 적절한지와 같이 과업이 전반적으로 타당한지에 대한 문항도 5점 척도로 평정하도록 하였다.
한국 청소년 말더듬 검사의 내용타당도를 확인하기 위하여 내용 타당도지수(content validity index: CVI)를 산출하였다. 전문가가 평정한 내용타당도 값에 점수(1점=0, 2점=.25, 3점=.50, 4점=.75, 5점=1)를 부여한 후 평균을 구하여 CVI가 .80 이상인 문항은 ‘주요 특성’을 갖고 있는 것으로 간주하여 선택하고, .50~.79 사이 문항은 ‘덜 중요한 특성’을 갖고 있는 것으로 간주하여, 수정하여 선택하고, .50 이하인 문항은 타당도가 떨어지는 것으로 간주하고 제외하도록 하였다(Fehring, 1897, as cited in Chang et al., 2017). 본 연구에서는 CVI가 .80 이상이어도 전문가의 기타 의견이 있는 경우 문항을 수정하여 채택하였다.
한국청소년용 말더듬 검사의 안면타당도는 응답자의 학령 구분에 따라 중학생과 고등학생의 응답에 차이가 있는지, 남녀 성별에 따라 문항이 과업에 대한 응답에 차이가 있는지 알아보기 위하여 평균 비교를 하였고, 차이가 많은 문항을 검사에서 제외하거나 수정하여 채택하였다.
Ⅲ. 연구 결과
1. 검사 도구의 구성과 개발
한국 청소년 말더듬 검사도구는 검사의 대상연령을 13~18세를 기준으로 하고 있기 때문에 구어 유창성을 평가의 과업과 문항도 연령에 적합하여야 한다. 유창성장애 검사에서 주로 사용되는 검사 과업을 조사하였고, 청소년 시기에 적합한 과업들로 읽기, 질문에 대답하기, 장면말하기, 주제이야기를 선정하였다. 각 과업의 문항 개발과정 및 개발 결과는 다음과 같다.
청소년이상 성인을 대상으로 하는 대부분의 검사에서 포함된 과업이 읽기였다. 읽기 검사의 경우, SSI-3(Ryan, 2001)에서는 대상자의 학년 수준보다 낮은 수준의 읽기자료를 사용하도록 하고 있다. 본 연구에서는 중고등학생을 대상으로 하고 있기 때문에 중학교 1학년 국어 교과서에 제시된 지문을 원료로 활용하였다. 읽기자료의 주제를 선정할 때, 예술, 환경, 과학, 역사, 시사, 문학 등의 다양한 주제의 글감을 선택하였다. 또한 읽기자료의 분량은 10개 문장으로 구성하였다. 한국 청소년 말더듬 검사도구는 표준화 과정 중에 있는 한국 아동용 말더듬 검사(KOCS, Chang et al., 2018)의 채점방식을 도입하여 첫 세 어절의 비유창성을 점수로 계수할 계획이므로 문장의 첫 음소를 국어의 다양한 자음 및 모음으로 시작하도록 구성하였다. 첫 세 어절에 각 음소의 비율을 다양하게 배치하기 위하여 읽기자료의 어순을 변경하거나 동의어로 바꾸거나, 수식어나 접속어 등을 포함시키는 방법을 이용하였다.
질문에 대답하기 과업은 질문의 유형과 난이도를 다양하게 구성하였다. 질문은 개인정보, 일상생활, 문장 만들기, 단어 설명하기, 단어유창성, 이유 설명하기, 방법 설명하기, 의견 말하기, 찬반에 따른 주장하기, 가정 말하기, 차이 설명하기의 11개 질문 유형을 5세트로 총 55문항을 구성하였다. 이 과업은 청소년의 일상생활에서의 다양한 대화유형을 반영하고, 질문 난이도를 쉬운 것부터 어려운 것까지 포함하고자 하였다.
장면말하기는 청소년들이 주로 생활하는 환경으로 가정, 학교, 스포츠와 야외활동, 문화생활, 외식과 쇼핑에 대한 장면을 제시하고 장면에 대한 설명과 자신의 경험을 발화하도록 유도하기 위한 것이다. 각 범주별로 5장면씩 총 25장면을 개발하였고, 각 장면에서 설명과 경험말하기를 유도하여 총 50발화를 검사하고자 하였다.
주제이야기는 청소년들의 주요 관심사로 판단되는 주제들을 구성하였다. 주제는 총 25가지로 구성하였고 각 주제에 대하여 청소년들은 2문장이상의 발화를 하도록 유도하여 총 50발화를 검사하고자 하였다.
2. 내용타당도 결과
연구자들이 개발한 한국 청소년 말더듬 검사구에 대한 전문가의 내용타당도 결과를 과업별로 살펴보면 다음과 같다.
한국 청소년용 말더듬 검사(KAST)의 과업 1 읽기의 검사항목으로 개발된 6개의 읽기자료에 대한 내용타당도 지수는 .800에서 .950의 범위로 나타났다. 읽기자료 1(미술가와 과학자)에 대한 전문가 의견에는 중학생에게 어려울 것 같으나 말더듬을 유도하기에는 좋을 것 같다는 의견이 있었다. 읽기자료 2(산성비)에 대해서는 문맥이 자연스럽지 못하다는 의견과 최근 이슈가 되고 있는 ‘미세먼지’에 대한 읽기자료를 제안하였다. 읽기자료 3(우주탐사)에 대한 의견으로는 문맥의 내용의 차이가 있으므로 단락을 나누거나 내용을 수정할 것을 제안을 하였다. 또한 과업전체의 타당도에 대한 질문 ‘내용의 난이도 수준이 적절하다’에 대하여 대체로 적절하나 중학생과 고등학생의 수준과 관심사가 달라서 난이도도 다를 것이라고 응답하였다.
KAST의 과업 2 질문에 답하기 과업에 사용된 질문의 CVI를 구하였고, 11개의 질문유형별로 CVI 평균은 다음과 같다. 11개의 질문 유형 모두 CVI가 .80을 넘어 청소년 말더듬 평가의 주요 특성을 갖는 것으로 파악되었다. 특히 방법설명하기, 이유설명하기, 생성이름대기와 같은 질문의 유형은 CVI가 .90을 넘어 타당도가 높게 나타났다. 상대적으로 타당도가 낮게 나타난 질문유형은 차이점 설명하기, 단어정의하기, 가정 말하기 등이었다. 전문가들은 표현이 어색한 질문을 보다 자연스럽고 구어적인 문구로 수정하도록 제안하였다. 기타 의견으로는 ‘질문의 내용 중 핸드폰에 관한 질문이 많은 것 같다.’와 ‘두발자율화’가 요즘 학생들에게 친숙하지 않은 것 같다, ‘자유학기제’는 고등학생들이 설명하기 어려울 것 같다‘와 같은 의견을 제안하였다.
KAST의 과업 3 장면말하기를 위해 개발한 25개의 장면이 중고등학생들에게 3어절 이상의 2문장, 장면 설명하기와 장면에 관한 경험 말하기를 유도하기에 적절한지에 대한 전문가 내용타당도 결과는 다음과 같다. 전체적으로 CVI가 .80 이상으로 타당한 것으로 분석되었으나, 상대적으로 CVI가 낮게 평정된 장면은 ‘거실에 TV를 보는 장면’, ‘스키장 장면’, ‘해변가 장면’, ‘공원 장면’, ‘전시회 장면’, ‘공항 장면’ 등이었다. CVI가 상대적으로 낮게 평정된 이유로는 사진에 세부 요소들이 잘 구별되지 않는다는 의견, 무슨 활동을 하는지 잘 모르겠다는 의견, 일부 장면은 학생들에게 익숙하지 않을 것 같다는 의견 등이 있었다. 제안 사항으로는 사진의 해상도나 선명도를 높이면 좋겠다는 의견과 그림을 전체적으로 일관성 있게 다시 그리면 좋겠다는 의견이 있었다.
KAST의 과업 4 주제이야기를 위해 개발한 25개의 주제가 청소년 말더듬 검사의 문항에 대한 내용타당도는 다음과 같다. 전체 문항의 CVI는 .80이 넘어 타당한 것으로 나타났으나, 상대적으로 낮게 나타난 주제는 ‘취미’, ‘관심있는 책’, ‘대중교통’, ‘공연(뮤지컬, 콘서트, 연극 등)’, ‘장래희망’, ‘화장품’, ‘가족’, ‘생일’ 등이었다. CVI가 낮게 측정된 이유는 이야기를 길게 유도하기 어려울 것 같다는 의견이 있었다.
KAST 검사 전체에 대한 전문가 의견으로는 보다 더 긴 이야기나 설명담화를 유도하는 과업, 전화하기 과업을 추가로 제안하였다.
3. 안면타당도 결과
일반 청소년을 대상으로 KAST 초안에 대한 안면타당도를 측정한 결과를 중학생과 고등학생 집단으로 구분하며 평균을 산출하였고, 남녀 집단으로 나누어 평균을 산출하였다.
6개의 읽기자료에 대한 청소년 안면타당도는 3.55~4.15 사이로 나타났다. 고등학생과 중학생을 나누어 안면타당도를 비교하였을 때, 전체적으로 중학생이 고등학생보다 읽기자료에 대한 타당도를 낮게 평정하였고, 특히 읽기자료 2(산성비)는 2.9로 평정하여 가장 낮게 나타났다. 남녀 학생의 평정 결과에서는 읽기자료 1(미술가와 과학자), 읽기자료 5(빛공해)는 남학생들의 평정 결과가 높았고, 읽기자료 6(자서전 쓰기)은 여학생들의 평정 결과가 높게 나타났다. 과업 1의 평균은 남녀의 차이가 없었다.
질문의 답하기 과업의 질문유형별 안면타당도 평균은 3.85~4.28 사이로 나타났다. 상대적으로 높게 평정된 문항은 찬반 주장하기, 의견말하기, 가정말하기, 단어로 문장만들기 등의 질문유형이었고, 상대적으로 낮게 평정된 문항은 생성이름대기, 방법설명하기, 개인정보에 대한 질문 등이었다. 학년에 따라서는 과업 1과 마찬가지로 고등학생이 높게 평정하였고, 중학생이 낮게 평정하였다. 남녀 학생을 비교하였을 때 남학생들에 비해 여학생들이 낮게 평정하였다.
장면말하기 과업의 25개 장면이 청소년에게 발화를 유도하기에 적절한지에 대한 안면타당도는 3.55~4.40 사이로 나타났다. 상대적으로 높게 평정된 장면은 ‘공연’, ‘거실에서 TV보는 장면’, ‘교실’, ‘급식’, ‘모둠활동’, ‘마트’ 등으로 나타났고, 상대적으로 낮게 평정된 장면은 ‘분리수거’, ‘스키장’, ‘야구’, ‘축구’, ‘화장품 가게’ 등이었다.
고등학생과 비교했을 때 중학생의 안면타당도 평정결과가 평균적으로 낮았다. 그 가운데에도 특히 평정점수가 1점 이상 낮게 평정된 장면은 ‘요리하는 장면’, ‘교실’, ‘급식’, ‘운동장’, ‘야구’, ‘축구’, ‘커피숍’, ‘패스트푸드점’, ‘식당’ 장면이었다. 남녀를 비교하였을 때 평균에는 차이가 없었으나 장면별로 보았을 때, ‘축구’, ‘야구’, ‘스키장’은 남학생보다 여학생이 낮게 평정한 장면이고, ‘분리수거’, ‘공연’은 여학생보다 남학생이 낮게 평정한 장면이었다.
주제이야기 과업의 25개 주제의 안면타당도는 3.90~4.60 사이로 나타났다. 안면타당도가 상대적으로 높게 평정된 주제는 ‘가족’, ‘좋아하는 연예인’, ‘용돈’, ‘친구’, ‘스마트 폰’, ‘좋아하는 계절’, ‘주말에 주로 하는 일’ 등으로 나타났고, 상대적으로 낮게 평정된 주제는 ‘다이어트’, ‘대중교통’, ‘화장품’, ‘동아리 활동’, ‘관심있는 책’, ‘PC방’ 등으로 나타났다.
고등학생과 중학생의 안면타당도 평정결과는 고등학생이 높았고, 중학생이 낮았다. 특히 차이를 보인 항목으로는 ‘주말에 주로 하는 일’, ‘PC방’, ‘다이어트’, ‘취미’ 등이었다. 남녀 간의 안면타당도 평정 차이는 중고등학생의 차이보다는 작았다. 남학생이 높게 평정한 문항에는 ‘좋아하는 운동’, ‘관심있는 책’, ‘대중교통’, ‘공연’, ‘장래희망’이었고, 여학생들이 높게 평정한 문항에는 ‘좋아하는 연예인’, ‘화장품’ 등이 있었다.
Ⅳ. 논의 및 결론
본 연구는 청소년 대상의 말더듬 검사도구를 개발하기 위하여 구어유창성 평가를 위한 문항을 개발하고, 언어치료 및 말더듬 치료 전문가를 대상으로 내용타당도와 일반 청소년을 대상으로 안면타당도를 측정하였다. 내용타당도와 안면타당도 결과를 바탕으로 문항을 수정 보완하여 한국 청소년 말더듬 검사(KAST)의 구어유창성 평가 문항을 수정하여 구성하고자 하였다.
말더듬 검사도구는 주로 아동과 성인을 대상으로 개발되어 사용되고 있다. 지금까지는 말더듬 청소년의 평가는 성인과 같은 도구를 사용하고 있다. 그러나 말더듬 청소년의 경우, 성인과는 심리태도적인 측면에서도 차이가 있고, 구어유창성 평가를 위한 항목들에서도 읽기, 혼자말하기, 대화 등의 적합한 주제는 성인과 차이가 있다. 이러한 청소년의 특성을 반영한 말더듬 검사를 개발하고자 하였고, 본 연구는 한국 청소년 말더듬 검사의 구어유창성 평가를 위한 과업과 문항을 개발하고 타당성을 검증하고자 하였다.
첫째, 연구자들이 개발한 KAST의 구어 유창성 검사는 한국 아동용 말더듬 검사(KOCS, Chang et al., 2018; Kim et al., 2016, Shin et al., 2017a, 2017b)와 맥락을 같이하여 구어유창성평가의 하위 과업을 4개로 선정하였다. KOCS에서는 ‘그림 빨리 명명하기’, ‘문장 모방하기’, ‘구조화된 질문하기’, ‘이야기하기’로 구어유창성 평가가 구성되어 있고, KAST는 ‘읽기’, ‘질문에 답하기’, ‘장면말하기’, ‘주제이야기’로 구성하였다. 말더듬 평가에서 주로 사용되는 읽기, 독백, 대화의 3과업을 포함시켜 구성하였다. 혼자말하기는 ‘장면말하기’와 ‘주제이야기’에서, 대화는 ‘질문에 답하기’에서 평가할 수 있다.
첫 번째 과업인 읽기는 검사대상의 연령과 학령을 고려하여 중1학년 수준의 의 형태로 구조화된 대화를 구성하였다. 각 읽기지문은 10개의 문장으로 구성되고, 각 문장의 처음에 다양한 음소를 분포시켜 2-3개의 지문을 선택하여 읽으면 18개의 초성자음과 모음으로 시작하는 문장을 평가할 수 있도록 구성하였다. 개발한 읽기자료의 주제는 예술, 환경, 과학, 역사, 시사, 문학 등의 다양한 내용을 구성하였다.
두 번째 과업 질문에 답하기는 질문유형 11개에 각 5문항씩 55문항을 구성하였다. 질문의 난이도를 달리하여 간단한 일상적인 대화부터 문장 만들기, 단어설명하기, 단어유창성, 이유 설명하기, 방법설명하기, 의견말하기, 찬반 주장하기, 가정 말하기, 차이점 설명하기 등의 어려운 질문까지 난이도를 다양하게 구성하였다. 이러한 난이도에 따른 구성은 스토커프로브 테크닉(Jeon, 2001)이나, 자아효능감검사(Kim et al., 2012)와 같이, 청소년의 말더듬이 질문유형에 따라 어떻게 나타나는지를 평가할 수 있고, 평가 결과에 따라 치료의 시작점이나 순서에 대한 정보를 제공할 수도 있을 것이다.
세 번째 과업 장면말하기를 위하여 한국의 청소년이 자주 접할 수 있는 가정, 학교, 스포츠와 야외, 문화생활, 외식과 쇼핑에 대한 장면 25개를 구성하였고, 각 장면을 보고 설명하기와 장면에 관한 자신의 경험을 말하도록 과업을 개발하였다. 장면을 사진으로 구성하였고, 청소년에게 친숙한 장면들이므로 검사시에 말더듬 청소년들로 하여금 일상생활 상황과 매우 유사한 발화를 유도할 수 있을 것으로 기대한다.
네 번째 과업 주제이야기는 청소년들의 주요 관심사를 주제어로 제시하고 각 주제에 대하여 2문장 이상의 긴 발화를 요구하는 과업이다. 세 번째 과업의 짧은 말하기와 변별적으로 긴 담화의 발화를 검사하므로 보다 높은 난이도의 과업이 될 것으로 기대한다.
둘째, 개발된 KAST 검사도구에 대한 전문가의 내용타당도 결과와 안면타당도 결과를 과업별로 논의하고자 한다.
첫 번째 과업 읽기는 전반적으로 내용타당도지수(CVI)가 .800~.950으로 높게 나타났다. 상대적으로 낮게 나타난 것인 읽기자료 1(미술가와 과학자), 2(산성비), 3(우주탐사)이었고, 주제 변경 제안과 문맥을 매끄럽게 수정하라는 제안을 받았다. 또 정상 청소년의 안면타당도 결과에서도 읽기자료 2(산성비)는 특히 중학생 평정의 평균 2.9점, 남학생 평정의 평균 3.5점, 여학생 평정의 평균 3.6점으로 읽기자료 중 가장 낮은 타당도를 보였다. 따라서 해당 읽기자료를 삭제하거나 수정 보완할 필요가 있는 것으로 나타났다.
두 번째 과업 질문의 답하기는 질문의 유형별로 보았을 때 전문가의 내용타당도가 상대적으로 높게 나타난 것은 ‘방법설명하기’, ‘이유설명하기’, ‘생성이름대기’였고 낮았던 것은 ‘차이점 설명하기’, ‘단어정의하기’, ‘가정말하기’였다. 청소년들의 안면타당도 결과는 상대적으로 높게 나타난 것은 ‘찬반 주장하기’, ‘의견말하기’, ‘가정말하기’, ‘단어로 문장만들기’였고, 낮았던 것은 ‘생성이름대기’, ‘방법 설명하기’, ‘개인정보에 대한 질문’이었다. 결과가 전문가와 청소년에서 상반되는 현상이 나타났다. 예를들면 ‘방법설명하기’나 ‘생성이름대기’의 경우 전문가들은 내용타당도를 높게, 청소년은 안면타당도를 낮게 응답하였고, ‘가정말하기’의 경우 전문가들은 내용타당도를 낮게, 청소년은 안면타당도들 높게 응답하였다. 이는 전문가들이 청소년 말더듬 검사에 적절하다고 응답한 문항들이 일반 청소년에게는 어렵게 느껴지는 과업들이었고, 전문가들이 타당도를 낮게 응답한 문항들은 쉬운 과업들로 말더듬 유발이 어려울 것으로 응답하였으나, 청소년들의 경우 쉽게 응답할 수 있는 문항으로 받아들여지는 것 같다. 전문가들은 어려운 질문이 말더듬을 유발하기에 더 적절하다고 응답하였다. 질문의 답하기는 질문의 난이도를 쉬운 것부터 어려운 것까지 위계적으로 검사하고자 하므로 쉬운 문항과 어려운 문항을 모두 포함할 필요가 있다. 다만 질문의 표현이 어색하거나 주제가 친숙하지 않는 개별문항은 수정하여 제시할 예정이다.
세 번째 과업 장면말하기의 경우에도 전체적인 내용타당도 지수는 높았으나 상대적으로 낮게 평정된 장면은 ‘거실에서 TV 보는 장면’, ‘스키장’, ‘해변가’, ‘공원’, ‘전시회’, ‘공항’ 등이었고, 청소년의 안면타당도가 낮게 측정된 장면은 ‘분리수거’, ‘스키장’, ‘야구’, ‘축구’, ‘화장품 가게’ 등으로 나타났다. 청소년이 낮게 평정한 문항에는 고등학생과 중학생의 응답의 차이가 큰 문항과 남녀 학생의 응답의 차이가 큰 문항들도 포함되어 있었다. 이들 문항 중에 전문가들이 낮게 평가한 장면들의 경우, 주제는 적절하나 주제를 나타내기에 적절한 사진으로 변경하도록 제안받은 장면이 있었고, 청소년들 사이에 학령과 성별에 따라 차이가 크게 나타난 장면은 주제 자체에 대한 편차가 있는 것으로 판단되는 문항들의 경우 장면 주제를 완전히 바꾸거나 삭제할 필요가 있다고 판단된다. 또한 검사를 실시하는 방법에서 제시된 모든 문항에 응답하도록 하기보다 피검자가 친숙한 장면을 선택하여 응답하도록 한다면 발화유도가 보다 쉬울 수 있을 것이다.
네 번째 과업 주제이야기의 경우 전문가의 내용타당도 결과 상대적으로 낮게 나타난 주제는 ‘취미’, ‘관심있는 책’, ‘대중교통’, ‘공연(뮤지컬, 콘서트, 연극 등)’, ‘장래희망’, ‘화장품’, ‘가족’, ‘생일’ 등이었고 청소년들의 안면타당도가 상대적으로 낮게 나타난 주제는 ‘다이어트’, ‘대중교통’, ‘화장품’, ‘동아리 활동’, ‘관심있는 책’, ‘PC방’ 등으로 나타났다. 세 번째 과업 장면말하기와 마찬가지로 성인이 전문가가 생각하는 청소년에게 적합한 주제와 청소년 당사자들이 자신들에게 적절하다고 생각한 주제에는 차이가 있음을 알 수 있었다. 주제이야기에 대해서도 청소년의 학령에 따른 차이와 성별에 따른 차이가 있는 주제들이 있었다. 중학생들이 고등학생보다 낮게 평정한 주제는 ‘주말에 주로 하는 일’, ‘PC방’, ‘다이어트’, ‘취미’ 등이었고, 남학생이 높게 평정한 문항에는 ‘좋아하는 운동’, ‘관심있는 책’, ‘대중교통’, ‘공연’, ‘장래희망’이었고, 여학생들이 높게 평정한 문항에는 ‘좋아하는 연예인’, ‘화장품’ 등이 있었다. 이러한 문항 청소년의 학령과 성별에 따라 이야기하기를 선호하는 주제에 편차가 있었다. 이에 대한 대안으로 제시된 이야기 주제를 모두 말하기보다 피검자가 선호하는 주제를 선택해서 응답하게 함으로써 주제에 관하여 비교적 긴 발화를 유도할 수 있을 것으로 생각한다. 어떠한 주제는 보편적으로 이야기하기에 적절하더라도 피검자 개인에게는 긴 발화를 유도할 정도의 주제 아닐 수 있기 때문이다.
본 연구는 국내에서 최초로 청소년만을 대상으로 하는 말더듬 검사를 개발하기 위한 시도를 하였다. 국외에서 표준화된 검사를 번안하여 개발하는 과정이 아니어서 초기 문항 개발 과정이 더욱 중요한 과정이었다. 본 연구에서는 구어 유창성 평가를 위한 과업 개발과 문항 및 검사자료 개발을 목적으로 하였다. 연구자들이 1차적으로 선행연구 조사와 전문가 회의 등을 거쳐서 KAST의 과업과 문항을 개발하였고, 개발된 문항의 타당도를 언어치료와 말더듬을 전문으로 하는 교수와 언어치료사에게 의뢰하였고, 또한 청소년에게 적합한가를 알아보기 위하여 일반 청소년을 대상으로 안면타당도를 실시하였다. 실시 결과 전문가들의 내용타당도 결과와 안면타당도 결과가 일치되게 나타나는 부분이 있고, 일치하지 않게 나타난 부분이 있었다. 전문가들은 평가자의 입장에서 문항의 타당도를 판단하였다면, 청소년들은 피검자의 입장에서 문항의 타당도를 판단하였고, 검사개발과정에서 자칫 누락될 수 있는 피검자의 의견을 검사도구 개발에 반영할 필요가 있었다. 이러한 과정을 통하여 보다 타당성 있는 문항으로 수정할 수 있었다.
본 연구 결과에 따라 후속연구에 대해 제언을 하자면 다음과 같다. 청소년의 구어 유창성 평가 뿐 만 아니라 청소년의 내면적 측면을 다루는 심리태도적 측면의 평가 영역은 후속연구로 개발할 예정이며, 구어 유창성 평가 과업 역시 차후 말더듬 청소년을 대상으로 예비실험을 통하여 공인타당도와 구성타당도를 검정하는 절차들을 실시할 예정이다. 한국 청소년 말더듬 검사가 개발이 된다면 이전과 달리 청소년에게 가장 적합한 구어 과업들로 말더듬 검사를 실시할 수 있으며, 채점체계를 간소화하여 임상현장에서 손쉽게 사용할 수 있을 것으로 기대한다.
Acknowledgments
This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (NRF-2018S1A5A2A01034844).
이 논문은 2018년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임 (NRF-2018S1A5A2A01034844).
References
-
Chang, H. J., Jeon, H. S., Shin, S. M., & Kim, H. J., (2014), Study on selection of basic vocabulary for elementary school students: Focused on basic vocabulary in the lower grades, Journal of Speech-Language & Hearing Disorders, 23(1), p157-170.
장현진, 전희숙, 신명선, 김효정, (2014), 초등학생 교육용 기초어휘 선정 연구-저학년 중심으로, 언어치료연구, 23(1), p157-170. -
Chang, H. J., Shin, M. S., & Kim, H. J., (2017), Study on validity and reliability for verification of Korean Childhood Stuttering Test (KOCS) Items: Focused on evaluation of speech fluency, Journal of Speech-Language & Hearing Disorders, 26(1), p11-20.
장현진, 신명선, 김효정, (2017), 한국 아동용 말더듬 검사(KOCS)의 문항 검증을 위한 타당도 및 신뢰도 연구: 구어 유창성 평가를 중심으로, 언어치료연구, 26(1), p11-20. [ https://doi.org/10.15724/jslhd.2017.26.1.002 ] -
Chang, H. J., Shin, M. S., & Kim, H. J., (2018), A study for establishing analytical methods in the Korean Childhood Stuttering Test (KOCS), Journal of Speech-Language & Hearing Disorders, 27(3), p23-32.
장현진, 신명선, 김효정, (2018), 한국 아동용 말더듬 검사(KOCS)의 분석 체계 연구, 언어치료연구, 27(3), p23-32. [ https://doi.org/10.15724/jslhd.2017.26.4.012 ] - Craig, A., Franklin, J., & Andrews, G., (1984), A scale to measure locus of control of behavior, British Journal of Medical Psychology, 57, p173-180. [https://doi.org/10.1111/j.2044-8341.1984.tb01597.x]
- Erickson, R. L., (1969), Assessing communication attitudes among stutterers, Journal of Speech and Hearing Research, 12, p711-724. [https://doi.org/10.1044/jshr.1204.711]
- Guitar, B., (1998), Stuttering: An integrated approach to its nature and treatment, (2nd ed.), Baltimore, Williams & Wilkins.
- Guitar, B., (2014), Stuttering: An integrated approach to its nature and treatment, (4th ed.), Baltimore, Lippincott Williams & Wilkins.
-
Jeon, J. H., (2001), Fluency improvement on the stuttering children by applying stocker probe technique, (Master’s thesis), Daegu University, Daegu.
전진호, (2001), 스토커프로브 테크닉을 이용한 말더듬 아동의 유창성 개선, 대구대학교 대학원 석사학위 논문. -
Kim, B. C., (1998), Face Validity, Ethics and Standards in Language Test Development, English, 21(13), p265-282.
김병철, (1998), 외국어 테스트 개발에서의 표면적 타당성, 테스트 윤리 및 테스트 기준, 영어영문학 21, 13, p265-282. -
Kim, H. J., & Kwon, D. H., (2005), A preliminary study on development Korean version of the modified Erickson scale of communication attitudes (S-24), Speech Science, 12(4), p227-236.
김효정, 권도하, (2005), Erickson의 의사소통 태도 척도(S-24)의 국내 적용을 위한 타당도 및 신뢰도 연구, 음성과학, 12(4), p227-236. -
Kim, H. J., Chang, H. J., Jeon, H. S., & Shin, M. S., (2012), Research on the development of a speaking ability self-efficacy test (SSE): A pilot study, Journal of Speech-Language and Hearing Disorders, 21(2), p191-207.
김효정, 장현진, 전희숙, 신명선, (2012), 말하기 효능감 검사 개발을 위한 예비연구, 언어치료연구, 21(2), p121-140. -
Kim, H. J., Chang, H. J., Shin, M. S., & Jeon, H. S., (2010), Preliminary study for development of Korean version of perception of stuttering inventory, Journal of Speech-Language & Hearing Disorders, 19(1), p129-141.
김효정, 장현진, 신명선, 전희숙, (2010), 말더듬 지각 검사(PSI)의 국내적용을 위한 예비연구, 언어치료연구, 19(1), p129-141. -
Kim, H. J., Chang, H. J., Shin, M. S., & Jeon, H. S., (2015), A study of the correlation between stuttering intrinsic tests: Focused on Korean Communication Attitude Test, Korean Stuttering Perception Inventory, and Speaking Self-Efficacy Test, Journal of Speech-Language & Hearing Disorders, 24(4), p45-56.
김효정, 장현진, 신명선, 전희숙, (2015), 말더듬 내면적 검사 간의 상관연구: 한국판 의사소통 태도 검사, 한국판 말더듬 지각 검사, 말하기 효능감 검사를 중심으로, 언어치료연구, 24(4), p45-56. -
Kim, H. J., Shin, M. S., & Chang, H. J., (2016), Preliminary research for the Korean Childhood Stuttering Test (KOCS) development: With focus on evaluation of speech fluency, Paper presented at the 4th International Conference on Speech-Language Pathology, Honam University, Gangju.
김효정, 신명선, 장현진, (2016), 한국 아동용 말더듬 검사(KOCS) 개발을 위한 예비연구: 구어 유창성 평가를 중심으로, 제4회 한국언어치료학회 국제학술대회 발표논문, 호남대학교, 광주. -
Kim, J. O., & Shin, M. J., (2007), Preliminary study on the development Korean-subjective screening of stuttering-revised, Communication Sciences & Disorders, 12(7), p465-486.
김재옥, 신문자, (2007), 주관적 말더듬 선별검사의 국내적용 타당성 확보를 위한 기초연구, Communication Sciences & Disorders, 12(7), p465-486. -
Lee, m. J., (2013), An Analysis of Face Validity of the Secondary School Teacher Selection Test: Focus on the field of English Literature, Chung-Ang University, Seoul.
이미지, (2013), 영어과 중등교원 임용시험의 안면타당도 분석: 영미문학 분야를 중심으로, 중앙대학교 교육대학원 석사학위 논문, 서울. - Manning, W. H., (2010), Clinical decision-making in fluency disorders, (3rd ed.), Clifton Park, Cengage Learning.
- Ornstein, A. H., & Manning, W. H., (1985), Self-efficacy scaling by adult stutterers, Journal of Communication Disorders, 18, p313-320. [https://doi.org/10.1016/0021-9924(85)90008-5]
- Riley, G., (2009), Stuttering severity instrument for children and adults, (4th ed.), Austin, Pro-ed. [https://doi.org/10.1044/jshd.3703.314]
- Ryan, B. P., (2001), Programmed therapy for stuttering in children and adults, Springfield, IL, Charles C. Thomas.
-
Shin, M., Jeon, H., Kim, H., & Chang, H., (2013), Developing a Speaking Ability Self-Efficacy Scale(SSES), Journal of Speech-Language and Hearing Disorders, 22(4), p121-140.
김효정, 장현진, 전희숙, 신명선, (2012), 말하기 효능감 검사 개발을 위한 예비연구, 언어치료연구, 21(2), p105-121. -
Shin, M. S., Kim, H. J., & Chang, H. J., (2017a), Correlation between speech fluency measure, observational rating scales, and supplemental clinical assessment in the Korean childhood stuttering test (KOCS), Journal of Speech-Language & Hearing Disorders, 26(2), p9-20.
신명선, 김효정, 장현진, (2017), 한국 아동용 말더듬 검사(KOCS)의 구어 유창성 평가, 관찰 평가, 부가적 평가 간 상관, 언어치료연구, 26(2), p9-20. [ https://doi.org/10.15724/jslhd.2017.26.2.002 ] -
Shin, M. S., Kim, H. J., & Chang, H. J., (2017b), A study of the correlation between the Korean Childhood Stuttering Test (KOCS), P-FA-Ⅱ, and SSI-4, Journal of Speech-Language & Hearing Disorders, 26(4), p137-144.
신명선, 김효정, 장현진, (2017), 한국 아동용 말더듬 검사(KOCS)와 P-FAⅡ, SSI-4 간의 상관 연구, 언어치료연구, 26(4), p137-144. [ https://doi.org/10.15724/jslhd.2017.26.4.012 ] -
Sim, H. S., Shin, M. J., & Lee, E. J., (2010), Paradise-Fluency Assessment (2nd ed.), Seoul, Paradise Welfare Foundation.
심현섭, 신문자, 이은주, (2010), 파라다이스-유창성 검사 Ⅱ, 서울, 파라다이스복지재단. - Woolf, G., (1967), The assessment of stuttering as struggle, avoidance, and expectancy, International Journal of Language & Communication Disorders, 2(2), p158-171. [https://doi.org/10.3109/13682826709031315]