Korean Speech-Language & Hearing Association(KSHA)

Korean Speech-Language & Hearing Association(KSHA) - Vol. 29 , No. 2

[ ORIGINAL ARTICLE ]
Journal of Speech-Language & Hearing Disorders - Vol. 29, No. 2, pp.47-55
Abbreviation: JSLHD
ISSN: 1226-587X (Print) 2671-7158 (Online)
Print publication date 30 Apr 2020
Received 15 Mar 2020 Revised 25 Mar 2020 Accepted 27 Apr 2020
DOI: https://doi.org/10.15724/jslhd.2020.29.2.047

쓰기 채점 방식에 따른 쓰기 검사의 민감도 및 특이도 연구
이미래1 ; 최은정2 ; 김영태3, *
1이화여자대학교 언어병리학전공 석사
2이화여자대학교 언어병리학전공 박사과정
3이화여자대학교 언어병리학전공 교수

Sensitivity and Specificity of Writing Assessment Using Spelling Scoring Metrics
Mi Rae Lee1 ; Eun Jung Choi2 ; Young Tae Kim3, *
1Dept. of Communication Disorders, Ewha Womans University, Master
2Dept. of Communication Disorders, Ewha Womans University, Doctoral Student
3Dept. of Communication Disorders, Ewha Womans University, Professor
Correspondence to : Young Tae Kim, PhD E-mail : youngtae@ewha.ac.kr

Funding Information ▼

초록
목적:

어린 아동이나 쓰기 부진 아동은 어절 기준 채점 방식만으로는 쓰기능력과 관련된 지식을 평가하기에 제한점이 있다. 따라서 철자와 관련된 지식을 반영한 채점 방식에 대한 연구가 꾸준히 진행될 필요가 있다. 이에 본 연구는 학년 및 쓰기 채점 방식에 따라 집단 간 쓰기 점수에 차이를 알아보고 어떤 쓰기 채점 방식이 두 집단을 더 민감하게 구분하는지 알아보고자 한다.

방법:

초등학교 1, 2, 3학년 쓰기 부진 아동(WD)과 일반아동(TD) 각27명을 대상으로 문장 받아쓰기 형태의 과제를 실시하였으며, 세가지 채점 방식(어절 기준 채점 방식(WL), 글자소 기준 채점 방식(PL), 창안적 쓰기 채점 방식(IL))으로 채점하였다.

결과:

3학년 TD를 제외하고는 모두 WL에서 가장 낮은 점수를 받았으며, 3학년 TD의 경우 세가지 점수 채점 방식에 차이가 나타나지 않아 WL만으로도 쓰기 능력을 효율적으로 평가할 수 있었지만, TD 1, 2학년과 WD는 PL이나 IL이 적절한 채점 방식임을 알 수 있다. 또한 ROC곡선 분석 결과, IL가 더 유용한 채점 방식임을 알 수 있었다. 마지막으로 글자소 오류 유형과 형태소 오류 유형에서는 집단 간 차이가 있었으나 음운규칙 반영오류에서는 집단 간 차이가 나타나지 않았다.

결론:

WD는 TD에 비해 쓰기 능력이 낮아 어절 기준 채점 방식(WL)보다 글자소 기준 채점 방식(PL), 창안적 쓰기 채점 방식(IL)을 활용하는 것이 더 효율적이었다.

Abstract
Purpose:

The purpose of this study is to determine the differences of error patterns in two groups (TD and WD), while investigating which scoring metrics can sensitively distinguish children with writing difficulty from typical development.

Methods:

54 children in elementary school grades 1 to 3 participate in the study. Each group consisted of 27 children, with one group consisting of children with writing difficulties (WD) and the other of typically developing children (TD). Participants took the Korean Convenient Writing Assessment, and their performance was analyzed according to three different types of scoring metrics: word level, phonemic level, and invented spelling level. In addition, the patterns of errors in (1) grapheme errors, (2) morpheme errors, and (3) phonological rules errors were examined.

Results:

First, the interaction between group and scoring metrics was statistically significant. Second, the accuracy of each scoring metric was analyzed by ROC (Receiver Operation Characteristic Curve) curve analysis. Invented spelling level was the more sensitive scoring metric compared with the other two other writing scoring metrics. Third, in WD group, the error rate in the grapheme omission and the morpheme were higher than the error rate in TD group, and the ratio of the invented writing errors was lower.

Conclusions:

This study uncovered that scoring metrics can distinguish WD form TD. At this point, it was found that ‘invented spelling level’ was more effective than ‘word level’ and ‘phonemic level’ scoring metrics in screening for WD.


Keywords: invented spelling, writing difficulties, scoring metrics, ROC curve analysis, writing errors
키워드: 창안적 쓰기, 쓰기 부진, 채점 방식, ROC 곡선 분석, 쓰기 오류

Ⅰ. 서 론

읽기와 쓰기는 새로운 지식을 습득하는 데 있어서 중요한 역할을 한다. 문어는 구어를 보완하는 역할을 하며, 구어와 문어 능력이 적절히 갖춰졌을 때 상황과 때에 맞게 의사소통 할 수 있다. 그중 쓰기 능력은 의사소통과 전반적인 문해력(literacy) 발달에 밀접한 관련이 있는 요소이다(Graham & Perin, 2007). 특히 철자 능력은 이후 작문 쓰기 능력을 예측할 수 있으며(Graham et al., 1997), 철자 쓰기에 어려움이 지속해서 나타나게 되면, 작문 쓰기에도 부정적인 영향을 미친다고 보고되었다(Alber & Walshe, 2004). 또한 쓰기는 정보를 분석하고 평가하는 데 사용되고 지식을 통합하고 사고하는 데 영향을 미친다(Shanahan, 2004). 더불어 다른 교과 영역의 학습을 위해 사용되는 도구적 성격을 가지고 있어 쓰기 능력의 중요성이 강조된다(Puranik & Lonigan, 2012). 특히 아동이 학령기가 되면서 이러한 쓰기 능력의 중요성은 더욱 증가하며, 학업 성취에 결정적인 영향을 미치게 된다. 이처럼 학업 성취에 있어서 쓰기의 중요성을 고려한다면 장애 위험군(at-risk) 또는 학습장애 아동들을 조기에 선별하는 것이 중요하다. 왜냐하면 학습부진이나 학습장애 아동들이 쓰기에서 어려움을 경험하고 있으나, 이러한 쓰기의 문제점들이 학령기에 접어들어 읽기와 쓰기 문제를 보인 후에야 비로소 확인되는 경우가 많기 때문이다(McMaster et al., 2012). 따라서 조기선별을 통해서 쓰기에 어려움이 있는 아동들의 문제가 장기적으로 지속되지 않도록 미리 예방하고 효과적인 중재를 제공해야 한다(Berninger et al., 2008).

한국 아동의 쓰기 발달은 먼저 자소-음소 대응 관계가 있는 규칙 단어를 먼저 쓸 수 있게 되고, 그 이후에 연음화, 7종성, 경음화, 격음화, 유음화, ㅎ탈락 등의 음운규칙이 적용된 자소-음소 불규칙 단어들을 쓸 수 있게 된다(Yang, 2005). 또한, 음운규칙에 대해 인식하게 됨에 따라 단어의 형태를 변화시키지 않고 조사, 연결어미를 적용하여 쓸 수 있도록 발달하게 되며, 초등학교 저학년에서 일반아동과 쓰기 부진 아동의 철자 쓰기 정확도에서 유의한 차이가 나타났다(Kim et al., 2010). 이 중 일반아동의 경우 1학년의 철자정확도는 80%, 6학년은 96%인 것에 비해 학습 부진 아동의 경우 1학년의 철자정확도는 60%, 6학년은 80%로 여전히 어려운 것으로 나타났으며(Kim, 2009), 일반아동보다 약 2~4배 더 많은 철자 오류를 보인다고 보고하였다(MacArthur et al., 1996). 일반아동은 1학년때 3, 4학년의 쓰기 부진 아동 수준의 쓰기 정확도를 보였으며, 쓰기 부진 아동들은 초등학교 3, 4학년 이후 쓰기 발달이 제대로 이루어지지 않고 고착된 패턴을 보였다고 보고하였다(Kim, 2009).

쓰기 발달에 대해 더 많은 정보를 얻기 위해서는 정확도뿐만 아니라 쓰기 오류패턴을 함께 분석해야 한다. 특히, 음운규칙이 적용되는 단어의 경우 일반아동과 쓰기 부진 아동 간 차이가 더 두드러지게 나타났으며, 모든 학년은 자소-음소 불일치 단어에서 가장 높은 오류율이 나타났다(Kim, 2009). 쓰기 부진 혹은 학습장애 아동뿐만 아니라 초기 쓰기 단계에 있는 일반 아동에게서도 철자 오류는 빈번하게 나타나는데, 그중 소리 나는 대로 쓰는 오류 즉, 창안적 쓰기를 많이 사용한다. 따라서 일반아동이 창안적 쓰기에서 보이는 철자 오류는 무의미한 것이 아니라, 자신의 발달 단계의 철자지식을 반영한 것이며(Treiman, 1997), 이와 같은 철자 오류를 분류하여야 한다고 하였다. 이를 볼 때 일반아동들도 어린 아동의 경우, 철자 발달이 완전하지 않으며 부분 쓰기 또는 음운적으로 유사한 글자로의 대치와 같은 오류가 나타나 음운지식과 철자지식이 발달하고 있음을 뜻한다. 따라서 쓰기 능력에 대해 더 많은 정보를 얻기 위해서는 쓰기 오류패턴을 분석할 필요가 있다.

국외 선행연구들의 전반적인 연구결과를 종합해보면 쓰기 부진 아동들은 일반아동에 비해 유의하게 낮은 쓰기 정확도를 보이지만, 쓰기 부진 아동의 쓰기 특성이 일반아동과 질적으로 다르지 않고 지연되어있는 특성을 보인다고 보고하였다(Moats, 1995; Worthy & Invernizzi, 1990). 국내 연구에서 발표된 한글 쓰기 특성 연구들을 살펴보면, 주로 일반아동의 쓰기 오류 유형 분석에 관한 연구이며(Cho, 2003; Ham, 2003; Kim, 2009; Park, 2002), 학습 부진 아동의 철자 오류 유형 분석에 관련된 연구와(Shin & Cho, 2001; Yoon, 2004) 쓰기 부진 아동과 일반아동의 쓰기 특성을 비교한 연구(Kim et al., 2010; Song et al., 2016)가 몇 편 발표되었다. 하지만, 쓰기 부진 아동의 쓰기 발달 및 오류패턴이 일반아동과 비교하는 연구가 국내에서는 아직 다양하게 이루어지지 않아 학년 및 집단에 따라 쓰기 발달과 오류패턴이 양적 및 질적인 공통점과 차이점을 확인하기에는 부족한 실정이다.

철자를 채점하기 위해 오랫동안 사용되었던 방식인 ‘정확하게 쓴 단어 수’는 단어를 정확하게 쓰면 1점, 그렇지 않으면 0점을 부여한다(Larsen et al., 1999). 하지만 이는 철자와 관련된 지식을 반영하지 않아 위험군 또는 쓰기 장애를 선별해내는데 민감도가 떨어진다고 할 수 있다. 따라서 많은 연구자는 쓰기 능력에 대한 더 많은 정보를 얻기 위해 쓰기 오류에 대해 분석하였으며, 쓰기평가의 정확도와 민감도를 높이기 위해 철자와 관련된 음운지식, 철자지식, 형태소지식을 반영한 채점하는 방식들이 고안되고 있다(Masterson & Apel, 2010; Ritchey et al., 2010; Tangel & Blachman, 1992). 그 중 창안적 쓰기는 초기 쓰기 발달 단계의 철자지식을 반영한 것으로(Treiman, 1997), 아동의 음운인식 능력을 평가하고 읽기 또는 쓰기 장애 위험군 아동을 조기 선별하는 데 도움이 될 수 있다고 보고되었다(Jung, 2005). 하지만 국내에서는 주로 아동이 정반응한 어절 점수나 글자소 점수를 산출하는 방식으로 쓰기 능력을 채점 및 평가하고 있는데. 이 방식들은 철자와 관련된 지식을 반영하지 않아 어린 아동 혹은 쓰기 부진 아동들에게서 더 많은 정보를 얻어내기에 제한점이 있다. 따라서 철자와 관련된 지식을 반영하는 연구가 필요하나, 쓰기와 관련된 지식의 정보를 제공하는 채점 방식이나 여러 쓰기 채점 방식에 대한 비교 및 민감도에 관한 연구는 부족한 실정이다.

이에 본 연구는 학년(1, 2, 3) 및 쓰기 채점 방식(어절 기준 채점 방식, 글자소 기준 채점 방식, 창안적 쓰기 채점 방식)에 따라 집단(쓰기 부진 아동, 일반아동) 간 쓰기 점수에 차이를 알아보고 어떤 쓰기 채점 방식이 두 집단을 더 민감하게 선별하는지 알아보고 자 한다. 또한 집단 간 쓰기 오류 유형이 어떠한지 알아보고자 한다.

첫째, 학년(1, 2, 3) 및 쓰기 채점 방식(어절 기준 채점 방식(WL), 글자소 기준 채점 방식(PL), 창안적 쓰기 채점 방식(IL))에 따라 집단(쓰기 부진 아동, 일반아동) 간 쓰기 점수에 유의미한 차이가 있는가?

둘째, 쓰기 채점 방식(어절 기준 채점 방식(WL), 글자소 기준 채점 방식(PL), 창안적 쓰기 채점 방식(IL)) 중 어떤 방식이 두 집단(쓰기 부진 아동, 일반아동)을 더 민감하게 선별하는가?

셋째, 집단(쓰기 부진 아동, 일반아동) 간 쓰기 오류 유형(글자소, 형태소, 음운규칙 반영 오류)은 어떠한가?


Ⅱ. 연구 방법
1. 연구 대상

본 연구의 대상은 초등학교 1, 2, 3학년 쓰기 부진 아동 27명(1, 2, 3학년 각 9명)과 생활연령을 일치시킨 일반아동 27명(1, 2, 3학년 각 9명), 총 54명(남 27명, 여 27명)을 대상으로 하였다. 집단별 구체적인 연구대상자 선정 기준은 다음과 같다. 쓰기 부진 아동은 (1)K-CTONI-2 비언어성 지능지수가 정상 범주이고, (2)중복장애로 인한 기타 어려움이 없는 아동 중, (3)KNISE 기초학력검사(KNISE-BAAT, Park et al., 2010)의 표기기능에서 16%ile 미만이며, (4)교사나 부모로부터 쓰기에 어려움이 있다고 보고된 아동으로 선정하였다. 일반아동은 (1)K-CTONI-2 비언어성 지능지수가 정상 범주에 해당하는 아동 중, (2)KNISE 기초학력검사(KNISE-BAAT, Park et al., 2010)의 표기기능에서 40%ile 이상인 아동으로 선정하였다.

집단별로 변인의 동일성을 검증하고자 one-way ANOVA를 실시하였으며, 결과는 표 1에 제시하였다. 분석 결과, 일반아동 집단과 쓰기 부진 아동 집단 간 생활연령과(F(1, 52)=.001, p>.05), 비언어 지능지수(F(1, 52)=3.274, p>.05)에서 유의한 차이를 보이지 않았다. 반면에 기초학력 검사 쓰기의 표기능력에서는 일반아동 집단이 쓰기 부진 아동 집단에 비해 유의하게 높았다(F(1, 52)=45.484, p<.001).

Table 1. 
Participants' information
Characteristic th (N=27) WD (N=27) F
Age (month) 91.74 (10.242) 91.81 (9.802) .001
Nonverbal intelligencea 106.81 ( 8.504) 102.26 (9.941) 3.274
KNISE-BAATb 16.04 ( 4.024) 8.82 (3.843) 45.484***
Values are presented as mean (SD).
TD=typically developing children; WD=children with writing difficulties.
a Korean Comprehensive Test of Nonverbal Intelligence-second edition (Park, 2014). b Koran National Institute for Special Education-Basic Academic Achievement Tests (Park et al., 2008).
***p<.001

2. 연구 과제
1) 아동 간편 읽기 및 쓰기 발달 검사

아동 간편 읽기 및 쓰기 발달 검사(Kim et al., 개발 중)는 만 5세부터 10세까지 읽기 및 쓰기 능력을 선별하는 검사로 본 연구에서는 이 검사 중 쓰기 영역을 사용하여 아동의 쓰기 능력을 검사하였다. 검사는 문장 받아쓰기로 진행되며 형태소 유형과 음운규칙에 따라 쓰기 능력을 알아볼 수 있도록 구성하였으며, 처음에는 문장을 들려주고 아동이 어려워할 경우 어절별로 끊어서 불러주었다.

아동 간편 읽기 및 쓰기 발달 검사(Kim et al., 개발 중)의 문항 타당도를 구하기 위해 1급 언어재활사 자격증을 소지하고, 10년 이상 언어치료 경력이 있는 언어재활전문가 3명, 임상 경력이 있는 박사 및 박사과정생 7명, 총 10명을 대상으로 설문을 진행하였다. 설문은 1~5점까지의 5점 척도로 구성하였으며, 음운 조작 능력, 읽기, 쓰기 세 영역의 문항이 아동의 해당 영역의 능력을 평가하기에 타당한가를 평가하였다. 그 결과, 음운 조작 능력 영역에서 평균 4.85점, 읽기 영역에서 4.71점, 쓰기 영역에서 4.79점의 문항 타당도 점수가 산출되었다.

3. 검사 절차

본 실험은 서울, 경기 지역의 지역아동센터, 아동의 집의 독립된 조용한 장소에서 연구자와 아동이 일대일로 진행하였다. 아동의 집중력에 따라 1~2회기로 진행되었으며, 아동의 반응을 그 자리에서 기록하고 검사를 마친 후 쓰기 오류를 분석하였다.

4. 자료 분석 및 결과 처리
1) 쓰기 점수 채점 방식

(1) 어절 기준 채점 방식

어절 기준 채점 방식은 총 29어절로 구성되어 있으며, 정확하게 쓴 어절은 1점, 부정확한 어절은 0점을 준다. 예를 들어 ‘하늘에서’를 정확히 쓴 경우는 1점을 부여하지만, 그 외에 ‘하느레서’ 혹은 ‘하느에서’와 같은 반응에서는 0점을 부여한다. 정반응한 어절의 점수 합을 총 어절 수로 나누어 100을 곱하여 어절 기준 채점 방식을 구한다.

(2) 글자소 기준 채점 방식

글자소 기준 채점 방식은 총 223개의 글자소로 구성되어 있으며, 목표 글자소 수에서 오류 횟수를 뺀다. 여기서 오류는 생략, 대치, 첨가가 해당되며, 글자소는 음소와 달리 초성 ‘ㅇ’에 대한 점수를 부여한다. 예를 들어, ‘하늘에서’를 정확히 쓴 경우 [ㅎ,ㅏ,ㄴ,ㅡ,ㄹ,ㅇ,ㅔ,ㅅ,ㅓ]에 대한 9점을 부여한다. ‘하느레서’라고 쓴 경우에는 ㄹ생략과 ㅇ을 ㄹ로 대치하여 오류 2회라고 기록하고 7점을 부여한다. 정반응한 글자소의 점수 합을 총 글자소 수로 나누어 100을 곱하여 글자소 기준 채점 방식을 구한다.

(3) 창안적 쓰기 채점 방식

창안적 쓰기란 표준적인 철자 쓰기를 완전히 습득하기 이전, 자신의 인지적 사고과정을 바탕으로 하여 소리 나는 대로 글자를 쓰는 것이다(Chomsky, 1971; Read, 1975). 따라서 창안적 쓰기는 글자에 대한 유아의 내적 사고 과정을 가시적으로 드러내 주며, 음소에 대한 인식 발달과도 관련이 있다(Senechal et al., 2012). 본 연구에서는 창안적 쓰기가 나타난 경우, 정반응한 글자소 수에 단어당 보너스 점수 1점을 부여하였다. 예를 들어, 목표 어절 ‘닮았어요’를 ‘달마써요’라고 쓴 경우에는 아래와 같이 채점한다. 목표 글자소인 [ㄷ,ㅏ,ㄹ,ㅁ,ㅇ,ㅏ,ㅆ,ㅇ,ㅓ,ㅇ,ㅛ]에서 아동이 정반응 한 글자소[ㄷ,ㅏ,ㄹ,ㅏ,ㅓ,ㅇ,ㅛ] 7개에 각 1점을 부여하여 7점, 그리고 창안적 쓰기[ㅇ을 ㅁ으로 대치, ㅇ을 ㅆ로 대치]로 인한 보너스 점수 1점을 추가하여 총 8점을 부여한다. 하지만 ‘닳았어요’라고 쓴 경우에는 창안적 쓰기로 인한 오류가 아니므로 보너스 점수를 부여하지 않고 글자소 점수인 10점만 부여한다.

2) 쓰기 오류 유형 분석

쓰기 오류는 (1)글자소, (2)형태소, (3)음운규칙 반영의 세 측면으로 분석하였으며, 각각 다음의 하위 유형을 포함한다; 글자소 오류(생략, 대치, 첨가), 형태소 오류(실질형태소, 연결어미, 조사), 음운규칙 반영오류(연음화, 유음화, 경음화, 격음화, 7종성, ㅎ탈락, 구개음화, 비음화, 모음유사발음으로 인한 오류). 분석 시 글자소와 형태소 오류는 모든 오류를 기록하였고, 음운규칙 반영 오류는 오류가 있을 경우에만 기록하였다.

3) 통계 분석

통계분석은 IBM SPSS Statistics 25.0을 사용하였으며, 학년 및 쓰기 채점 방식에 따른 집단 간 쓰기 점수에 유의미한 차이가 있는지 알아보기 위해 집단(쓰기 부진 아동, 일반아동), 학년(1, 2, 3), 쓰기 채점 방식(어절 기준 채점 방식, 글자소 기준 채점 방식, 창안적 쓰기 채점 방식)을 변인으로 설정하여 three-way mixed ANOVA을 실시하였다. 또한, 채점 방식에 따라 어떤 방식이 두 집단을 더 민감하게 선별하는지 알아보기 위해 ROC 곡선(receiver operation characteristic curve)을 이용하여 각 채점 방식의 절단점, 민감도, 특이도, 곡선 아래 면적(AUC)을 구하였다.

5. 신뢰도

평가자 간 신뢰도를 산출하기 위해 아동의 쓰기 점수 및 쓰기 오류 유형에 대한 분석 신뢰도를 산출하였다. 전체 대상자의 약 25%인 14명을 무작위로 추출해서 쓰기 분석을 실시하고 평가자 간 신뢰도를 계산하였다. 제1 평가자는 본 연구자였으며, 제2 평가자는 2급 언어재활사였다. 어절 기준 채점 방식에 대한 신뢰도는 100%, 글자소 기준 채점 방식은 99.79%, 창안적 쓰기 채점 방식은 98.88%이었으며, 글자소 오류 유형에 대한 신뢰도는 98.58%, 형태소 오류는 97.43%, 음운규칙 반영오류는 95.93%이었다.


Ⅲ. 연구 결과
1. 학년 및 채점 방식에 따른 집단 간 쓰기 점수의 차이

학년 및 채점 방식에 따른 집단 간 쓰기 점수의 기술 통계는 표 2에 제시하였으며, 집단 간 학년과 쓰기 채점 방식에 따른 쓰기 능력이 통계적으로 유의한 차이가 있는지 살펴보기 위해 집단(2)×학년(3)×쓰기 채점 방식(3)의 three-way mixed ANOVA을 실시하였다. 그 결과, 집단 간(F(1, 48)=93.997, p<.001), 학년 간(F(2, 48)=33.173, p<.001), 채점 방식 간(F(2, 96)=269.808, p<.001)에 유의한 차이가 나타났으며, 2차 및 3차 상호작용 효과도 모두 유의하였다.

Table 2. 
Descriptive statistics of writing scores according to grade and scoring metrics (%)
th WD
Grade1 Grade2 Grade3 Grade1 Grade2 Grade3
Word level 52.8
(14.9)
81.6
(12.1)
95.7
( 2.3)
9.2
( 7.7)
27.9
(18.6)
60.1
(23.6)
Phonemic level 87.5
( 6.6)
96.2
( 2.6)
99.0
( .6)
31.9
(20.9)
64.7
(29.9)
87.2
(14.6)
Invented spelling level 90.8
( 6.4)
97.5
( 2.3)
99.3
( .5)
33.4
(21.8)
67.0
(24.8)
89.4
(13.9)
Values are presented as mean (SD).
TD=typically developing children; WD=children with writing difficulties.

즉, 쓰기 부진 아동 집단이 일반아동 집단에 비해 쓰기 점수가 유의하게 낮았다. 또한 학년 간 주효과가 유의하여 Bonferroni 사후검정을 실시한 결과, 1학년은 2학년 및 3학년에 비해 쓰기 점수가 유의하게 낮았으며(p<.001), 2학년도 3학년에 비해 쓰기 점수가 유의하게 낮았다(p<.005). 채점 방식 간 주효과가 유의하여 Bonferroni 사후검정을 실시한 결과, 어절 기준 채점 방식은 글자소 기준 채점 방식과 창안적 쓰기 채점 방식에 비해 유의하게 낮았고(p<.001), 글자소 기준 채점 방식도 창안적 쓰기 채점 방식에 비해 유의하게 낮았다(p<.05, 그림1).


Figure 1. 
Difference in writing score between groups according to grades and writing scoring metrics

또한, 집단 및 학년(F(2, 96)=6.138, p<.005), 집단 및 채점 방식(F(2, 96)=15.440, p<.001), 학년 및 채점 방식(F(4, 96)= 8.411, p<.001)의 이차 상호작용이 모두 유의하였다. 집단 및 학년 간 상호작용 효과 그래프는 그림 2에 제시하였으며, LMATRIX를 사용하여 상호작용에 대한 사후검정을 실시한 결과, 3학년에서의 두 집단 간 쓰기 점수 차이가 2학년(p<.05) 및 1학년(p<.05)에서의 집단 간 차이에 비해 유의하게 작은 것으로 나타났다. 집단 및 채점 방식 간 상호작용 효과 그래프는 그림 3에 제시하였으며, LMATRIX와 MMATRIX SYNTAX를 사용하여 상호작용에 대한 사후검정을 실시한 결과, 어절 기준 채점 방식에서의 집단 간 차이가 글자소 기준 채점 방식(p<.01) 및 창안적 쓰기 채점 방식(p<.01)에서의 집단 간 차이에 비해 유의하게 큰 것으로 나타났다. 글자소 기준 채점 방식에서의 집단 간 차이도 창안적 쓰기 채점 방식에서의 집단 간 차이에 비해 유의하게 컸다(p<.01).


Figure 2. 
Comparing group writing scores according to grade


Figure 3. 
Between group writing score according to writing scoring metrics

학년 및 채점 방식 간 상호작용 효과 그래프는 그림 4에 제시하였다. 학년이 올라갈수록 세 가지 채점 방식의 차이가 줄어들며, 1학년에서 세 가지 채점 방식의 점수 차이가 가장 크다. 특히 어절 기준 채점 방식이 가장 큰 차이를 보이는 것으로 나타났다. 또한, 학년별 쓰기 채점 방식 간 차이를 살펴보기 위해 one-way ANOVA 분석 결과, 각 1, 2, 3학년에서 모두 쓰기 채점 방식에 유의한 차이가 나타나 Bonferroni 사후검정을 실시한 결과, 어절 기준 채점 방식은 글자소 기준 채점 방식(p<.005)과 창안적 쓰기 채점 방식(p<.005)에 비해 쓰기 점수가 유의하게 낮은 것으로 나타났다. 또한 글자소 기준 채점 방식도 창안적 쓰기 채점 방식에 비해 점수가 유의하게 낮은 것으로 나타났다(p<.005).


Figure 4. 
Difference between scoring metrics according to grade

마지막으로 집단, 학년 및 채점 방식 간 3차 상호작용이 통계적으로 유의하였으며(F(4, 96)=17.348, p<.001), 상호작용 효과 그래프는 그림 1그림 5에 제시하였다. 1, 2학년 일반아동과 1, 2, 3학년 쓰기 부진 아동은 어절 기준 채점 방식에서 다른 두 쓰기 채점 방식에 비해 낮은 점수를 보였으며, 3학년 일반아동은 3가지 쓰기 채점 방식의 점수 차이가 작았다. 또한 일반아동은 어절 기준 채점 방식에서 학년 간 가장 큰 점수 차이를 보였으며, 쓰기 부진 아동은 일반아동에 비해 글자소 기준 채점 방식, 창안적 쓰기 채점 방식에서도 학년 간 점수 차이가 컸다.


Figure 5. 
Differences in writing scoring metrics between group and grade

2. 쓰기 채점 방식의 민감도

쓰기 채점 방식 중 어떤 방식이 두 집단을 더 민감하게 선별하는지 알아보기 위해 ROC(receiver operation characteristic curve) 분석방법을 사용하였다. ROC 곡선의 아래 면적을 AUC(area under the curve)라고 하며, 면적이 1에 가까울수록 진단 정확성 및 일치도가 높은 것을 의미한다(Muller et al., 2005).

그 결과는 표 3그림 6에 제시하였으며, AUC는 창안적 쓰기 채점 방식(.903, p<.001), 글자소 기준 채점 방식(.899, p<.001), 어절 기준 채점 방식(.890, p<.001)의 순으로 높게 나타났다. AUC를 .50부터 .70까지는 낮은 일치도, .70부터 .90까지는 중간 일치도, .90부터 1.00까지는 높은 일치도로 구분하는 기준(Swets, 1996; Watkins et al., 2002)을 고려할 때, 어절 기준 채점 방식과 글자소 기준 채점 방식보다 창안적 쓰기 채점 방식이 더 유용한 채점 방식임을 알 수 있다.

Table 3. 
ROC analysis according to each scoring metrics
AUC Cut-off value Sensitivity Specificity
Word level .890 56.896 .815 .815
Phonemic level .899 90.807 .815 .815
Invented spelling level .903 93.722 .852 .778
***p<.001


Figure 6. 
ROC analysis according to each scoring metrics

3. 집단간 쓰기 오류 유형

쓰기 오류 유형은 글자소 오류, 형태소 오류, 음운규칙 반영오류인 세 가지 측면에서 분석되며, 나타난 쓰기 오류를 모두 분석하는 글자소 오류, 형태소 오류와는 달리 음운규칙 반영오류는 음운규칙으로 인한 오류가 나타난 경우에만 분석된다. 따라서 표 4와 같이 쓰기 부진 아동은 글자소, 형태소 오류의 출현빈도가 높은 것 비해 음운규칙 반영오류 출현빈도는 낮은 것을 알 수 있다.

Table 4. 
Comparison of occurrence frequency of write error types
th (N=27) WD (N=27)
Grapheme, Morpheme errors 12.85 (14.277) 85.96 (67.183)
Phonological rules errors 4.15 ( 3.666) 5.63 ( 3.824)
Values are presented as mean (SD).
TD=typically developing children; WD=children with writing difficulties.

세 가지 오류 유형(글자소 오류, 형태소 오류, 음운규칙 반영오류)을 각각 나누어 하위 유형별 집단 간 차이를 살펴보면 다음과 같다.

집단 간 글자소 오류 유형으로 일반아동 집단에서는 대치(M=6.51, SD=5.82), 생략(M=5.59, SD=8.52), 첨가(M= .74, SD=1.43) 순으로 오류빈도가 높았으며, 쓰기 부진 집단에서는 생략, 대치, 첨가 순으로 오류빈도가 높았다. 생략에서 집단간 차이가 가장 컸으며, 첨가에서 집단간 차이가 적었다.

집단 간 형태소 오류 유형으로 형태소 오류 유형은 일반아동 집단에서는 연결어미(M=7.21, SD=8.99), 실질형태소(M=6.46, SD=6.985), 조사(M=1.58, SD=2.55) 순으로 오류비율이 높았으며, 쓰기 부진 집단에서는 실질형태소(M=41.13, SD=31.98), 조사(M=35.53, SD=33.67), 연결어미(M=32.66, SD=25.30)순으로 오류비율이 높았다. 또한 조사에서 집단 간 차이가 가장 컸다.

집단 간 음운규칙 반영 오류 유형별 기술통계는 표 5에 제시하였다. 일반아동은 ㅎ탈락으로 인한 오류가 가장 많았으며, 격음화, 7종성으로 인한 오류가 뒤를 이었다. 쓰기 부진 아동도 ㅎ탈락으로 인한 오류를 가장 빈번하게 보였으며, 격음화, 유음화와 구개음화로 인한 오류 순으로 빈번하게 나타났다.

Table 5. 
Comparison of phonological rules errors (%)
th (N=27) WD (N=27)
Errors due to lenition 6.10 ( 7.38) 14.16 (11.79)
Errors due to lateralization 14.81 (36.20) 22.22 (42.37)
Errors due to tensification 2.22 ( 6.41) 1.48 ( 5.34)
Errors due to aspiration 24.07 (32.14) 33.33 (39.22)
Errors due to 7 final consonant 23.46 (28.22) 18.52 (24.17)
Errors due to /h/-deletion 51.85 (50.92) 40.74 (50.07)
Errors due to palatalization 14.81 (36.20) 22.22 (42.37)
Errors due to nasalization 11.11 (32.03) 7.41 (26.69)
Errors due to Vowel pronunciation 4.63 ( 9.90) 11.11 (17.45)
Values are presented as mean (SD).
TD=typically developing children; WD=children with writing difficulties.


Ⅳ. 논의 및 결론

본 연구는 초등학교 1, 2, 3학년 쓰기 부진 아동, 일반아동을 대상으로 학년 및 쓰기 채점 방식에 따른 집단 간 쓰기 점수에 대해 알아보고, 더 민감하게 선별하는 쓰기 채점 방식 및 두 집단의 쓰기 오류 유형에 대해 살펴보고자 하였다.

1. 학년 및 채점 방식에 따른 집단 간 쓰기 점수의 차이

학년 및 채점 방식에 따른 집단 간 쓰기 점수에 대한 분석 결과 집단, 학년 및 채점 방식의 주효과가 유의하였으며, 집단 및 학년, 집단 및 채점 방식, 학년 및 채점 방식의 이차 상호작용도 모두 유의하였다. 즉, 쓰기 부진 아동이 일반아동에 비해 쓰기 능력이 유의하게 낮은 것으로 나타났으며, 상위 학년일수록 쓰기 점수가 유의하게 높았다. 또한 3학년에서 집단 간 쓰기 채점 방식의 점수 차이가 가장 작았다. 이는 초등학교 저학년 시기에 유의한 쓰기 발달을 보였다는 선행 연구와도 일치한다(Kim, 2009; Shin et al., 2015). 특히, 일반아동의 경우 유치원과 초등학교 저학년에 쓰기 능력이 급격하게 발달하고(Yang, 2014) 1학년 때 이미 규칙단어 쓰기 정확도가 80%인 것에 비해, 쓰기 부진 아동들은 그보다 늦은 2~3학년 사이에 발달을 했다고 볼 수 있다. 하지만 쓰기 부진 아동의 쓰기 능력이 학년에 따라 발달했음에도 불구하고 집단 간 차이는 유의하여 여전히 어려움을 보이는 것을 알 수 있다.

마지막으로 집단, 학년과 채점 방식의 삼차 상호작용 효과도 유의하였다. 3학년 일반아동을 제외하고 두 집단 모두 어절 기준 채점 방식에서 다른 두 점수보다 낮은 점수를 보였으며, 학년 간 차이가 가장 컸다. 하지만 3학년 일반아동은 세 가지 채점 방식에서 유사한 점수를 받았으며, 천장 효과가 나타났다. 따라서 3학년 일반아동은 어절 기준 채점 방식만으로도 쓰기에 대한 능력을 효율적으로 평가할 수 있지만, 학년이 증가하여도 여전히 채점 방식간 차이가 유의했던 1, 2학년 일반아동과 쓰기 부진 아동들에게는 어절 기준 채점 방식이 아동의 능력을 과소평가하게 될 수 있어 적절한 채점 방식을 사용할 필요가 있다. Clemens 등(2013)는 음운적 쓰기 채점은 초기 읽기 및 쓰기에 적절한 채점 방식이며, 단어 정반응 점수는 정확한 글자를 쓰는 것에 기대되는 수준에 적절한 채점 방식이라고 보고하였다. 추가적으로 이전에 제시한 그림 1을 보면 일반아동 1학년과 쓰기 부진 아동 3학년의 3가지 채점 방식에서 점수가 유사하게 나타나 이에 대한 차이를 살펴보기 위해 일원배치분산분석을 실시했으며, 3학년 쓰기 부진 아동이 1학년 일반아동보다 어절 기준 채점 방식에서 점수가 높았으나 통계적으로 유의하지 않았고 글자소 기준 채점 방식, 창안적 쓰기 채점 방식에서도 집단 간 유의한 차이가 없었다. 이는 일반아동 1학년이 쓰기 부진 3, 4학년의 수준과 유사하다는 선행연구와 일치하는 결과이다(Kim, 2009).

2. 쓰기 채점 방식의 민감도

세 가지 쓰기 채점 방식 중 어떤 방식이 쓰기 부진을 구별해내는지 확인하기 위하여 ROC곡선을 통해 절단점, 민감도 및 특이도를 구하였다. AUC는 일반적으로 .70부터 .90까지는 중간 일치도, .90부터 1.00까지는 높은 일치도로 구분하는 기준(Swets, 1996; Watkins et al., 2002)을 고려했을 때, 어절 기준 채점 방식보다 창안적 쓰기 채점 방식과 글자소 기준 채점 방식이 더 유용한 채점 방식임을 알 수 있다. 이는 저학년일수록 음운적 쓰기를 반영한 점수가 더 유용하다는 선행연구를 뒷받침한다(Clemens et al., 2013). 일반아동들도 초기 쓰기 단계일 때 어절 기준 채점 방식으로 채점하게 되면 점수가 낮게 나타나 아동들의 쓰기 능력에 대한 정보가 부족하다. 또한 같은 어절 기준 채점 방식을 받더라도 일반아동이 쓰기 부진 아동보다 글자소 기준 채점 방식 및 창안적 쓰기 채점 방식은 훨씬 더 높은 것으로 나타났다. 이는 쓰기 부진 아동에 비해 일반아동이 비슷한 음소로의 대치, 창안적 쓰기로 인한 오류가 많기 때문이다(Kim, 2009). 이를 통해 저학년 아동들에게는 어절 기준 채점 방식보다는 글자소 기준 채점 방식이나 창안적 쓰기 채점 방식을 활용하는 것이 효율적이라는 것을 알 수 있다.

3. 집단간 쓰기 오류 유형

글자소 오류는 쓰기 부진 아동이 일반아동에 비해 빈번하게 나타났으며, 특히 생략과 대치에서 집단 간 차이가 나타났다. 첨가에서는 집단 간 차이가 적어 두 집단 모두 흔하게 보이는 오류는 아닌 것으로 나타났다. 일반아동은 대치, 생략, 첨가 순으로 높게 나타났으며, 쓰기 부진 아동은 생략, 대치, 첨가 순으로 높게 나타났다. 이는 일반아동이 대치 오류가 가장 많았으며 생략, 첨가 오류 순으로 나타났다는 선행논문의 결과와 일치한다(Kim, 2009). 형태소 오류 발생률은 쓰기 부진 아동이 일반아동보다 높았으며, 실질형태소와 조사에서 집단 차이가 컸다. 일반아동은 실질형태소나 조사보다 연결어미에서 오류가 가장 많았으나 반대로 쓰기 부진 아동은 연결어미보다 실질형태소와 조사에서의 오류가 많았다. 이는 일반아동의 경우 조사임을 인식하고 연음화를 이해하여 조사에서의 오류는 적었으나 쓰기 부진 아동은 연결어미, 조사를 인식하지 못하고 음운대로 쓰거나 관련 없는 글자소로 대치 및 생략한 오류가 빈번하게 나타난 것으로 해석된다. Kim(2009)에서도 음운규칙이 적용되는 단어는 어간과 어미 구분하지 못할 경우, 어간과 어미가 음운규칙에 영향을 받아 변형되는 형태로 쓰는 오류가 발생한다고 보고하였다. 이는 특히 쓰기 부진 아동에게서 형태소 인식 발달이 지체되어있다고 보고하였다. 음운규칙 반영오류는 하위 유형별로 살펴보면 일반아동은 ㅎ탈락으로 인한 오류가 가장 많았고, 격음화, 7종성으로 인한 오류가 뒤를 이었다. 쓰기 부진 아동도 ㅎ탈락으로 인한 오류를 가장 빈번하게 보였으며, 격음화, 유음화와 구개음화로 인한 오류 순으로 빈번하게 나타났다. 하지만 음운규칙 반영오류 유형에 따른 일반아동과 쓰기 부진 아동 간 차이는 나타나지 않아 음운규칙 반영오류 유형은 두 집단 모두 유사한 것으로 나타났다.

본 연구는 일반아동과 쓰기 부진 아동의 효율적인 쓰기 채점 방식을 비교 분석한 것에 의의가 있다. 연구결과 쓰기 부진 아동의 쓰기 능력을 평가하기 위해서는 어절 기준 채점 방식 보다는 글자소 혹은 창안적 쓰기 채점 방식을 사용함으로써 아동이 보이는 쓰기 오류의 유형과 쓰기 발달 과정을 더욱 자세하게 살펴보고 평가할 수 있을 것이다. 그리고 이는 쓰기 부진 아동뿐만 아니라 쓰기 초기 단계에 있는 일반 아동들에게도 적용될 수 있을 것이다. 또한 일반아동과 쓰기 부진 아동들이 보이는 쓰기 오류 유형의 공통점과 차이점을 살펴보았는데, 이 연구 결과가 임상이나 교육현장에서 아동의 오류 유형을 평가하고 중재 목표를 설정하는 근거가 될 수 있을 것이다.

하지만 본 연구의 제한된 연구 대상자 수로 인해 연구 결과를 일반화하는데 한계가 있다. 또한 본 연구에서는 표기능력으로 쓰기 부진 아동을 선정하였는데 맞춤법, 문장 구성력 등도 함께 평가하여 보다 명확한 대상자 선정이 필요하다. 마지막으로 글자소 기준 채점 방식과 창안적 쓰기 채점 방식을 활용하였으나, 두 점수 간 차이가 적어 쓰기 부진 아동의 특성을 구체적으로 살펴보기에 한계가 있다. 따라서 후속연구에서는 충분한 대상자 수를 확보하고 학년별로 집단을 나누어 쓰기 부진 아동의 쓰기 능력 발달을 다양한 조건에서 확인해야 할 것이다. 또한 쓰기 능력을 좀더 질적으로 명확하게 살펴볼 수 있는 채점 방식이 고안되어야 할 것이다.


Acknowledgments

This study was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (No. NRF-2018S1A3A2075274).

This article was based on the first author's master's thesis from Ewha University (2019).

이 연구는 2020년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2018S1A3A2075274).

이 논문은 이미래(2019)의 석사학위 논문을 수정·보완하여 작성한 것임.


References
1. Alber, S. R., & Walshe, S. E. (2004). When to self-correct spelling words: A systematic replication. Journal of Behavioral Education, 13(1), 1-24.
2. Berninger, V. W., Nielsen, K. H., Abbott, R. D., Wijsman, E., & Raskind, W. (2008). Writing problems in developmental dyslexia: Under-recognized and under-treated. Journal of School Psychology, 46(1), 1–21.
3. Cho, M. S. (2003). A Study on the teaching methodology of the dictation. Journal of Elementary Korean Education, 13, 117-148.
조명숙 (2003). 받아쓰기 지도 방안 연구(초등학교 1학년을 대상으로). 초등국어교육, 13, 117-148.
4. Chomsky, C. (1971). Invented spelling in the open classroom. Word, 27(1-3), 499-518.
5. Clemens, N. H., Oslund, E. L., Simmons, L. E., & Simmons D. (2013). Assessing spelling in kindergarten: Further comparison of scoring metrics and their relation to reading skills. Journal of School Psychology, 52(1), 49-61.
6. Graham, S., Berninger, V., Abbott, R., Abbott, S., & Whitaker, D. (1997). The role of mechanics in composing of elementary school students: A new methodological approach. Journal of Educational Psychology, 89(1), 170-182.
7. Graham, S., & Perin, D. (2007). A meta-analysis of writing instruction for adolescent students. Journal of Educational Psychology, 99(3), 445–476.
8. Ham, G. Y. (2003). The study concerning Korean orthography and teaching methods: Based on the data of the 5th grade in elementary school (Master’s thesis). Catholic University, Seoul.
함관영 (2003). 한글 맞춤법 오류실태 및 지도방안에 대한 연구. 가톨릭대학교 대학원 석사학위 논문.
9. Jung, S. I. (2005). Invented spelling: Spelling error analysis in Korean kindergarten children (Master’s thesis). Ewha Womans University, Seoul.
정상임. (2005). 5-6세 아동의 창안적 글자쓰기 발달 단계에 따른 오류 유형 분석. 이화여자대학교 대학원 석사학위 논문.
10. Kim, A. H. (2009). Spelling skills of elementary students in Korea: Focusing on spelling accuracy and error patterns. The Journal of Elementary Education, 22, 85-113.
김애화 (2009). 초등학교 학생의 철자 특성 연구: 철자 발달 패턴 및 오류 유형 분석. 초등교육연구, 22, 85-113.
11. Kim, A. H., Choi, H. N., & Kim, J. H. (2010). Spelling skills of students with or without spelling difficulties in Korea: Focusing on spelling accuracy and error patterns. Korean Journal of Special Education, 45(1), 203-223.
김애화, 최한나, 김주현 (2010). 초등학교 철자부진학생과 일반학생의 철자 특성 비교 연구. 특수교육학연구, 45(1), 203-223.
12. Larsen, S. C., Hammill, D. D., & Moats, L. C. (1999). Test of written spelling (4th ed.). Austin: Pro-Ed.
13. MacArthur, C. A., Graham, S., Haynes, J. B., & DeLaPaz, S. (1996). Spelling checkers and students with learning disabilities: Performance comparisons and impact on spelling. Journal of Special Education, 30(1), 35-57.
14. Masterson, J. J., & Apel, K. (2010). The spelling sensitivity score: Noting developmental changes in spelling knowledge. Assessment for Effective Intervention, 36(1), 35–45.
15. McMaster, K. L., Parker, D., & Jung, P. (2012). Using curriculum-based measurement for beginning writers within a response to intervention framework. Reading Psychology, 33(1-2), 190-216.
16. Moats, L. C. (1995). Spelling development disability and instruction. Timonium: York Press.
17. Muller, M. P., Tomlinson, G., Marrie, T. J., Tang, P., McGeer, A., Low, D. E., & Gold, W. L. (2005). Can routine laboratory tests discrominte between severe acute respiratory syndrome and other causes of community-acquired pneumonia? Clinical Infectious Diseases, 40(8), 1079-1086.
18. Park, H. Y. (2014). Korean Comprehensive Test of Nonverbal Intelligence-second edition (K-CTONI-2). Seoul: Mind Press.
박혜원 (2014). 한국 비언어 지능검사-제2판(K-CTONI-2). 서울: 마인드프레스.
19. Park, K. S., Kim, K. O., Song, Y. J., Jung, D. Y., & Jung, I. S. (2008). Koran National Institute for Special Education-Basic Academic Achievement Tests (KNISE-BAAT). Asan: Korea Institute for Special Edaucation.
박경숙, 김계옥, 송영준, 정동영, 정인숙 (2008). 국립 특수 교육원 기초 학력 검사 (KNISE-BAAT), 아산: 국립특수교육원.
20. Park, S. J. (2002). A study on of dictation test in Gyeonsang elementary students. Journal of Elementary Korean Education, 21, 67-89.
박수자 (2002). 경상방언 초등학습자의 받아철자 검사 활용 방안. 한국초등국어교육, 21, 67-89.
21. Puranik, C. S., & Lonigan, C. J. (2012). Early writing deficits in preschoolers with oral language difficulties. Journal of Learning Disabilities, 45(2), 179-190.
22. Read, C. (1975). Children’s categorizations of speech sounds in English. Urbana: National Council of Teachers of English.
23. Ritchey, K. D., Coker Jr, D. L., & McCraw, S. B. (2010). A comparison of metrics for scoring beginning spelling. Assessment for Effective Intervention, 35(2), 78–88.
24. Sénéchal, M., Ouellette, G., Pagan, S., & Laver, R. (2012). The role of invented spelling on learning to read in low-phoneme awareness kindergarteners: A randomized-control-trial study. Reading and Writing, 25(4), 917-934.
25. Shanahan, T. (2004). Overcoming the dominance of communication: Writing to think and to learn. In T. L. Jetton & D. A. Dole (Eds.), Adolescent research and practice (pp. 59–73). New York: Guilford.
26. Shin, G. Y., Seol, A. Y., Cho, H. S., Nam, K. C., & Pae, S. Y. (2015). Korean spelling development and linguistic patterns. Journal of Speech-Language & Hearing Disorders, 24(2), 61-72.
신가영, 설아영, 조혜숙, 남기춘, 배소영 (2015). 초등학생의 철자 발달과 오류 패턴 분석. 언어치료연구, 24(2), 61-72.
27. Shin, S. U., & Cho, S. C. (2001). Comparative study upon the characteristics of writing between the patients with writing disabilities and normal elementary school students. Journal of the Korean Academy of Children and Adolescent Psychiatry, 12(1), 51-70.
신성웅, 조수철 (2001). 쓰기 장애 환자와 정상 초등학교 학생의 쓰기 특성 비교. 소아청소년정신의학, 12(1), 51-70.
28. Song, Y., Shin, G. Y., & Pae, S. Y. (2016). Decoding and spelling abilities of Korean first and second graders with and without language reading difficulties. Journal of Speech-Language & Hearing Disorders, 25(4), 99-109.
송엽, 신가영, 배소영 (2016). 초등학교 1, 2학년 언어 읽기 부진아동과 정상아동의 해독 및 철자 특성. 언어치료연구, 25(4), 99-109.
29. Swets, J. A. (1996). Signal detection theory and RIC analysis in psychology and diagnosis: Collected papers. Mahwah: Erlbaum.
30. Tangel, D. M., & Blachman, B. A. (1992). Effect of phoneme awareness instruction on kindergarten children's invented spelling. Journal of Reading Behavior, 24(2), 233–261.
31. Treiman, R. (1993). Beginning to spell. New York: Oxford University Press.
32. Treiman, R. (1997). Spelling in normal children and dyslexics. In BA Blachman (Ed.), Foundations of reading acquisition and dyslexia: Implications for early intervention (pp. 191-218). Mahwah: Erlbaum.
33. Watkins, M., Kush, J., & Schaefer, B. (2002). Diagnostic utility of the learning disability index. Journal of Learning Disabilities, 35(2), 98-104.
34. Worthy, J., & Invernizzi, M. (1990). Spelling errors of normal and disabled students on achievement levels one through four: Instructional implications. Annals of Dyslexia, 40(1), 138-151.
35. Yang, M. (2005). Development of orthographic knowledge among Korean children in grade 1 to 6 (Doctoral dissertation). University of Virginia, Charlottesville.
36. Yang, M. H. (2014). Children’s spelling of phonological and morphological features in primary grade. Communication Sciences & Disorders, 19(1), 120-131.
양민화 (2014). 음운론적 유형과 형태론적 유형의 초기 철자발달. Communication Sciences & Disorders, 19(1), 120-131.
37. Yoon, J. H. (2004). A study on writing learning disability characteristics in elementary school through writing error analysis (Master’s thesis). Daegu University, Gyeongbuk.
윤지혜 (2004). 쓰기 오류 분석을 통한 초등학교 쓰기 학습장애 특성 연구. 대구대학교 대학원 석사학위 논문.