쓰기 채점 방식에 따른 쓰기 검사의 민감도 및 특이도 연구

Ⅰ. 서 론

읽기와 쓰기는 새로운 지식을 습득하는 데 있어서 중요한 역할을 한다. 문어는 구어를 보완하는 역할을 하며, 구어와 문어 능력이 적절히 갖춰졌을 때 상황과 때에 맞게 의사소통 할 수 있다. 그중 쓰기 능력은 의사소통과 전반적인 문해력(literacy) 발달에 밀접한 관련이 있는 요소이다(Graham & Perin, 2007). 특히 철자 능력은 이후 작문 쓰기 능력을 예측할 수 있으며(Graham et al., 1997), 철자 쓰기에 어려움이 지속해서 나타나게 되면, 작문 쓰기에도 부정적인 영향을 미친다고 보고되었다(Alber & Walshe, 2004). 또한 쓰기는 정보를 분석하고 평가하는 데 사용되고 지식을 통합하고 사고하는 데 영향을 미친다(Shanahan, 2004). 더불어 다른 교과 영역의 학습을 위해 사용되는 도구적 성격을 가지고 있어 쓰기 능력의 중요성이 강조된다(Puranik & Lonigan, 2012). 특히 아동이 학령기가 되면서 이러한 쓰기 능력의 중요성은 더욱 증가하며, 학업 성취에 결정적인 영향을 미치게 된다. 이처럼 학업 성취에 있어서 쓰기의 중요성을 고려한다면 장애 위험군(at-risk) 또는 학습장애 아동들을 조기에 선별하는 것이 중요하다. 왜냐하면 학습부진이나 학습장애 아동들이 쓰기에서 어려움을 경험하고 있으나, 이러한 쓰기의 문제점들이 학령기에 접어들어 읽기와 쓰기 문제를 보인 후에야 비로소 확인되는 경우가 많기 때문이다(McMaster et al., 2012). 따라서 조기선별을 통해서 쓰기에 어려움이 있는 아동들의 문제가 장기적으로 지속되지 않도록 미리 예방하고 효과적인 중재를 제공해야 한다(Berninger et al., 2008).

한국 아동의 쓰기 발달은 먼저 자소-음소 대응 관계가 있는 규칙 단어를 먼저 쓸 수 있게 되고, 그 이후에 연음화, 7종성, 경음화, 격음화, 유음화, ㅎ탈락 등의 음운규칙이 적용된 자소-음소 불규칙 단어들을 쓸 수 있게 된다(Yang, 2005). 또한, 음운규칙에 대해 인식하게 됨에 따라 단어의 형태를 변화시키지 않고 조사, 연결어미를 적용하여 쓸 수 있도록 발달하게 되며, 초등학교 저학년에서 일반아동과 쓰기 부진 아동의 철자 쓰기 정확도에서 유의한 차이가 나타났다(Kim et al., 2010). 이 중 일반아동의 경우 1학년의 철자정확도는 80%, 6학년은 96%인 것에 비해 학습 부진 아동의 경우 1학년의 철자정확도는 60%, 6학년은 80%로 여전히 어려운 것으로 나타났으며(Kim, 2009), 일반아동보다 약 2~4배 더 많은 철자 오류를 보인다고 보고하였다(MacArthur et al., 1996). 일반아동은 1학년때 3, 4학년의 쓰기 부진 아동 수준의 쓰기 정확도를 보였으며, 쓰기 부진 아동들은 초등학교 3, 4학년 이후 쓰기 발달이 제대로 이루어지지 않고 고착된 패턴을 보였다고 보고하였다(Kim, 2009).

쓰기 발달에 대해 더 많은 정보를 얻기 위해서는 정확도뿐만 아니라 쓰기 오류패턴을 함께 분석해야 한다. 특히, 음운규칙이 적용되는 단어의 경우 일반아동과 쓰기 부진 아동 간 차이가 더 두드러지게 나타났으며, 모든 학년은 자소-음소 불일치 단어에서 가장 높은 오류율이 나타났다(Kim, 2009). 쓰기 부진 혹은 학습장애 아동뿐만 아니라 초기 쓰기 단계에 있는 일반 아동에게서도 철자 오류는 빈번하게 나타나는데, 그중 소리 나는 대로 쓰는 오류 즉, 창안적 쓰기를 많이 사용한다. 따라서 일반아동이 창안적 쓰기에서 보이는 철자 오류는 무의미한 것이 아니라, 자신의 발달 단계의 철자지식을 반영한 것이며(Treiman, 1997), 이와 같은 철자 오류를 분류하여야 한다고 하였다. 이를 볼 때 일반아동들도 어린 아동의 경우, 철자 발달이 완전하지 않으며 부분 쓰기 또는 음운적으로 유사한 글자로의 대치와 같은 오류가 나타나 음운지식과 철자지식이 발달하고 있음을 뜻한다. 따라서 쓰기 능력에 대해 더 많은 정보를 얻기 위해서는 쓰기 오류패턴을 분석할 필요가 있다.

국외 선행연구들의 전반적인 연구결과를 종합해보면 쓰기 부진 아동들은 일반아동에 비해 유의하게 낮은 쓰기 정확도를 보이지만, 쓰기 부진 아동의 쓰기 특성이 일반아동과 질적으로 다르지 않고 지연되어있는 특성을 보인다고 보고하였다(Moats, 1995; Worthy & Invernizzi, 1990). 국내 연구에서 발표된 한글 쓰기 특성 연구들을 살펴보면, 주로 일반아동의 쓰기 오류 유형 분석에 관한 연구이며(Cho, 2003; Ham, 2003; Kim, 2009; Park, 2002), 학습 부진 아동의 철자 오류 유형 분석에 관련된 연구와(Shin & Cho, 2001; Yoon, 2004) 쓰기 부진 아동과 일반아동의 쓰기 특성을 비교한 연구(Kim et al., 2010; Song et al., 2016)가 몇 편 발표되었다. 하지만, 쓰기 부진 아동의 쓰기 발달 및 오류패턴이 일반아동과 비교하는 연구가 국내에서는 아직 다양하게 이루어지지 않아 학년 및 집단에 따라 쓰기 발달과 오류패턴이 양적 및 질적인 공통점과 차이점을 확인하기에는 부족한 실정이다.

철자를 채점하기 위해 오랫동안 사용되었던 방식인 ‘정확하게 쓴 단어 수’는 단어를 정확하게 쓰면 1점, 그렇지 않으면 0점을 부여한다(Larsen et al., 1999). 하지만 이는 철자와 관련된 지식을 반영하지 않아 위험군 또는 쓰기 장애를 선별해내는데 민감도가 떨어진다고 할 수 있다. 따라서 많은 연구자는 쓰기 능력에 대한 더 많은 정보를 얻기 위해 쓰기 오류에 대해 분석하였으며, 쓰기평가의 정확도와 민감도를 높이기 위해 철자와 관련된 음운지식, 철자지식, 형태소지식을 반영한 채점하는 방식들이 고안되고 있다(Masterson & Apel, 2010; Ritchey et al., 2010; Tangel & Blachman, 1992). 그 중 창안적 쓰기는 초기 쓰기 발달 단계의 철자지식을 반영한 것으로(Treiman, 1997), 아동의 음운인식 능력을 평가하고 읽기 또는 쓰기 장애 위험군 아동을 조기 선별하는 데 도움이 될 수 있다고 보고되었다(Jung, 2005). 하지만 국내에서는 주로 아동이 정반응한 어절 점수나 글자소 점수를 산출하는 방식으로 쓰기 능력을 채점 및 평가하고 있는데. 이 방식들은 철자와 관련된 지식을 반영하지 않아 어린 아동 혹은 쓰기 부진 아동들에게서 더 많은 정보를 얻어내기에 제한점이 있다. 따라서 철자와 관련된 지식을 반영하는 연구가 필요하나, 쓰기와 관련된 지식의 정보를 제공하는 채점 방식이나 여러 쓰기 채점 방식에 대한 비교 및 민감도에 관한 연구는 부족한 실정이다.

이에 본 연구는 학년(1, 2, 3) 및 쓰기 채점 방식(어절 기준 채점 방식, 글자소 기준 채점 방식, 창안적 쓰기 채점 방식)에 따라 집단(쓰기 부진 아동, 일반아동) 간 쓰기 점수에 차이를 알아보고 어떤 쓰기 채점 방식이 두 집단을 더 민감하게 선별하는지 알아보고 자 한다. 또한 집단 간 쓰기 오류 유형이 어떠한지 알아보고자 한다.

첫째, 학년(1, 2, 3) 및 쓰기 채점 방식(어절 기준 채점 방식(WL), 글자소 기준 채점 방식(PL), 창안적 쓰기 채점 방식(IL))에 따라 집단(쓰기 부진 아동, 일반아동) 간 쓰기 점수에 유의미한 차이가 있는가?

둘째, 쓰기 채점 방식(어절 기준 채점 방식(WL), 글자소 기준 채점 방식(PL), 창안적 쓰기 채점 방식(IL)) 중 어떤 방식이 두 집단(쓰기 부진 아동, 일반아동)을 더 민감하게 선별하는가?

셋째, 집단(쓰기 부진 아동, 일반아동) 간 쓰기 오류 유형(글자소, 형태소, 음운규칙 반영 오류)은 어떠한가?

Ⅱ. 연구 방법

1. 연구 대상

본 연구의 대상은 초등학교 1, 2, 3학년 쓰기 부진 아동 27명(1, 2, 3학년 각 9명)과 생활연령을 일치시킨 일반아동 27명(1, 2, 3학년 각 9명), 총 54명(남 27명, 여 27명)을 대상으로 하였다. 집단별 구체적인 연구대상자 선정 기준은 다음과 같다. 쓰기 부진 아동은 (1)K-CTONI-2 비언어성 지능지수가 정상 범주이고, (2)중복장애로 인한 기타 어려움이 없는 아동 중, (3)KNISE 기초학력검사(KNISE-BAAT, Park et al., 2010)의 표기기능에서 16%ile 미만이며, (4)교사나 부모로부터 쓰기에 어려움이 있다고 보고된 아동으로 선정하였다. 일반아동은 (1)K-CTONI-2 비언어성 지능지수가 정상 범주에 해당하는 아동 중, (2)KNISE 기초학력검사(KNISE-BAAT, Park et al., 2010)의 표기기능에서 40%ile 이상인 아동으로 선정하였다.

집단별로 변인의 동일성을 검증하고자 one-way ANOVA를 실시하였으며, 결과는 표 1에 제시하였다. 분석 결과, 일반아동 집단과 쓰기 부진 아동 집단 간 생활연령과(F_{(1, 52)}=.001, p>.05), 비언어 지능지수(F_{(1, 52)}=3.274, p>.05)에서 유의한 차이를 보이지 않았다. 반면에 기초학력 검사 쓰기의 표기능력에서는 일반아동 집단이 쓰기 부진 아동 집단에 비해 유의하게 높았다(F_{(1, 52)}=45.484, p<.001).

Table 1.

Participants' information

Ⅲ. 연구 결과

1. 학년 및 채점 방식에 따른 집단 간 쓰기 점수의 차이

학년 및 채점 방식에 따른 집단 간 쓰기 점수의 기술 통계는 표 2에 제시하였으며, 집단 간 학년과 쓰기 채점 방식에 따른 쓰기 능력이 통계적으로 유의한 차이가 있는지 살펴보기 위해 집단(2)×학년(3)×쓰기 채점 방식(3)의 three-way mixed ANOVA을 실시하였다. 그 결과, 집단 간(F_{(1, 48)}=93.997, p<.001), 학년 간(F_{(2, 48)}=33.173, p<.001), 채점 방식 간(F_{(2, 96)}=269.808, p<.001)에 유의한 차이가 나타났으며, 2차 및 3차 상호작용 효과도 모두 유의하였다.

Table 2.

Descriptive statistics of writing scores according to grade and scoring metrics (%)

즉, 쓰기 부진 아동 집단이 일반아동 집단에 비해 쓰기 점수가 유의하게 낮았다. 또한 학년 간 주효과가 유의하여 Bonferroni 사후검정을 실시한 결과, 1학년은 2학년 및 3학년에 비해 쓰기 점수가 유의하게 낮았으며(p<.001), 2학년도 3학년에 비해 쓰기 점수가 유의하게 낮았다(p<.005). 채점 방식 간 주효과가 유의하여 Bonferroni 사후검정을 실시한 결과, 어절 기준 채점 방식은 글자소 기준 채점 방식과 창안적 쓰기 채점 방식에 비해 유의하게 낮았고(p<.001), 글자소 기준 채점 방식도 창안적 쓰기 채점 방식에 비해 유의하게 낮았다(p<.05, 그림1).

Figure 1.

Difference in writing score between groups according to grades and writing scoring metrics

또한, 집단 및 학년(F_{(2, 96)}=6.138, p<.005), 집단 및 채점 방식(F_{(2, 96)}=15.440, p<.001), 학년 및 채점 방식(F_{(4, 96)}= 8.411, p<.001)의 이차 상호작용이 모두 유의하였다. 집단 및 학년 간 상호작용 효과 그래프는 그림 2에 제시하였으며, LMATRIX를 사용하여 상호작용에 대한 사후검정을 실시한 결과, 3학년에서의 두 집단 간 쓰기 점수 차이가 2학년(p<.05) 및 1학년(p<.05)에서의 집단 간 차이에 비해 유의하게 작은 것으로 나타났다. 집단 및 채점 방식 간 상호작용 효과 그래프는 그림 3에 제시하였으며, LMATRIX와 MMATRIX SYNTAX를 사용하여 상호작용에 대한 사후검정을 실시한 결과, 어절 기준 채점 방식에서의 집단 간 차이가 글자소 기준 채점 방식(p<.01) 및 창안적 쓰기 채점 방식(p<.01)에서의 집단 간 차이에 비해 유의하게 큰 것으로 나타났다. 글자소 기준 채점 방식에서의 집단 간 차이도 창안적 쓰기 채점 방식에서의 집단 간 차이에 비해 유의하게 컸다(p<.01).

Figure 2.

Comparing group writing scores according to grade

Figure 3.

Between group writing score according to writing scoring metrics

학년 및 채점 방식 간 상호작용 효과 그래프는 그림 4에 제시하였다. 학년이 올라갈수록 세 가지 채점 방식의 차이가 줄어들며, 1학년에서 세 가지 채점 방식의 점수 차이가 가장 크다. 특히 어절 기준 채점 방식이 가장 큰 차이를 보이는 것으로 나타났다. 또한, 학년별 쓰기 채점 방식 간 차이를 살펴보기 위해 one-way ANOVA 분석 결과, 각 1, 2, 3학년에서 모두 쓰기 채점 방식에 유의한 차이가 나타나 Bonferroni 사후검정을 실시한 결과, 어절 기준 채점 방식은 글자소 기준 채점 방식(p<.005)과 창안적 쓰기 채점 방식(p<.005)에 비해 쓰기 점수가 유의하게 낮은 것으로 나타났다. 또한 글자소 기준 채점 방식도 창안적 쓰기 채점 방식에 비해 점수가 유의하게 낮은 것으로 나타났다(p<.005).

Figure 4.

Difference between scoring metrics according to grade

마지막으로 집단, 학년 및 채점 방식 간 3차 상호작용이 통계적으로 유의하였으며(F_{(4, 96)}=17.348, p<.001), 상호작용 효과 그래프는 그림 1과 그림 5에 제시하였다. 1, 2학년 일반아동과 1, 2, 3학년 쓰기 부진 아동은 어절 기준 채점 방식에서 다른 두 쓰기 채점 방식에 비해 낮은 점수를 보였으며, 3학년 일반아동은 3가지 쓰기 채점 방식의 점수 차이가 작았다. 또한 일반아동은 어절 기준 채점 방식에서 학년 간 가장 큰 점수 차이를 보였으며, 쓰기 부진 아동은 일반아동에 비해 글자소 기준 채점 방식, 창안적 쓰기 채점 방식에서도 학년 간 점수 차이가 컸다.

Figure 5.

Differences in writing scoring metrics between group and grade

2. 쓰기 채점 방식의 민감도

쓰기 채점 방식 중 어떤 방식이 두 집단을 더 민감하게 선별하는지 알아보기 위해 ROC(receiver operation characteristic curve) 분석방법을 사용하였다. ROC 곡선의 아래 면적을 AUC(area under the curve)라고 하며, 면적이 1에 가까울수록 진단 정확성 및 일치도가 높은 것을 의미한다(Muller et al., 2005).

그 결과는 표 3와 그림 6에 제시하였으며, AUC는 창안적 쓰기 채점 방식(.903, p<.001), 글자소 기준 채점 방식(.899, p<.001), 어절 기준 채점 방식(.890, p<.001)의 순으로 높게 나타났다. AUC를 .50부터 .70까지는 낮은 일치도, .70부터 .90까지는 중간 일치도, .90부터 1.00까지는 높은 일치도로 구분하는 기준(Swets, 1996; Watkins et al., 2002)을 고려할 때, 어절 기준 채점 방식과 글자소 기준 채점 방식보다 창안적 쓰기 채점 방식이 더 유용한 채점 방식임을 알 수 있다.

Table 3.

ROC analysis according to each scoring metrics

Figure 6.

ROC analysis according to each scoring metrics

3. 집단간 쓰기 오류 유형

쓰기 오류 유형은 글자소 오류, 형태소 오류, 음운규칙 반영오류인 세 가지 측면에서 분석되며, 나타난 쓰기 오류를 모두 분석하는 글자소 오류, 형태소 오류와는 달리 음운규칙 반영오류는 음운규칙으로 인한 오류가 나타난 경우에만 분석된다. 따라서 표 4와 같이 쓰기 부진 아동은 글자소, 형태소 오류의 출현빈도가 높은 것 비해 음운규칙 반영오류 출현빈도는 낮은 것을 알 수 있다.

Table 4.

Comparison of occurrence frequency of write error types

세 가지 오류 유형(글자소 오류, 형태소 오류, 음운규칙 반영오류)을 각각 나누어 하위 유형별 집단 간 차이를 살펴보면 다음과 같다.

집단 간 글자소 오류 유형으로 일반아동 집단에서는 대치(M=6.51, SD=5.82), 생략(M=5.59, SD=8.52), 첨가(M= .74, SD=1.43) 순으로 오류빈도가 높았으며, 쓰기 부진 집단에서는 생략, 대치, 첨가 순으로 오류빈도가 높았다. 생략에서 집단간 차이가 가장 컸으며, 첨가에서 집단간 차이가 적었다.

집단 간 형태소 오류 유형으로 형태소 오류 유형은 일반아동 집단에서는 연결어미(M=7.21, SD=8.99), 실질형태소(M=6.46, SD=6.985), 조사(M=1.58, SD=2.55) 순으로 오류비율이 높았으며, 쓰기 부진 집단에서는 실질형태소(M=41.13, SD=31.98), 조사(M=35.53, SD=33.67), 연결어미(M=32.66, SD=25.30)순으로 오류비율이 높았다. 또한 조사에서 집단 간 차이가 가장 컸다.

집단 간 음운규칙 반영 오류 유형별 기술통계는 표 5에 제시하였다. 일반아동은 ㅎ탈락으로 인한 오류가 가장 많았으며, 격음화, 7종성으로 인한 오류가 뒤를 이었다. 쓰기 부진 아동도 ㅎ탈락으로 인한 오류를 가장 빈번하게 보였으며, 격음화, 유음화와 구개음화로 인한 오류 순으로 빈번하게 나타났다.

Table 5.

Comparison of phonological rules errors (%)

Ⅳ. 논의 및 결론

본 연구는 초등학교 1, 2, 3학년 쓰기 부진 아동, 일반아동을 대상으로 학년 및 쓰기 채점 방식에 따른 집단 간 쓰기 점수에 대해 알아보고, 더 민감하게 선별하는 쓰기 채점 방식 및 두 집단의 쓰기 오류 유형에 대해 살펴보고자 하였다.

Acknowledgments

This study was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (No. NRF-2018S1A3A2075274).

This article was based on the first author's master's thesis from Ewha University (2019).

이 연구는 2020년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(No. NRF-2018S1A3A2075274).

이 논문은 이미래(2019)의 석사학위 논문을 수정·보완하여 작성한 것임.

References

• Alber, S. R., & Walshe, S. E. (2004). When to self-correct spelling words: A systematic replication. Journal of Behavioral Education, 13(1), 1-24. [https://doi.org/10.1023/B:JOBE.0000011260.12674.a3]
• Berninger, V. W., Nielsen, K. H., Abbott, R. D., Wijsman, E., & Raskind, W. (2008). Writing problems in developmental dyslexia: Under-recognized and under-treated. Journal of School Psychology, 46(1), 1–21. [https://doi.org/10.1016/j.jsp.2006.11.008]
• Cho, M. S. (2003). A Study on the teaching methodology of the dictation. Journal of Elementary Korean Education, 13, 117-148.
  조명숙 (2003). 받아쓰기 지도 방안 연구(초등학교 1학년을 대상으로). 초등국어교육, 13, 117-148.
• Chomsky, C. (1971). Invented spelling in the open classroom. Word, 27(1-3), 499-518. [https://doi.org/10.1080/00437956.1971.11435643]
• Clemens, N. H., Oslund, E. L., Simmons, L. E., & Simmons D. (2013). Assessing spelling in kindergarten: Further comparison of scoring metrics and their relation to reading skills. Journal of School Psychology, 52(1), 49-61. [https://doi.org/10.1016/j.jsp.2013.12.005]
• Graham, S., Berninger, V., Abbott, R., Abbott, S., & Whitaker, D. (1997). The role of mechanics in composing of elementary school students: A new methodological approach. Journal of Educational Psychology, 89(1), 170-182. [https://doi.org/10.1037/0022-0663.89.1.170]
• Graham, S., & Perin, D. (2007). A meta-analysis of writing instruction for adolescent students. Journal of Educational Psychology, 99(3), 445–476. [https://doi.org/10.1037/0022-0663.99.3.445]
• Ham, G. Y. (2003). The study concerning Korean orthography and teaching methods: Based on the data of the 5th grade in elementary school (Master’s thesis). Catholic University, Seoul.
  함관영 (2003). 한글 맞춤법 오류실태 및 지도방안에 대한 연구. 가톨릭대학교 대학원 석사학위 논문.
• Jung, S. I. (2005). Invented spelling: Spelling error analysis in Korean kindergarten children (Master’s thesis). Ewha Womans University, Seoul.
  정상임. (2005). 5-6세 아동의 창안적 글자쓰기 발달 단계에 따른 오류 유형 분석. 이화여자대학교 대학원 석사학위 논문.
• Kim, A. H. (2009). Spelling skills of elementary students in Korea: Focusing on spelling accuracy and error patterns. The Journal of Elementary Education, 22, 85-113.
  김애화 (2009). 초등학교 학생의 철자 특성 연구: 철자 발달 패턴 및 오류 유형 분석. 초등교육연구, 22, 85-113.
• Kim, A. H., Choi, H. N., & Kim, J. H. (2010). Spelling skills of students with or without spelling difficulties in Korea: Focusing on spelling accuracy and error patterns. Korean Journal of Special Education, 45(1), 203-223.
  김애화, 최한나, 김주현 (2010). 초등학교 철자부진학생과 일반학생의 철자 특성 비교 연구. 특수교육학연구, 45(1), 203-223.
• Larsen, S. C., Hammill, D. D., & Moats, L. C. (1999). Test of written spelling (4th ed.). Austin: Pro-Ed.
• MacArthur, C. A., Graham, S., Haynes, J. B., & DeLaPaz, S. (1996). Spelling checkers and students with learning disabilities: Performance comparisons and impact on spelling. Journal of Special Education, 30(1), 35-57. [https://doi.org/10.1177/002246699603000103]
• Masterson, J. J., & Apel, K. (2010). The spelling sensitivity score: Noting developmental changes in spelling knowledge. Assessment for Effective Intervention, 36(1), 35–45. [https://doi.org/10.1177/1534508410380039]
• McMaster, K. L., Parker, D., & Jung, P. (2012). Using curriculum-based measurement for beginning writers within a response to intervention framework. Reading Psychology, 33(1-2), 190-216. [https://doi.org/10.1080/02702711.2012.631867]
• Moats, L. C. (1995). Spelling development disability and instruction. Timonium: York Press.
• Muller, M. P., Tomlinson, G., Marrie, T. J., Tang, P., McGeer, A., Low, D. E., & Gold, W. L. (2005). Can routine laboratory tests discrominte between severe acute respiratory syndrome and other causes of community-acquired pneumonia? Clinical Infectious Diseases, 40(8), 1079-1086. [https://doi.org/10.1086/428577]
• Park, H. Y. (2014). Korean Comprehensive Test of Nonverbal Intelligence-second edition (K-CTONI-2). Seoul: Mind Press.
  박혜원 (2014). 한국 비언어 지능검사-제2판(K-CTONI-2). 서울: 마인드프레스.
• Park, K. S., Kim, K. O., Song, Y. J., Jung, D. Y., & Jung, I. S. (2008). Koran National Institute for Special Education-Basic Academic Achievement Tests (KNISE-BAAT). Asan: Korea Institute for Special Edaucation.
  박경숙, 김계옥, 송영준, 정동영, 정인숙 (2008). 국립 특수 교육원 기초 학력 검사 (KNISE-BAAT), 아산: 국립특수교육원.
• Park, S. J. (2002). A study on of dictation test in Gyeonsang elementary students. Journal of Elementary Korean Education, 21, 67-89.
  박수자 (2002). 경상방언 초등학습자의 받아철자 검사 활용 방안. 한국초등국어교육, 21, 67-89.
• Puranik, C. S., & Lonigan, C. J. (2012). Early writing deficits in preschoolers with oral language difficulties. Journal of Learning Disabilities, 45(2), 179-190. [https://doi.org/10.1177/0022219411423423]
• Read, C. (1975). Children’s categorizations of speech sounds in English. Urbana: National Council of Teachers of English.
• Ritchey, K. D., Coker Jr, D. L., & McCraw, S. B. (2010). A comparison of metrics for scoring beginning spelling. Assessment for Effective Intervention, 35(2), 78–88. [https://doi.org/10.1177/1534508409336087]
• Sénéchal, M., Ouellette, G., Pagan, S., & Laver, R. (2012). The role of invented spelling on learning to read in low-phoneme awareness kindergarteners: A randomized-control-trial study. Reading and Writing, 25(4), 917-934. [https://doi.org/10.1007/s11145-011-9310-2]
• Shanahan, T. (2004). Overcoming the dominance of communication: Writing to think and to learn. In T. L. Jetton & D. A. Dole (Eds.), Adolescent research and practice (pp. 59–73). New York: Guilford.
• Shin, G. Y., Seol, A. Y., Cho, H. S., Nam, K. C., & Pae, S. Y. (2015). Korean spelling development and linguistic patterns. Journal of Speech-Language & Hearing Disorders, 24(2), 61-72.
  신가영, 설아영, 조혜숙, 남기춘, 배소영 (2015). 초등학생의 철자 발달과 오류 패턴 분석. 언어치료연구, 24(2), 61-72. [ https://doi.org/10.15724/jslhd.2015.24.2.006 ]
• Shin, S. U., & Cho, S. C. (2001). Comparative study upon the characteristics of writing between the patients with writing disabilities and normal elementary school students. Journal of the Korean Academy of Children and Adolescent Psychiatry, 12(1), 51-70.
  신성웅, 조수철 (2001). 쓰기 장애 환자와 정상 초등학교 학생의 쓰기 특성 비교. 소아청소년정신의학, 12(1), 51-70.
• Song, Y., Shin, G. Y., & Pae, S. Y. (2016). Decoding and spelling abilities of Korean first and second graders with and without language reading difficulties. Journal of Speech-Language & Hearing Disorders, 25(4), 99-109.
  송엽, 신가영, 배소영 (2016). 초등학교 1, 2학년 언어 읽기 부진아동과 정상아동의 해독 및 철자 특성. 언어치료연구, 25(4), 99-109. [ https://doi.org/10.15724/jslhd.2016.25.4.008 ]
• Swets, J. A. (1996). Signal detection theory and RIC analysis in psychology and diagnosis: Collected papers. Mahwah: Erlbaum.
• Tangel, D. M., & Blachman, B. A. (1992). Effect of phoneme awareness instruction on kindergarten children's invented spelling. Journal of Reading Behavior, 24(2), 233–261. [https://doi.org/10.1080/10862969209547774]
• Treiman, R. (1993). Beginning to spell. New York: Oxford University Press.
• Treiman, R. (1997). Spelling in normal children and dyslexics. In BA Blachman (Ed.), Foundations of reading acquisition and dyslexia: Implications for early intervention (pp. 191-218). Mahwah: Erlbaum.
• Watkins, M., Kush, J., & Schaefer, B. (2002). Diagnostic utility of the learning disability index. Journal of Learning Disabilities, 35(2), 98-104. [https://doi.org/10.1177/002221940203500201]
• Worthy, J., & Invernizzi, M. (1990). Spelling errors of normal and disabled students on achievement levels one through four: Instructional implications. Annals of Dyslexia, 40(1), 138-151. [https://doi.org/10.1007/BF02648145]
• Yang, M. (2005). Development of orthographic knowledge among Korean children in grade 1 to 6 (Doctoral dissertation). University of Virginia, Charlottesville.
• Yang, M. H. (2014). Children’s spelling of phonological and morphological features in primary grade. Communication Sciences & Disorders, 19(1), 120-131.
  양민화 (2014). 음운론적 유형과 형태론적 유형의 초기 철자발달. Communication Sciences & Disorders, 19(1), 120-131. [ https://doi.org/10.12963/csd.13098 ]
• Yoon, J. H. (2004). A study on writing learning disability characteristics in elementary school through writing error analysis (Master’s thesis). Daegu University, Gyeongbuk.
  윤지혜 (2004). 쓰기 오류 분석을 통한 초등학교 쓰기 학습장애 특성 연구. 대구대학교 대학원 석사학위 논문.