Current Issue

본 연구는 FCR-CHECK의 언어적 의사소통 및 비ㆍ준언어적 의사소통 영역에 대한 평가자 간 신뢰도를 검증하기 위한 방법론적 연구(methodological study)이다. 동일한 실어증 환자를 대상으로 주보호자와 담당 언어재활사가 독립적으로 평가를 실시한 뒤, 두 평가 결과 간의 일치도를 분석하는 관찰적 단면 연구(agreement-focused observational cross-sectional design)를 채택하였다. 두 평가자의 평가는 기능 변화 가능성을 최소화하기 위해 3일 이내 동일한 시점에서 수행되었다.

FCR-CHECK 평가 결과 및 평가자 간 신뢰도는 Table 4와 같다. 언어적 의사소통 영역(13문항, 65점 만점)에서 보호자 평가는 41.77점(SD=14.07), 치료사 평가는 42.05점(SD=13.93)으로 평균 차이는 -0.27점에 불과했으며, ICC는 .919(95% CI [.816~.966])로 우수한(excellent) 수준의 신뢰도를 보였다.

비ㆍ준언어적 의사소통 영역(8문항, 40점 만점)에서 보호자 평가는 28.41점(SD=5.40), 치료사 평가는 30.23점(SD=5.34)으로 -1.82점의 차이를 보였으며, 데이터 분포를 확인한 결과, 평가 점수는 정규성 가정을 만족하였다(Shapiro-Wilk test, p>.05). 또한, 보호자와 언어재활사 간 평가 일치도를 확인하기 위한, ICC 분석은 분포 가정에 영향받지 않는 방법으로 진행하였다. 언어적 의사소통 영역의 ICC는 .919(95% CI [.816~.966])로 우수한 수준을 나타냈으며, 비ㆍ준언어적 의사소통 영역의 ICC는 .776(95% CI [.479~.906])로 양호한(good) 수준이었다. 전체 21개 문항의 합계 점수에 대한 ICC는 .901(95% CI [.779~.957])로 역시 우수한 수준의 신뢰도를 보였다. 모든 영역에서 보호자가 치료사보다 약간 낮게 평가하는 경향을 보였으나 그 차이는 미미했으며, 모든 영역의 ICC가 .75 이상으로 임상적으로 수용 가능한 수준의 신뢰도를 나타냈다. 이를 Figure 1에서 시각적으로 확인한 결과, 언어적 의사소통 영역이 ICC=.919로 가장 높은 신뢰도를 보였다. 비ㆍ준언어적 의사소통 영역 또한 ICC=.776으로, Koo와 Li(2016)의 기준에 따라 임상적으로 수용 가능한 양호한(good) 수준의 신뢰도를 나타내었다.

Figure 1. 
Inter-rater reliability by communication domain

Table 5에 제시된 개별 문항 수준의 가중 카파 분석 결과, 언어적 의사소통 영역에서는 대부분의 문항이 상당(substantial) 이상(κ=.797~.893)의 일치도를 보였다. 특히 “간단한 글자 읽고 이해”(문항 12, κ=.893), “개인정보 표현”(문항 1, κ=.850), “기본 요구사항 표현”(문항 3, κ=.843)은 거의 완벽한(almost perfect) 수준의 일치도를 나타냈다.

비ㆍ준언어적 의사소통 영역에서는 “몸짓/표정 표현”(문항 2, κ=.834)이 거의 완벽 수준, “목소리 크기 조절”(문항 5, κ=.783)이 상당한 일치도를 보였다. 반면, “몸짓/표정 이해”(문항 1, κ=.522)와 “말속도 조절”(문항 6, κ=.474)은 보통(moderate) 수준의 일치도를 나타냈다. 이러한 결과는 비ㆍ준언어적 행동이 상황적 단서, 맥락, 평가자의 해석에 따라 변동성이 크므로, 관찰자 간 판단 차이가 더 크게 나타날 수 있기 때문으로 해석된다.

Bland-Altman plot을 활용하여 두 평가자 간 전체 점수의 일치도를 Figure 2에서 시각적으로 검토한 결과, 보호자와 치료사 평가의 평균 차이는 -2.09점(SD=8.25)이었다. 95% 일치 한계는 -18.26점에서 +14.08점이었으며, 22명 중 21명(95.5%)의 점수가 이 범위 내에 포함되었다.

Figure 2. 
Bland-Altman plots for inter-rater agreement

영역별 평균 차이는 언어적 의사소통 -0.27점(SD=5.73), 비ㆍ준언어적 의사소통 -1.82점(SD=3.28)이었다. 음의 평균차는 보호자가 치료사보다 약간 낮게 평가하는 경향을 의미하지만, 그 차이는 임상적으로 매우 작은 수준이었다. 전체 점수 및 각 영역에서 점수 범위 전반에 걸쳐 체계적 편향(systematic bias)은 관찰되지 않았으며, 이는 두 평가자 간 일치도가 높음을 시사한다.

발병 후 경과 기간과 실어증 중증도에 따른 하위집단별 신뢰도를 탐색적으로 분석한 결과(Table 6), 회복기군(3~15개월, n=8)은 ICC=.932(95% CI [.725~.986]), 안정기군(≥15개월, n=14)은 ICC=.880(95% CI [.677~.959])으로 두 집단 모두 우수한(excellent) 수준의 신뢰도를 보였다.

실어증 중증도별 분석에서는 경도군(n=7)이 ICC=.923(95% CI [.688~.987])으로 가장 높은 신뢰도를 보였고, 중등도군(n=12)은 ICC=.889(95% CI [.682~.968]), 중증군(n=3)은 ICC=.845(95% CI [.312~.991])로 모두 임상적으로 수용 가능한 수준(ICC>.75)을 유지하였다(Figure 3).

Figure 3. 
Inter-rater reliability across subgroups

이러한 결과는 FCR-CHECK이 발병 시기나 실어증 중증도와 관계없이 일관되게 높은 평가자 간 일치도를 보이는 도구임을 시사한다. 다만, 일부 집단(예: 중증)의 표본 수가 적어 신뢰구간이 넓게 나타난 점을 고려하여 해석에 주의가 필요하다.

본 연구는 성인 실어증 환자를 대상으로 FCR-CHECK의 평가자 간 신뢰도를 검증하였다. 모든 영역에서 ICC가 .75를 초과하여 우수한 수준의 신뢰도를 나타냈으며, 이는 보호자가 FCR-CHECK을 사용하여 환자의 기능적 의사소통 능력을 신뢰롭게 평가할 수 있음을 의미한다.

특히 언어적 의사소통 영역에서 가장 높은 신뢰도(ICC=.919)를 보인 것은, 언어적 표현과 이해와 같은 명시적 의사소통 행동이 보호자와 치료사 모두에게 관찰하기 용이하고 평가 기준이 명확하여 평가자 간에 비교적 일관되게 포착되었기 때문으로 해석된다. 전체 점수의 ICC 역시 .901로 우수한 수준을 보였으며, 이는 FCR-CHECK이 전반적으로 안정적이고 일관된 평가 도구임을 시사한다.

비ㆍ준언어적 의사소통 영역의 ICC는 .776으로 언어 영역보다 다소 낮았지만 여전히 임상적으로 수용 가능한 수준이다. 문항 수준의 가중 카파 분석에서도 이러한 경향이 부분적으로 확인되었다. 예를 들어, 목소리 크기 조절(κ=.783)은 상당한(substantial) 일치도를 보였으나 말속도 조절(κ=.474)은 보통(moderate) 수준에 머물렀다. 이는 준언어적 특성 간에도 문항별 평가 용이성 차이가 있음을 시사한다. 즉, 말속도 조절은 상황과 맥락에 따른 변동성이 크고 평가자의 해석이 더 많이 개입될 수 있는 반면, 목소리 크기 조절은 비교적 객관적 판단이 가능하여 높은 일치도를 보인 것으로 해석할 수 있다.

비ㆍ준언어적 의사소통 영역의 ICC는 .776으로 언어적 영역(ICC=.919)보다 다소 낮았지만, Koo와 Li(2016)의 기준에 따르면 양호한(good, .75~.90) 수준으로 임상적으로 수용 가능하다. 문항별 분석 결과, ‘말속도 조절’(κ=.474)이 보통(moderate) 수준의 일치도를 나타냈는데, 이는 다음과 같이 해석된다.

첫째, 말속도와 목소리 크기는 연속적 변인으로 ‘적절한 수준’에 대한 판단에 주관성이 개입될 여지가 크다. Lomas 등(1989)의 CETI 연구에서도 준언어적 요소의 평가자 간 일치도(r=.67)가 언어적 요소(r=.82)보다 낮았다. 둘째, 보호자는 일상 대화 상황에서, 언어재활사는 구조화된 과제 수행 상황에서 관찰하므로, 관찰 맥락의 차이가 평가 불일치로 나타날 수 있다. 셋째, 보호자는 환자의 익숙한 주제 대화를 기준으로 평가하는 반면, 언어재활사는 연령 규준과 비교하므로 평가 기준의 상대성이 작용한다.

이러한 결과는 준언어적 요소 평가에서 구체적 기준 제시와 평가자 교육의 중요성을 시사한다. 향후 연구에서는 말속도와 목소리 크기에 대한 정량적 기준을 참고자료로 제공하거나, 평가자 훈련 프로그램을 강화할 필요가 있다. 다만, 본 연구에서 비ㆍ준언어적 영역의 ICC가 .776으로 Koo와 Li(2016)의 ‘good’ 기준을 충족하였으므로, FCR-CHECK은 임상에서 사용 가능한 수준의 신뢰도를 확보하였다.

본 연구의 FCR-CHECK는 기존 기능적 의사소통 평가도구들의 신뢰도 연구에서 보고된 국제적 기준에 부합하는 수준의 우수한 신뢰도를 나타냈다. Bartolini 등(2024)이 개발한 ACCA-CHECKLIST(Caregiver Communication Assessment in Aphasia-Checklist)는 실어증 환자 보호자의 의사소통 역량을 평가하는 도구로, 검사-재검사 신뢰도 ICC .940~.980, 평가자 간 신뢰도 ICC .870~.990을 보고하였다. 본 연구의 FCR-CHECK은 전체 점수에서 ICC .901로 이와 유사한 수준의 신뢰도를 나타냈다.

ASHA-FACS(Frattali et al., 1995)의 다양한 언어판 타당화 연구에서도 우수한 평가자 간 신뢰도를 보고되었다. 이탈리아어판 타당화 연구(Muò et al., 2015)에서는 평가자 간 신뢰도 ICC>.890, 평가자내 신뢰도 ICC>.970을 보고하였으며, 브라질 포르투갈어판 연구(de Carvalho et al., 2008)에서는 알츠하이머병 환자의 보호자가 평가를 완료한 경우 평가자 간 신뢰도 ICC .998, 검사-재검사 신뢰도 ICC .995를 보고하였다.

CETI(Lomas et al., 1989)의 원 연구에서는 검사-재검사 신뢰도 r=.940을 보고하였으며, 최근 그리스어판 타당화 연구(Charalambous et al., 2024)에서는 내적 일치도 Cronbach’s α>.950, 평가자 간 신뢰도 ICC≥.930, 검사-재검사 신뢰도 ICC=.880로 매우 높은 신뢰도를 확인하였다.

특히 본 연구는 기존 연구들과 달리 문항 수준에서 가중 카파 계수를 적용하여 각 의사소통 행동의 일치도를 세부적으로 분석함으로써, 기능적 의사소통 평가에서 문항 단위 신뢰도를 체계적으로 제시했다는 점에서 방법론적 기여가 크다.

본 연구에서 Bland-Altman plot 분석 결과, 보호자와 치료사 평가 간에 체계적 편향은 크지 않았으나 일부 변동성이 관찰되었다. 보호자가 치료사보다 약간 낮게 평가하는 경향(평균 차이 -2.09점)을 보였는데, 이는 측정의 불일치라기 보다는 환자가 서로 다른 의사소통 맥락에서 보이는 실제 수행 차이를 반영하는 것으로 해석된다.

실제로 본 연구의 평가 과정에서 다수의 환자는 치료실에서 더 능동적이고 적극적인 의사소통 행동을 보이는 것으로 나타났다. 이는 치료실의 구조화된 환경에서 명확한 목표를 가지고 과제가 제시되며, 치료사와의 전문적 상호작용이 환자의 의사소통 수행을 촉진하기 때문으로 이해된다. 반면, 가정 환경은 비구조적이고 다양한 일상적 변수가 존재하므로, 보호자가 관찰하는 환자의 의사소통 행동은 상대적으로 덜 적극적으로 나타날 수 있다.

이와 같은 해석은 선행 연구들에 의해 뒷받침된다. Hilari 등(2007)은 실어증 환자의 자가평가와 보호자 대리평가 간 중등도-높은 일치도(ICC=.50~.80)를 보고하면서도, 보호자가 환자의 기능을 약간 낮게 평가하는 경향을 확인하였다. Cruice 등(2005) 역시 실어증 환자와 가족, 친구 간 삶의 질 평가를 비교한 연구에서, 보호자의 낮은 평가는 측정 오류가 아닌 관찰 환경의 차이를 반영한다고 설명하였다. Long 등(2009)은 환자, 보호자, 치료사 간 기능적 의사소통 평가는 본질적으로 서로 다른 관점에 기반하며, 동일한 점수를 기대하기보다는 각 관점이 제공하는 임상적 가치에 주목해야 한다고 강조하였다. 또한, 두 관점을 통합함으로써 환자의 의사소통 능력에 대한 보다 완전한 그림을 그릴 수 있으며, 이는 개별화된 치료 목표 설정과 가정 기반 중재 계획 수립에 유용한 정보를 제공한다고 하였다.

이와 같은 근거를 종합하면, FCR-CHECK를 통한 보호자-치료사 간의 평가 결과 공유는 치료의 필요성과 효과를 논의하는 데 중요한 정보를 제공한다. 또한, 보호자와 치료사가 평가 결과의 차이에 대해 논의하는 과정에서 가정과 치료실에서의 수행 차이, 환경적 요인, 개인적 성향 등 환자 특성에 대한 이해가 심화되며, 이는 보호자를 치료 과정의 적극적 파트너로 참여시키는 기반이 될 수 있다.

본 연구 참여자의 54.5%가 브로카 실어증이었으며, 연결피질 운동성 실어증을 포함하면 비유창성 실어증이 72.7%를 차지하였다. 비유창성 실어증 환자는 발화 산출의 어려움을 보완하기 위해 제스처, 표정 등 비언어적 수단을 활용하는 비중이 높아 평가자 간 해석 차이가 발생할 가능성이 있다. 그럼에도 불구하고 본 연구에서 높은 수준의 평가자 간 신뢰도가 나타난 것은, FCR-CHECK의 문항 내용과 평가 기준이 비ㆍ준언어적 행동까지 비교적 명확하게 포착하도록 설계되었음을 시사한다.

발병 후 경과 기간에 따른 탐색적 분석에서도 일관된 신뢰도가 확인되었다. 회복기군(3~15개월)은 언어적 의사소통 영역에서 특히 높은 신뢰도(ICC=.967)를 보였으며, 안정기군(15개월 이상)은 비ㆍ준언어적 의사소통 영역에서 상대적으로 높은 신뢰도(ICC=.823)를 보였다. 이러한 결과는 FCR-CHECK이 발병 시기와 관계없이 다양한 임상 집단에서 안정적으로 활용될 수 있는 가능성을 보여준다. 다만, 본 분석은 탐색적 목적에서 수행된 것이며 각 집단의 표본 수가 제한적이므로(회복기 n=8, 안정기 n=14) 결과 해석에는 신중함이 필요하다.

본 연구는 다음과 같은 제한점을 가진다. 첫째, 표본 수가 22명으로 제한되어 있으며, 특히 하위집단 분석의 통계적 검정력이 충분히 반영되지 않았을 수 있다. 둘째, 연구 대상자의 성별 분포가 남성에 편중되어(81.8%) 성별에 따른 의사소통 특성을 충분히 반영되지 않았을 수 있다. 셋째, 좌반구 병변의 실어증 환자만을 대상으로 하였기 때문에 다른 유형의 신경언어장애로 결과를 일반화하는 데 한계가 있다. 넷째, 보호자 특성(배우자 비율 72.7%, 동거 비율 86.4%)이 평가에 미치는 영향을 체계적으로 분석하지 못하였다. 다섯째, 검사-재검사 신뢰도를 평가하지 않아 도구의 시간적 안정성을 확인하지 못하였으며, 이는 후속 연구에서 보완될 필요가 있다.

본 연구는 FCR-CHECK이 보호자와 치료사 간 높은 평가자 간 신뢰도를 보임을 확인함으로써, 임상 현장에서 활용 가능한 신뢰로운 기능적 의사소통 평가도구임을 입증하였다. 이를 통해 보호자의 적극적 치료 참여를 촉진하고, 생태학적 타당도를 높이며, 환자 중심의 개별화된 중재 계획을 수립하는 데 기여할 수 있다.

후속 연구에서는 다음과 같은 방향이 필요하다. 첫째, 더 큰 표본을 통한 포괄적 타당도 검증과 다양한 임상 집단에서의 적용 가능성 평가, 둘째, 실어증 이외의 다른 신경언어장애군으로 도구 적용 범위 확장, 셋째, 종단 연구를 통한 변화 민감도 검증, 넷째, 디지털 기반 평가 플랫폼 개발을 통해 도구의 접근성을 향상시키는 연구가 필요하다.

특히 변화 민감도가 검증된다면, FCR-CHECK은 치료 효과를 추적ㆍ모니터링하는 객관적 임상 지표로서 활용 가치가 더욱 높아질 것이다.

본 연구는 성인 실어증 환자를 대상으로 FCR-CHECK의 평가자 간 신뢰도를 검증하였으며, 언어적 의사소통 ICC .919, 비ㆍ준언어적 의사소통 ICC .776, 전체 ICC .901로 모두 우수한 수준의 신뢰도를 확인하였다. 이는 국제적으로 검증된 기능적 의사소통 평가도구들과 비교하여 동등한 수준의 신뢰도를 보이는 결과이다.

보호자와 치료사의 평가는 서로 다른 의사소통 맥락(가정 vs. 치료실)에서 관찰한 수행을 반영하므로, 두 관점은 상호보완적 의미를 지닌다. FCR-CHECK은 이러한 두 시각을 통합하여 환자의 기능적 의사소통 능력을 보다 포괄적으로 이해하도록 돕는 도구이며, 보호자를 수동적 관찰자가 아닌 능동적 치료 파트너로 참여시키는 가족 중심 재활의 핵심 수단이 될 수 있다.

결론적으로, 본 연구는 FCR-CHECK이 성인 실어증 환자의 기능적 의사소통을 평가하는 데 있어 보호자와 치료사가 함께 활용할 수 있는 신뢰롭고 임상적으로 유용한 도구임을 확인하였다. 본 도구는 환자 중심의 개별화된 중재 계획 수립에 기여할 뿐만 아니라, 한국의 가족 중심 돌봄 문화를 반영한 새로운 기능적 의사소통 평가체계 구축의 기초를 제공한다. 또한 성인 말ㆍ언어장애 재활 분야에서 보호자 참여형 평가의 활성화에 기여할 것으로 기대된다.