About | Browse Archives | Current Issue | For Contributors |
Sorry.
You are not permitted to access the full text of articles.
If you have any questions about permissions,
please contact the Society.
죄송합니다.
회원님은 논문 이용 권한이 없습니다.
권한 관련 문의는 학회로 부탁 드립니다.
[ ORIGINAL ARTICLE ] | |
Journal of Speech-Language & Hearing Disorders - Vol. 33, No. 3, pp. 9-18 | |
Abbreviation: JSLHD | |
ISSN: 1226-587X (Print) 2671-7158 (Online) | |
Print publication date 31 Jul 2024 | |
Received 14 Jun 2024 Revised 03 Jul 2024 Accepted 31 Jul 2024 | |
DOI: https://doi.org/10.15724/jslhd.2024.33.3.009 | |
문장의미와 감정 운율 일치 여부에 따른 좌ㆍ우반구 뇌졸중 환자의 정서적 운율 이해 | |
김민주1
; 김정완2, *
| |
1대구대학교 일반대학원 재활과학과 언어치료전공 박사과정 | |
2대구대학교 언어치료학과 교수 | |
Affective Prosody Comprehension in Stroke Patients With Left-Right Hemisphere Damage According to Sentence Meaning and Emotional Prosodic Congruence | |
Min Ju Kim1
; Jung Wan Kim2, *
| |
1Major in Speech-Language Pathology, Dept. of Rehabilitation Science, Graduate School, Daegu University, Doctor’s Course | |
2Dept. of Speech-Language Pathology, Daegu University, Professor | |
Correspondence to : Jung Wan Kim, PhD E-mail : kimjungwan@daegu.ac.kr | |
Copyright 2024 ⓒ Korean Speech-Language & Hearing Association. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. | |
본 연구는 RHD 및 LHD 환자를 대상으로 하여 문장의미의 감정유형에 따른 정서적 운율 이해 능력을 조사하고, 문장의미의 감정유형과 정서 운율 일치 여부에 따라 집단 간 정서적 운율을 이해하는 데 어떤 특성을 보이는지 파악하는 것이다.
대상자는 대구ㆍ경북에 거주 중인 만 55세 이상으로 좌ㆍ우반구 손상 환자는 각 12명씩 총 24명을 선정하였다. 과제는 감정이 내포된 문장과 감정 운율의 일치 여부에 따라 일치 조건과 불일치 조건으로 구분하였다. 대상자들에게 3가지 감정(기쁨, 슬픔, 화남)이 내포된 문장을 들려주며 기쁨, 슬픔, 화남 표정 중 하나를 선택하도록 그림을 제시하였다.
좌ㆍ우반구 손상 부위에 상관없이 세 가지 감정유형 중 슬픔 감정에서 그리고 문장의미-감정 일치 조건에서 운율 이해능력(정반응점수, 반응시간)이 높게 나타났다.
언어적 의미처리가 반영된 정서적 운율 과제에서 좌ㆍ우반구의 상대적 우세성 유무가 존재하는지 확인한 결과, 정서적 운율 특징인 음도, 억양, 속도 등 다양한 요소들과 관련된 정보들이 단순히 한쪽 반구에만 의존하지 않음을 알 수 있었다. 뇌졸중 환자는 메시지 의도와 감정이 일치할 때 정서적 운율을 더 쉽게 이해하고 빠르게 반응할 수 있었는데 이는 정서적 운율과 불일치하는 문장의미의 감정 유형에서 차별적으로 주의를 산만하게 만든다는 것을 의미하고 발화의 의미 해석으로 주의가 흩어짐으로써 운율 이해에 더욱 어려움을 겪을 수 있다는 것을 확인할 수 있었다.
This study investigates affective prosody comprehension in patients with right-hemisphere damage (RHD) and left-hemisphere damage (LHD) according to the type of emotion in sentence meaning. It aims to identify the characteristics of how these groups understand affective prosody according to the congruence between the emotion type of the sentence meaning and the affective prosody.
The subjects were 24 patients, 12 with RHD and 12 with LHD, all aged 55 or older and residing in Daegu and Gyeongbuk. The tasks were divided into congruent and incongruent conditions according to the match between the emotion embedded in the sentences and the affective prosody. Subjects were presented with sentences containing 3 types of emotions and were asked to select one of the pictures showing expressions of pleasure, sadness, or anger.
Regardless of the hemisphere damage, the comprehension ability (correct response score, reaction time) was higher in the emotion of sadness and in the matching condition of sentence meaning and affective prosody.
When examining whether there is relative dominance of the left or right hemisphere in affective prosody tasks that reflect linguistic meaning processing, it suggests that various elements related to affective prosody characteristics, such as pitch, intonation, and speed, do not rely solely on one hemisphere. stroke patients could understand affective prosody more easily and respond more quickly when the message’s intent and emotion were congruent. This implies that affective prosody incongruent with the sentence’s emotional meaning causes differential distraction, and the attention being diverted by the interpretation of the sentence’s meaning can make it more difficult for stroke patients to understand prosody.
Keywords: Right-hemisphere, left-hemisphere, emotion types, affective prosody comprehension 키워드: 우반구, 좌반구, 감정유형, 정서적 운율 이해 |
정서적 운율은 음도, 억양, 속도 등 다양한 음향 단서를 파악하고 해석하며 정서적 의미나 의도를 전달하는 말의 초분절적 측면을 말한다(Patel et al., 2018; Wright et al., 2018). 이는 다른 사람의 발화에서 감정을 이해하는 등 효과적인 의사소통을 위한 필수적인 능력이다. 또한 화자의 운율을 통해 전달되는 메시지에서 사용된 단어들을 처리하는 복잡한 능력이다(Singh & Harrow, 2014). 의사소통에서 화자의 운율을 통해 전달되는 감정을 이해하는 동시에 대화 메시지에서 사용한 단어들을 처리할 수 있어야 하는데, 이때 화자의 정서적 운율과 메시지는 일치할 수도 있고 불일치될 수도 있다(Pell et al., 2011). 화자의 운율과 대화 메시지의 불일치를 해석하는 능력은 아이러니와 풍자 등을 해석하는 데 필수적이다(Rockwell, 2007). 이러한 정서적 운율을 이해하는 데 어려움이 있는 경우 운율을 통해 전달되는 감정을 이해하지 못하거나 대화 메시지의 의미 파악에 손상을 입은 결과일 수 있다(Ethofer et al., 2006; Grimshaw et al., 2009). Paulmann과 Kotz(2008)는 정서적 운율과 메시지를 통합하는 과정에서 운율 혹은 의미 중 하나에 선택적 주의를 기울임으로써 이러한 어려움이 발생할 수 있다고 지적했다. Nygaard와 Lunders(2002)는 단어를 해석할 때 운율은 언어적 내용과 상호작용이 이루어진다고 하고, Lindquist 등(2006)은 감정 단어와 그 의미에 대한 접근이 어려울 때 표정 인식의 속도와 정확성이 떨어진다고 하였다.
모든 언어 관련 기능이 뇌의 좌반구에 의해 조절된다는 전통적인 관점과는 달리, 우반구가 언어에서 정서적 운율을 처리하는 데 특히 우세할 수 있다는 제안이 있었고, 이후 지속적으로 지지되었다(Friederici & Alter, 2004; Heilman et al., 1975; Ross, 1988). 우반구 손상(RHD) 환자는 정서적 운율 이해에 있어서 심각한 결손을 보인다. Heilman 등(1975)의 연구에 따르면, RHD 환자는 내용에 대한 이해는 유지되지만, 정서적 운율 이해에 있어서 상당한 어려움을 겪는다고 하였다. Buchanan 등(2000)에 의하면 정서적 운율이 포함된 말에 대한 반응은 연구 대상자들이 언어적 내용에 주의를 기울이는지 아니면 감정 운율에 주의를 기울이는지에 따라 달라진다고 하였다. 의사소통의 내용과 정서적 운율이 불일치되었을 때 운율에 주의를 기울이면 우측 측두엽과 우측 측두회가 신경 활성화가 이루어지나 의미론적 내용으로 주의가 이동하게 되면서 우측 측두엽과 우측 측두회의 활동은 사라지는 결과로 뒷받침되었다(Mitchell et al., 2003). RHD 환자들은 정서적 운율을 이해하는 데 어려움을 겪을 뿐만 아니라 언어적 운율을 이해하는 데도 어려움을 겪는다고 하였다. Weintraub 등(1981)은 RHD 환자들은 정상인과 비교하여 문장이 진술, 질문, 명령인지 여부를 판단하는 데 어려움을 겪었다고 보고했다. 이러한 결과는 정서적 운율 과제에서의 낮은 수행이 운율에 의해 기인할 수 있음을 시사하지만, 최근 연구에서는 언어적 운율 이해에서 RHD와 LHD 환자들이 정상인에 비해 비슷하게 저조한 수행을 보인 반면, 정서적 운율의 이해에서는 RHD 환자들만이 손상되었음을 발견하였다. 많은 연구에서 RHD 환자가 정서적 운율 처리에 주요한 결손을 보이는 것으로 나타났지만 좌반구 손상(LHD) 환자들도 비록 정도는 덜하지만 정서적 운율 처리에 어려움을 겪는다고 보고한 연구들이 있다(Borod, 1992; Cancelliere & Kertesz, 1990; House et al., 1987; Orbelo et al., 2003; Pell, 2006; Schlanger et al., 1976; Van Lancker & Sidtis, 1992). 그러나 좌측 전두 측두엽 손상 환자를 대상으로 한 다른 연구에서는 운율과 표정을 사용하여 감정을 이해하거나 표현하는 데 결함이 관찰되지 않았다는 결과도 있다(Tsao et al., 2004; Werner et al., 2007). Friederici와 Alter(2004), Kreitewolf 등(2014)은 정서와 같은 음향 단서의 운율 정보 처리는 우반구에서 우세하고, 의미론적 정보 처리는 좌반구에서 우세하다는 주장을 제기했다. 좌반구의 영역은 말의 정서적 단서에서 의미 정보를 찾는 능력과 상호작용할 가능성이 높고 많은 연구에 의해 입증되었다(Adolphs et al., 2002; Kucharska-Pietura et al., 2003). 또한 좌반구의 대뇌 피질 영역은 말의 정서적 신호에서 의미 있는 정보와 공유할 가능성이 높다. 이 주장은 좌반구 병변 및 실어증이 환자의 정서적 운율을 판단하는 능력의 결함을 보고한 많은 임상 그룹 연구에 의해 밝혀졌다(Charbonneau et al., 2003; Kucharska-Pietura et al., 2003). 이렇듯 정서적 운율 이해는 운율 단서와 의미적 정보가 상호작용하여 운율 이해 능력에 영향을 줄 것으로 보인다.
정서적 운율과 관련된 가설은 3가지로 우반구 가설(right hemisphere hypothesis: RHH), 유의성 가설(valence hypothesis: VH), 주의산만 가설(distraction hypothesis: DH)이 있다(Bowers et al., 1987; Demaree et al., 2005; Killgore & Yurgelun-Todd, 2007). RHH는 우반구가 감정적 운율을 처리하는 데 지배적이라는 것이고, VH는 우반구가 부정적 감정을 처리하고 좌반구가 긍정적 감정을 처리한다는 것이다. DH는 감정적 운율에 주의를 기울이기보다 의미적 내용에 주의를 기울여 산만해진다는 것이다. RHH 가설에 따르면 RHD 환자의 정서적 운율 이해는 문장의 의미 내용이 정서적 운율과 일치하든 불일치하든 비슷하게 저하될 것이고 DH 가설에 따르면 의미적 내용이 정서적 운율과 일치하는 경우 이해가 잘 되지만, 불일치하는 경우에는 더 저조한 수행을 보이게 될 것이다. 현재 RHD 환자를 대상으로 한 국내 연구는 주로 비유 언어, 담화 영역에 집중되어 있기 때문에 정서적 측면에서 운율에 관한 연구는 더욱 미비한 현실이다. 따라서 신경학적 손상 환자들이 좌ㆍ우반구 병소부위에 따라 정서적 운율을 어떻게 처리하는지, 만약 정량적 수행이 같다면 오류패턴의 질적 양상은 변별적으로 다르게 나타나는지 등을 밝히고자 한다. 재활치료적 접근 시 자극과 단서 제시 등에서 대뇌반구 편재화에 대한 인지신경과학 관점에서의 기초를 제공하기 위해 본 연구에서는 RHD 및 LHD 환자를 대상으로 문장의미의 감정유형에 따른 정서적 운율 이해 능력을 조사하고, 문장의미의 감정유형과 정서 운율 일치 여부에 따라 집단 간 정서적 운율을 이해하는 데 어떤 특성을 보이는지 알아보고자 한다.
본 연구의 대상자는 대구ㆍ경북에 거주 중인 만 55세 이상의 좌ㆍ우반구 손상 환자로 각 12명씩 총 24명을 대상으로 하였다. 좌ㆍ우반구 손상 환자에 대한 선정 조건은 (1)CT(computed tomograpy) 또는 MRI(magnetic resonance imaging) 등의 영상 의학적 방법을 이용하여 신경과 혹은 신경외과 전문의로부터 뇌졸중 진단을 받은 자 (2)한국어를 모국어로 습득한 자 (3)과제를 수행할 수 있는 수준의 정상적인 청력과 시력을 가진 자 (4)주요 우울장애, 정신 분열증, 양극성 장애, 치매 등의 기존의 정신과적 질환이 동반되지 않은 자 (5)주된 손잡이가 오른손잡이고 전문가에 의해 파라다이스 한국판 웨스턴 실어증 검사 개정판(Western Aphasia Battery-revised: PK-WAB-r, Kim & Na, 2012) 결과 AQ 점수가 76점 이상인 자로 선정하였다. 집단 간 연령과 교육수준, AQ 점수가 유의미한 차이가 있는지 알아보기 위해 각각 독립표본 t-검정을 실시하였다. 그 결과 연령과 교육 년 수, AQ 점수에서 집단 간 차이가 유의하지 않은 것으로 나타났다. 집단 간 연령과 교육수준, AQ 점수에 대한 기술통계 및 t-검정 결과는 Table 1과 같다. 좌ㆍ우반구 손상 환자의 세부 정보는 Appendix 1에 제시하였다.
RHD (n=12) | LHD (n=12) | t | p | |
---|---|---|---|---|
Age (SD) | 59.42 (1.51) | 59.83 (1.52) | -.673 | .508 |
Education (SD) | 10.67 (1.23) | 10.42 (1.44) | .457 | .652 |
AQ (SD) | 79.17 (1.85) | 79.00 (1.91) | .217 | .830 |
의미문장은 일상생활에서 쉽게 경험할 수 있는 기쁨, 슬픔, 화남을 나타내는 상황으로 각각 4문장씩 총 12문장을 제작하였으며 감정 어휘가 포함된 문장은 제외하였다. 모든 문장은 3어절로 구성하였고 문장 내 어휘는 한국어 고빈도(상위 20%)를 참고하여 제작하였다(Appendix 2). 문장의미와 감정 운율의 일치 여부에 따라 일치 조건과 불일치 조건으로 구분하였다. 일치 조건은 문장의미와 감정 운율이 일치되는 조건으로 예를 들면, 화난 의미를 내포한 문장 + 화난 감정 운율을 의미한다. 불일치 조건은 문장의미와 감정 운율이 불일치되는 조건으로 예를 들면, 화난 의미를 내포한 문장 + 기쁜 감정 운율을 의미한다.
운율은 전문 여자 성우가 녹음하였고 자극에 대한 변동성을 최소화하기 위해 1명의 성우가 모든 문장을 녹음하였다. Park과 Park(2007), Grossman 등(2010)의 기준에 따라 기쁨과 화남 운율은 높고 넓은 범위의 F0, 빠른 발화 속도, 슬픔 운율은 낮고 좁은 범위의 F0, 느린 발화 속도로 정하였다. 과제에 사용되는 표정 그림은 Google 이미지에서 사용하였다.
연구 과제에 사용된 표정 그림 및 문장 내용과 내용이 내포된 정서가 ‘기쁨’, ‘슬픔’, ‘화남’으로 나타내고 있는지, 제작된 음성 녹음이 ‘기쁨’, ‘슬픔’, ‘화남’의 정서로 운율이 표현되었는지를 확인하기 위하여 6년 이상 경력의 2급 언어재활사 10명과 정상 중장년층 10명을 대상으로 타당도 검사를 실시하였다. 의미 문장(기쁨, 슬픔, 화남)의 적합성을 5점 척도(0점=매우 부적합 ~ 4점=매우 적합)로 평정 받았고 평정 결과 평균 2점 이하의 문장은 수정ㆍ보완하였으며 3점 이상인 문장을 선정하였다. 선정된 문장에서 3가지 정서적 운율을 입혔고, 언어재활사와 정상 중장년층에게 운율을 들려주었으며 4개의 단어를 제시하여 ‘기쁨’, ‘슬픔’, ‘화남’, ‘모르겠음’ 중에서 선택하도록 하였다. 정반응률이 낮은 문장은 재녹음하여 수정ㆍ보완하였고, 정반응률이 80% 이상인 문장을 최종적으로 선정하였다. 또한 3가지 표정 그림을 제시하여 정서 어휘(기쁘다, 슬프다, 화나다)를 들려준 후 그림 중에서 고르도록 하였고 정반응률이 100%인 표정 그림을 최종적으로 선정하였다.
모든 실험은 조용한 공간에서 대상자 1명과 연구자 1명으로 개별적으로 실시하였다. 녹음된 운율 및 표정 그림은 어플리케이션으로 과제를 제작하였으며 대상자들에게 갤럭시탭 A8.0 with S pen SM-P205를 통해 제시되었다.
정서적 운율 이해 과제에서 사용되는 3가지 표정 그림(기쁨, 슬픔, 화남)을 확인할 수 있는지 알아보기 위해서 정서 어휘(기쁘다, 슬프다, 화나다)를 들려준 후 3가지 표정 그림 중에서 고르도록 하였다. 확인이 끝나면 과제 실시를 위해 “들려주는 말을 듣고, 어떤 감정이 느껴지는지 3가지 표정 그림 중에 하나를 선택해주세요. 단, 내용은 듣지 않고 감정의 운율, 어조만 듣고 선택해주세요”라고 육성으로 과제 설명을 하였다. 연습 문항을 통해 대상자가 충분히 이해하였다고 판단되면 과제를 시작하였다. 모든 문항은 녹음된 자극으로 들려주고, 대상자가 다시 들려달라고 요구할 경우, 1회 한해 자극을 다시 제공하였다.
정반응 점수 채점은 감정 운율을 듣고, 감정 운율과 일치하는 표정 그림을 가리키면 2점, 자가 수정 후 정반응 시 1점, 그렇지 않은 경우 0점을 배점하였고, 최고점은 24점, 최저점은 0점으로 하였다.
반응시간은 각 문장을 끝맺음까지 말한 순간부터 표정 그림을 터치하는 순간까지 시간을 ms로 측정하였다.
통계 처리는 SPSS(version 23)를 이용하였으며, 기술통계를 시행하여 평균과 표준편차를 확인하였다. 집단 간 감정유형에 따른 정서적 운율 이해 점수 및 반응시간, 문장의미와 감정 운율 일치 여부에 따른 정서적 운율 이해 점수 및 반응시간을 집단 간 비교하기 위해 이원분산분석(two-way ANOVA)으로 분석하였으며, 유의수준은 .05 미만으로 하였다.
감정유형에 따른 집단 간 정서적 운율의 정반응 점수 차이에 대한 기술통계와 이원분산분석의 결과를 Table 2와 3에 제시하였다.
Emotional types | RHD (n=12) | LHD (n=12) |
---|---|---|
Pleasure | 5.42 (.699) | 5.67 (.778) |
Sad | 7.33 (.651) | 7.17 (.835) |
Anger | 5.17 (.937) | 5.58 (.793) |
Sources | SS | df | MS | F |
---|---|---|---|---|
Group | .550 | 1 | .550 | .815 |
Emotional type | 51.694 | 2 | 25.847 | 42.121*** |
Group × Emotional type | 1.083 | 2 | .542 | .883 |
Error | 40.500 | 66 | .614 |
감정유형에 따른 정서적 운율의 정반응 점수에 대한 주효과가 통계적으로 유의하였다(F=42.121, p<.001). 이에 대해 3가지의 감정유형 중 어느 조건에서 유의한 차이가 있는지 살펴보기 위해 Bonferroni 사후검정을 하였고 Table 4에 제시하였다. 사후검정 결과, 슬픔 감정이 기쁨(p<.05)과 화남(p<.05) 감정에 비해 유의하게 높았다. 집단에 대한 주효과(F=.815, p>.05) 및 집단과 감정유형 간의 상호작용 효과(F=.883, p>.05)는 통계적으로 유의하지 않았다.
Emotional types | Pleasure | Sad |
---|---|---|
Pleasure | -1.71*** | |
Sad | 1.71*** | |
Anger | -1.87*** |
감정유형에 따른 집단 간 정서적 운율의 반응시간 차이에 대한 기술통계와 이원분산분석의 결과를 Table 5와 6에 제시하였다.
Emotional types | RHD (n=12) | LHD (n=12) |
---|---|---|
Pleasure | 4593.10 (799.03) | 5047.25 (876.82) |
Sad | 4069.71 (627.35) | 4190.90 (691.01) |
Anger | 5250.31 (684.81) | 4609.79 (997.36) |
Sources | SS | df | MS | F |
---|---|---|---|---|
Group | 33995.281 | 1 | 33995.281 | .055 |
Emotional type | 36083203.000 | 2 | 18041601.500 | 28.928*** |
Group × Emotional type | 15114847.580 | 2 | 7557423.762 | 12.118*** |
Error | 175876722.100 | 282 | 623676.320 |
감정유형에 대한 주효과(F=28.928, p<.001) 및 집단과 감정유형 간의 상호작용 효과(F=12.118, p<.001)는 통계적으로 유의하였다(F=28.928, p<.001). 이에 대해 3가지의 감정유형 중 어느 조건에서 유의한 차이가 있는지 살펴보기 위해 Bonferroni 사후검정을 하였고 Table 7에 제시하였다. 사후검정 결과, 슬픔 감정이 기쁨(p<.001) 및 화남(p<.001) 감정에 비해 유의하게 빠른 반응시간을 보였다. 집단에 대한 주효과(F=.055, p>.05)는 통계적으로 유의하지 않았다.
Emotional types | Pleasure | Sad |
---|---|---|
Pleasure | 689*** | |
Sad | -689*** | |
Anger | 799*** |
문장의미-감정 운율 일치 여부에 따른 집단 간 정서적 운율의 정반응 점수 차이에 대한 기술통계와 이원분산분석의 결과를 Table 8과 9에 제시하였다.
Prosodic congruence | RHD (n=12) | LHD (n=12) |
---|---|---|
Matching | 9.92 (1.24) | 10.08 (1.08) |
Non-matching | 8.08 (1.31) | 8.42 (1.88) |
Sources | SS | df | MS | F |
---|---|---|---|---|
Group | .083 | 1 | .083 | .042 |
Prosodic congruence | 36.750 | 1 | 36.750 | 18.445*** |
Group × Prosodic congruence | .750 | 1 | .750 | .376 |
Error | 87.667 | 44 | 1.992 |
두 집단 간 문장의미-감정 운율 일치 여부에 따른 정서적 운율의 정반응 점수 차이에서 문장의미-감정 운율 일치 여부의 주효과가 통계적으로 유의하였다(F=18.445, p<.001). 문장의미와 감정 운율 일치조건에서 불일치보다 유의하게 높은 정반응을 보이는 것으로 나타났다. 집단의 주효과(F=.042, p>.05)와 집단 및 일치 여부 간의 상호작용 효과(F=.376, p>.05)는 통계적으로 유의하지 않았다(F=.815, p>.05).
문장의미-감정 운율 일치 여부에 따른 집단 간 정서적 운율의 반응시간 차이에 대한 기술통계와 이원분산분석의 결과를 Table 10과 11에 제시하였다.
Prosodic congruence | RHD (n=12) | LHD (n=12) |
---|---|---|
Matching | 4459.31 (820.86) | 4347.01 (966.41) |
Non-matching | 4816.11 (853.46) | 4884.94 (806.70) |
Sources | SS | df | MS | F |
---|---|---|---|---|
Group | 33995.281 | 1 | 33995.281 | .046 |
Prosodic congruence | 14409948.750 | 1 | 14409948.750 | 19.297*** |
Group × Prosodic congruence | 590512.781 | 1 | 590512.781 | .791 |
Error | 212074311.200 | 284 | 746740.532 |
두 집단 간 문장의미-감정 운율 일치 여부에 따른 정서적 운율의 반응시간의 차이에서 문장의미-감정 운율 일치 여부의 주효과가 통계적으로 유의하였다(F=19.297, p<.001). 문장의미와 감정 운율 일치조건에서 불일치보다 유의하게 빠른 반응시간을 보였다. 집단의 주효과(F=.046, p>.05)와 집단과 일치 여부 간의 상호작용 효과(F=.791, p>.05)는 통계적으로 유의하지 않았다(F=.815, p>.05).
화자는 자신의 말에 미묘한 의미를 첨가하기 위해 음조를 조절하게 된다. 이때 부여되는 강세, 감정적인 어조 등에 따라 어휘적 의미나 구문적 구별이 가능해진다. 20세기 후반에 우뇌손상으로 인한 의사소통장애 연구가 활발해지면서(Myers, 1999; Winner et al., 1998) 감정적인 운율의 상당한 측면은 잠재적으로 우반구에서 관장을 한다는 견해가 일반적이었다(Ross et al., 1997). 그런 일반적인 이해에도 불구하고 실제 우반구의 역할에 대한 체계적인 검토나 메타분석을 수행하기에는 우반구손상 환자군의 대상자 수가 적고 실시된 연구가 다소 적은 편이었다.
여전히 많은 연구들은 정서적 운율처리는 우반구에서 관장하며(Blonder et al., 1991), 좌반구 손상 환자가 언어의 의미적, 통사적 처리는 어려워하더라도 감정 운율을 변별하고 확인하는 능력은 비교적 유지된다는 데에 공통된 함의를 갖고 있었다(Adolphs et al., 2002). 대뇌 편재화 관점에서 정서적 운율 처리는 우반구가 주로 담당한다는 결과가 일반론적으로 받아들여지지만 운율 또한 기능에 따라 언어적 운율과 정서적 운율로 구분이 되기 때문에 언어적 의미처리가 반영된 정서적 운율 과제에서는 좌ㆍ우반구 손상 영역에 따라 처리가 어떻게 달라지는지 상대적 우세성을 파악할 필요가 있다.
재활치료적 접근에서 중요한 단서가 되고 대뇌반구 편재화에 대한 인지신경과학 관점에서의 기초를 제공하기 위해 실시된 본 연구에서는 다음과 같은 결과를 얻을 수 있었다.
문장의미의 감정유형에 따라 집단 간 정서적 운율 이해에 차이가 있는지 살펴본 결과, 3가지 감정유형(기쁨, 슬픔, 화남)에 따른 정서적 운율 이해는 좌ㆍ우반구 손상 부위에 따른 차이는 관찰되지 않았고, 감정 유형에 따라서만 차이를 보였다. 즉 슬픔 감정에서만 유의하게 높은 정반응 점수와 빠른 반응시간이 관찰되었다.
감정 운율 이해는 운율의 특징인 기본주파수(F0), 지속 시간 및 진폭 등의 파라미터에 따라 달라질 수 있다고 한다. 기쁨 및 화남의 운율은 높고 넓은 범위의 F0로 인해 감정 변별이 어려운 반면 슬픔의 운율은 낮고 좁은 범위의 F0와 느린 발화 속도를 가지기 때문에 인식하기 쉽다(Grossman et al., 2010). 이와 유사하게 본 연구에서도 슬픔을 표현하는 운율이 더 뚜렷하고 인지하기 쉬운 특징을 가지고 있기 때문에 슬픔 감정에서 운율 이해도가 향상되는 양상을 보였다. 연구 결과에 포함되지는 않았지만, 환자가 보인 수행을 질적으로 분석해 본 결과, 문장의 의미를 판정하지 않고 감정의 운율만 듣고 판단하라는 지시사항에도 불구하고 RHD군은 문장의 내용을 듣고 리허설하면서 의미와 결합하여 운율을 판단하려는 양상을 보였다. 즉, 정서적 운율 이해에 대한 어려움을 좌반구의 언어의미적 해석 기능을 통해 보완하고 통합하는 시도를 취했으나 이 과정에서 보이는 어려움이 존재한다고 볼 수 있다(Borod et al., 1998; Zgaljardic et al., 2002). 이에 반해 본 연구에서 LHD군은 음도, 강세, 속도 등 다양한 초분절적 요소들에 집중하면서도 과제 전체의 언어적 지시사항이나 반응양식 등에 대해 일관되지 않은 반응을 보였다. Ross 등(1997)은 LHD로 인해 실어증 진단을 받은 사람의 경우 언어 처리의 장애로 운율처리의 어려움을 가중시킬 수 있다고 하였고, 운율 일치과제에서 감정을 변별하는 능력에 어려움이 있다고 하였다. 이 연구자들은 LHD 환자들이 운율의 정서적 특징과 언어적 의미를 명시적으로 연관시켜야 하는 과제에서 감정을 변별하는 데 어려움을 보인 것은 LHD군이 운율 및 단어 의미의 연상 요구 증가에 의해 기인한 것이라고 하였다. Schlanger 등(1976)은 LHD 중증도 집단과 RHD 집단을 대상으로 의미/무의미 발화에 60개의 감정 운율을 입혀 정서적 운율 이해 과제를 실시하였다. 그 결과, LHD 중증도 집단 간에는 유의한 차이를 보였지만 RHD 집단과는 유의한 차이를 보이지 않았다. Borod(1992), Van Lancker와 Sidtis(1992)가 연구한 감정 단어 변별 과제와 운율 판단과제에서 LHD 및 RHD 환자가 비슷한 어려움을 보였다고 하였다. Orbelo 등(2003)의 연구에서도 LHD 및 RHD 환자, 정상 노인을 대상으로 단어에서 정서적 운율을 확인하는 데 LHD와 RHD 환자가 비슷한 어려움을 보였다는 연구 결과가 있다. 정서적 운율의 표현 및 이해의 손상은 좌ㆍ우 반구에 상관없이 기저핵, 전-측두엽 및 뇌섬의 손상에 의한 것으로 밝혔다(Cancelliere & Kertesz, 1990).
본 연구에서 좌ㆍ우반구 손상 부위에 따른 정서적 운율 이해에서 아무런 차이를 보이지 않은 점은 정서적 운율 특징인 음도, 억양, 속도 등 다양한 요소들과 관련된 정보들이 단순히 한쪽 반구에만 의존하지 않음을 의미한다.
문장의미의 감정유형 및 정서 운율 일치 여부에 따른 RHD 군과 LHD 군의 정서적 운율 이해의 정반응 점수와 반응시간은 좌ㆍ우반구 손상부위에 상관없이 문장의미-감정 일치 여부에 따른 차이만 보였다. 즉, 메시지 의도와 감정이 일치할 때 더 쉽게 이해하고 빠르게 반응할 수 있음을 나타낸다. Nygaard와 Queen(2008)은 행복 및 슬픔, 감정 어휘가 아닌 행복, 슬픔, 감정이 느껴지지 않은 중립 운율을 단어에 입혀 제시한 결과, 감정 단어-운율 일치 조건에서 반응시간이 빨라지는 것을 확인하였다. 주의산만 가설(distraction hypothesis: DH)에 따르면, 정서적 운율에 집중하기보다 의미적 메시지에 주의를 기울여 운율 이해에 어려움을 보인다고 한다(Bowers et al., 1987). Bowers 등(1987)은 RHD 환자들에게 정서적 운율 변별 과제를 실시하였을 때 의미적 내용에 의해 주의가 산만해져 정서적 운율에 집중하지 못 할 수 있다고 하였고, LHD 환자들은 정서적 운율을 처리할 수 있는 능력을 가지고 있지만 특히, 문장의미와 불일치할 때 의미적 메시지에 더 집중하여 주의가 산만해진다고 하였다. 이에 따라 본 연구에서도 문장의미의 감정 유형과 정서적 운율이 불일치했을 때 RHD 군과 LHD 군이 의미적 내용에 더 주의를 기울여 낮은 정반응 점수와 느린 반응시간을 보인 것으로 판단된다. 즉, 정서적 운율과 불일치하는 문장의미의 감정 유형이 차별적으로 주의를 산만하게 만든다는 것을 의미한다.
결론적으로 본 연구에서는 감정의 종류에 따라 정서적 운율 이해는 달라질 수 있으며, 감정 단어와 문장의미가 불일치하는 상황에서는 발화의 의미 해석으로 주의가 흩어짐으로써 뇌손상 환자들이 운율 이해에 더욱 어려움을 겪을 수 있다는 것을 확인할 수 있었다.
국내에서 RHD를 대상으로 한 감정, 정서 기반 운율 이해 연구들은 대상자를 RHD에만 한정하여 감소된 수행력을 보고하였다. 그러나 전제조건으로 LHD 환자는 더 우세한 수행을 보이는지에 대해 의문을 가진 적은 없었다. 따라서 본 연구에서는 좌ㆍ우반구 병소부위에 따라 다양한 감정유형과 운율의 특성을 고려한 정서적 운율 이해의 차이가 존재하는지 함께 살펴봤다는 점에서 의의가 있다. 특히, 슬픔 감정의 운율이 다른 감정보다 더 쉽게 인식된다는 결과와 정서적 운율과 문장의미의 일치여부가 RHD 및 LHD 환자들의 이해와 반응시간에 영향을 미친다는 것을 밝혀냄으로써 의미와 운율의 통합적 접근이 중요함을 시사한다.
이러한 연구 결과를 바탕으로 후속 연구를 위한 제언은 다음과 같다. 첫째, 본 연구에서는 기쁨, 슬픔, 화남의 3가지 유형으로 정서적 운율 이해를 살펴보았다. 향후 다양한 감정적 유형으로 정서적 운율 이해를 평가하고 비교하여 기초 자료로 유용하게 쓰일 수 있도록 추가 연구가 필요할 것으로 판단된다. 둘째, 본 연구에서는 대상자를 선정할 때 좌ㆍ우반구의 손상에 따라 집단을 나누었다. 그러나 기저핵 손상이 정서적 운율을 이해하는 데 영향을 미친다는 주장도 있으며(Behrens, 1988) RHD와 피질하 모두 손상을 입은 환자가 LHD 환자보다 운율 정보를 처리하는 데 더 많은 문제를 겪는다는 연구 결과도 있다(Karow et al., 2001). 따라서 향후 연구에서는 손상의 위치나 영역을 더욱 세분화하여 정서적 운율 이해에 미치는 영향을 분석할 필요가 있겠다. 셋째, 좌ㆍ우반구 뇌졸중 환자 전체를 대표할 수 있는 결과로 일반화하는 데 연구대상자의 수가 적어 제한점이 있을 것으로 사료된다. 따라서 향후 더욱 많은 모집단을 대상으로 하여 전체적인 결과를 살펴볼 필요가 있을 것으로 판단된다.
1. | Adolphs, R., Damasio, H., & Tranel, D. (2002). Neural systems for recognition of emotional prosody: A 3-D lesion study. Emotion, 2(1), 23-51. |
2. | Behrens, S. J. (1988). The role of the right hemisphere in the production of linguistic stress. Brain and Language, 33(1), 104-127. |
3. | Blonder, L. X., Bowers, D., & Heilman, K. M. (1991). The role of the right hemisphere in emotional communication. Brain, 114(3), 1115-1127. |
4. | Borod, J. C. (1992). Interhemispheric and intrahemispheric control of emotion: A focus on unilateral brain damage. Journal of Consulting and Clinical Psychology, 60(3), 339-348. |
5. | Borod, J. C., Cicero, B. A., Obler, L. K., Welkowitz, J., Erhan, H. M., Santschi, C., . . . Whalen, J. R. (1998). Right hemisphere emotional perception: Evidence across multiple channels. Neuropsychology, 12(3), 446-458. |
6. | Bowers, D., Coslett, H. B., Bauer, R. M., Speedie, L. J., & Heilman, K. M. (1987). Comprehension of emotional prosody following unilateral hemispheric lesions: Processing defect versus distraction defect. Neuropsychologia, 25(2), 317-328. |
7. | Buchanan, T. W., Lutz, K., Mirzazade, S., Specht, K., Shah, N. J., Zilles, K., & Jäncke, L. (2000). Recognition of emotional prosody and verbal components of spoken language: An fMRI study. Cognitive Brain Research, 9(3), 227-238. |
8. | Cancelliere, A. E. B., & Kertesz, A. (1990). Lesion localization in acquired deficits of emotional expression and comprehension. Brain and Cognition, 13(2), 133-147. |
9. | Charbonneau, S., Scherzer, B. P., Aspirot, D., & Cohen, H. (2003). Perception and production of facial and prosodic emotions by chronic CVA patients. Neuropsychologia, 41(5), 605-613. |
10. | Demaree, H. A., Everhart, D. E., Youngstrom, E. A., & Harrison, D. W. (2005). Brain lateralization of emotional processing: Historical roots and a future incorporating “dominance”. Behavioral and Cognitive Neuroscience Reviews, 4(1), 3-20. |
11. | Ethofer, T., Anders, S., Wiethoff, S., Erb, M., Herbert, C., Saur, R., . . . Wildgruber, D. (2006). Effects of prosodic emotional intensity on activation of associative auditory cortex. Neuroreport, 17(3), 249-253. |
12. | Friederici, A. D., & Alter, K. (2004). Lateralization of auditory language functions: A dynamic dual pathway model. Brain and Language, 89(2), 267-276. |
13. | Grimshaw, G. M., Séguin, J. A., & Godfrey, H. K. (2009). Once more with feeling: The effects of emotional prosody on hemispheric specialisation for linguistic processing. Journal of Neurolinguistics, 22(4), 313-326. |
14. | Grossman, R. B., Bemis, R. H., Skwerer, D. P., & Tager-Flusberg, H. (2010). Lexical and affective prosody in children with high-functioning autism. Journal of Speech, Language, and Hearing Research, 53(3), 778-793. |
15. | Heilman, K. M., Scholes, R., & Watson, R. T. (1975). Auditory affective agnosia. Disturbed comprehension of affective speech. Journal of Neurology, Neurosurgery & Psychiatry, 38(1), 69-72. |
16. | House, A., Rowe, D., & Standen, P. J. (1987). Affective prosody in the reading voice of stroke patients. Journal of Neurology, Neurosurgery & Psychiatry, 50(7), 910-912. |
17. | Karow, C. M., Marquardt, T. P., & Marshall, R. C. (2001). Affective processing in left and right hemisphere brain-damaged subjects with and without subcortical involvement. Aphasiology, 15(8), 715-729. |
18. | Killgore, W. D. S., & Yurgelun-Todd, D. A. (2007). The right-hemisphere and valence hypotheses: Could they both be right (and sometimes left)? Social Cognitive and Affective Neuroscience, 2(3), 240-250. |
19. | Kim, H., & Na, D. L. (2012). Paradise· Korean Version of the Western Aphasia Battery-revised (PK-WAB-r). Seoul: Paradise Welfare Foundation. |
20. | Kreitewolf, J., Friederici, A. D., & von Kriegstein, K. (2014). Hemispheric lateralization of linguistic prosody recognition in comparison to speech and speaker recognition. NeuroImage, 102, 332-344. |
21. | Kucharska-Pietura, K., Phillips, M. L., Gernand, W., & David, A. S. (2003). Perception of emotions from faces and voices following unilateral brain damage. Neuropsychologia, 41(8), 1082-1090. |
22. | Lindquist, K. A., Barrett, L. F., Bliss-Moreau, E., & Russell, J. A. (2006). Language and the perception of emotion. Emotion, 6(1), 125-138 |
23. | Mitchell, R. L. C., Elliott, R., Barry, M., Cruttenden, A., & Woodruff, P. W. R. (2003). The neural response to emotional prosody, as revealed by functional magnetic resonance imaging. Neuropsychologia, 41(10), 1410-1421. |
24. | Myers, P. S. (1999). Introduction to the right hemisphere. In Right hemisphere damage: Disorders of communication and cognition, Singular Publishing Group, Inc, pp 1-11. |
25. | Nygaard, L. C., & Lunders, E. R. (2002). Resolution of lexical ambiguity by emotional tone of voice. Memory & Cognition, 30, 583-593. |
26. | Nygaard, L. C., & Queen, J. S. (2008). Communicating emotion: Linking affective prosody and word meaning. Journal of Experimental Psychology: Human Perception and Performance, 34(4), 1017-1030. |
27. | Orbelo, D. M., Testa, J. A., & Ross, E. D. (2003). Age-related impairments in comprehending affective prosody with comparison to brain-damaged subjects. Journal of Geriatric Psychiatry and Neurology, 16(1), 44-52. |
28. | Park, M., & Park, M. (2007). An analysis of emotional speech using distribution chart of F0. The Journal of Korean Studies, 27, 233-254. |
29. | Patel, S., Oishi, K., Wright, A., Sutherland-Foggio, H., Saxena, S., Sheppard, S. M., & Hillis, A. E. (2018). Right hemisphere regions critical for expression of emotion through prosody. Frontiers in Neurology, 9, 224. |
30. | Paulmann, S., & Kotz, S. A. (2008). Early emotional prosody perception based on different speaker voices. NeuroReport, 19(2), 209-213. |
31. | Pell, M. D. (2006). Cerebral mechanisms for understanding emotional prosody in speech. Brain and Language, 96(2), 221-234. |
32. | Pell, M. D., Jaywant, A., Monetta, L., & Kotz, S. A. (2011). Emotional speech processing: Disentangling the effects of prosody and semantic cues. Cognition and Emotion, 25(5), 834-853. |
33. | Rockwell, P. (2007). Vocal features of conversational sarcasm: A comparison of methods. Journal of Psycholinguistic Research, 36, 361-369. |
34. | Ross, E. D., Edmondson, J. A., Seibert, G. B., & Homan, R. W. (1988). Acoustic analysis of affective prosody during right-sided Wada test: A within-subjects verification of the right hemisphere's role in language. Brain and Language, 33(1), 128-145. |
35. | Ross, E. D., Thompson, R. D., & Yenkosky, J. (1997). Lateralization of affective prosody in brain and the callosal integration of hemispheric language functions. Brain and Language, 56(1), 27-54. |
36. | Schlanger, B. B., Schlanger, P., & Gerstman, L. J. (1976). The perception of emotionally toned sentences by right hemisphere-damaged and aphasic subjects. Brain and Language, 3(3), 396-403. |
37. | Singh, L., & Harrow, M. S. (2014). Influences of semantic and prosodic cues on word repetition and categorization in autism. Journal of Speech, Language, and Hearing Research, 57(5), 1764-1778. |
38. | Tsao, J. W., Dickey, D. H., & Heilman, K. M. (2004). Emotional prosody in primary progressive aphasia. Neurology, 63(1), 192-193. |
39. | Van Lancker, D., & Sidtis, J. J. (1992). The identification of affective-prosodic stimuli by left- and right-hemisphere-damaged subjects: All errors are not created equal. Journal of Speech, Language, and Hearing Research, 35(5), 963-970. |
40. | Weintraub, S., Mesulam, M.-M., & Kramer, L. (1981). Disturbances in prosody: A right-hemisphere contribution to language. Archives of Neurology, 38(12), 742-744. |
41. | Werner, K. H., Roberts, N. A., Rosen, H. J., Dean, D. L., Kramer, J. H., Weiner, M. W., . . . Levenson, R. W. (2007). Emotional reactivity and emotion recognition in frontotemporal lobar degeneration. Neurology, 69(2), 148-155. |
42. | Winner, E., Brownell, H., Happé, F., Blum, A., & Pincus, D. (1998). Distinguishing lies from jokes: Theory of mind deficits and discourse interpretation in right hemisphere brain-damaged patients. Brain and Language, 62(1), 89-106. |
43. | Wright, A., Saxena, S., Sheppard, S. M., & Hillis, A. E. (2018). Selective impairments in components of affective prosody in neurologically impaired individuals. Brain and Cognition, 124, 29-36. |
44. | Zgaljardic, D. J., Borod, J. C., & Sliwinski, M. (2002). Emotional perception in unilateral stroke patients: Recovery, test stability, and interchannel relationships. Applied Neuropsychology, 9(3), 159-172. |
45. | 김향희, 나덕렬 (2012). 파라다이스 한국판 웨스턴 실어증 검사 개정판. 서울: 재단법인 파라다이스 복지재단. |
46. | 박미영, 박미경 (2007). 기본주파수 분포도를 이용한 감정 발화 분석. 한국학연구, 27, 233-254. |
Subject | Sex/Age | Education (yr) | Lesion location | Diagnosis | AQ | Handedness |
---|---|---|---|---|---|---|
R1 | 남/58 | 10 | MCA | Infarction | 78 | Right |
R2 | 남/61 | 11 | MCA | Infarction | 79 | Right |
R3 | 여/60 | 12 | BG | ICH | 76 | Right |
R4 | 여/58 | 11 | Thalamic | Infarction | 80 | Right |
R5 | 남/59 | 12 | BG | ICH | 79 | Right |
R6 | 여/62 | 10 | IC | Infarction | 81 | Right |
R7 | 여/61 | 9 | Thalamic | Infarction | 79 | Right |
R8 | 남/60 | 12 | MCA | Infarction | 76 | Right |
R9 | 여/57 | 12 | MCA | Infarction | 82 | Right |
R10 | 남/58 | 9 | BG | ICH | 81 | Right |
R11 | 남/59 | 11 | MCA | Infarction | 80 | Right |
R12 | 남/60 | 9 | MCA | Infarction | 79 | Right |
L13 | 남/59 | 11 | MCA, PCA | Infarction | 77 | Right |
L14 | 남/60 | 12 | Thalamic | Infarction | 79 | Right |
L15 | 여/60 | 10 | BG | ICH | 80 | Right |
L16 | 여/59 | 10 | MCA | Infarction | 77 | Right |
L17 | 남/61 | 10 | MCA, Cbll | Infarction | 79 | Right |
L18 | 여/57 | 9 | ACA | Infarction | 80 | Right |
L19 | 남/58 | 12 | Thalamic | Infarction | 81 | Right |
L20 | 여/59 | 11 | MCA | Infarction | 79 | Right |
L21 | 여/61 | 9 | BG | ICH | 81 | Right |
L22 | 남/62 | 10 | MCA | Infarction | 82 | Right |
L23 | 남/60 | 13 | Thalamic | Infarction | 76 | Right |
L24 | 여/62 | 8 | ACA | Infarction | 77 | Right |
Pleasure | Sad | Anger | |
---|---|---|---|
기쁜 문장 | 선생님께 칭찬을 받았어요 | 친구들과 생일파티를 했어요 | 예쁜 선물을 받았어요 |
장미꽃 다발을 받았어요 | |||
슬픈 문장 | 시험에서 꼴찌를 했어요 | 여행을 못 갔어요 | 강아지가 아파서 죽었어요 |
예쁜 그릇이 깨졌어요 | |||
화난 문장 | 친구가 저를 밀었어요 | 남편이 거짓말을 했어요 | 아끼는 장난감을 뺏었어요 |
돈을 안 갚았어요 |
Pleasure | Sad | Anger |
---|---|---|