
외부 요소 유무에 따른 초등학생의 감정 상징 인식 정확도 및 응답시간
Copyright 2026 ⓒ Korean Speech-Language & Hearing Association.
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
초록
AAC 감정 상징은 도상성을 높이기 위해 얼굴 표정과 신체 표현 외에 눈물, 스팀, 느낌표 등의 외부 요소를 포함하고 있으나, 이러한 외부 요소가 실제로 감정 인식에 기여하는지에 대한 실험적 검증은 이루어지지 않았다. 이에 본 연구에서는 초등학교 고학년 아동을 대상으로 감정 상징에서 외부 요소를 직접 제거하여, 외부 요소의 유무가 감정 상징 인식 정확도와 응답시간에 미치는 영향을 검증하고자 하였다.
초등학교 4~6학년 아동 28명을 대상으로 PCS, 한국형 AAC, 나의 AAC, 키즈보이스 4개 상징세트에서 외부 요소가 포함된 14개 감정 상징을 선정하였다. 선정된 상징을 외부 요소 포함(원본)과 외부 요소 제거(수정) 두 가지 조건으로 제작하여 정확도와 응답시간을 대응표본 t-검정으로 비교하였으며, 오답 분포를 분석하였다.
전체 평균 정확도는 원본이 수정보다 유의하게 높은 것으로 나타났다. 감정별로는 ‘슬프다’에서만 4개 상징세트 모두 외부 요소(눈물) 제거 후 정확도가 유의하게 하락하였으며, ‘화나다’, ‘놀라다’, ‘두렵다’, ‘기쁘다’에서는 유의한 차이가 나타나지 않았다. 응답시간에서도 ‘슬프다’와 ‘두렵다’에서만 외부 요소 제거 후 유의한 증가가 확인되었다. 오답 분석 결과, ‘슬프다’에서 외부 요소가 제거되었을 때 참여자들은 동일한 불쾌 차원의 ‘지루하다’를 가장 빈번하게 선택하는 것으로 나타났다.
외부 요소의 효과는 감정에 따라 차별적으로 나타났으며, 얼굴 표정의 변별력이 낮은 ‘슬프다’에서 눈물이 결정적 맥락 단서로 기능하는 반면, ‘화나다’처럼 얼굴 표정의 변별력이 높은 감정에서는 외부 요소의 유무와 관계없이 정확도가 유지되었다. 이러한 결과는 외부 요소가 차원적으로 유사한 감정들 사이에서 목표 감정을 변별하는 범주 특정화 기능을 수행하고 있음을 시사하며, 감정 상징 디자인 시 각 감정의 표정 변별력을 고려하여 직관적이고 문화적으로 합의된 외부 요소를 전략적으로 배치하는 것이 효과적임을 보여준다.
Abstract
AAC emotion symbols include external design elements such as tears, steam, and exclamation marks to enhance iconicity, yet no study has experimentally examined whether these elements contribute to emotion recognition. This study investigated the effect of external element removal on recognition accuracy and response time in school-aged children.
Twenty-eight elementary school students (grades 4~6) participated. Fourteen emotion symbols with external elements were selected from four symbol sets (PCS, KAAC, My AAC, Kidsvoice) representing five emotions (sad, angry, surprised, fearful, happy). Original symbols and modified symbols with external elements removed were presented, and accuracy, response time, and error patterns were compared using paired t-tests.
Overall accuracy was significantly higher for original than modified symbols. By emotion, accuracy significantly decreased only for ‘sad’ across all four symbol sets after tear removal, with no significant changes for other emotions. Response time significantly increased only for ‘sad’ and ‘fearful’. Error analysis revealed that participants most frequently selected ‘bored’ when tears were removed from ‘sad’ symbols, indicating confusion within the same unpleasant valence dimension.
External elements differentially affected emotion recognition depending on emotion type. Tears functioned as a critical category-specifying cue for ‘sad,’ where facial expression discriminability is inherently low, while emotions with high facial discriminability such as ‘angry’ maintained accuracy regardless of external element removal. These findings suggest that external elements should be strategically placed for emotions with low facial discriminability, using culturally agreed-upon visual metaphors to enhance iconicity in AAC emotion symbol design.
Keywords:
Augmentative and alternative communication, symbol, emotion, accuracy, response time키워드:
보완대체의사소통, 상징, 감정, 정확도, 응답시간Ⅰ. 서론
보완대체의사소통(augmentative and alternative communication: AAC)에서 그림상징의 도상성은 사용자가 상징을 효율적으로 습득하고 의사소통에 활용하는 데 핵심적인 요인으로 작용한다(Fuller & Lloyd, 1991; Schlosser & Sigafoos, 2002). 도상성이란 상징과 그 지시대상 간의 시각적 유사성을 의미하며(Bloomberg et al., 1990), 도상성이 높은 상징일수록 학습이 용이하고 의사소통에 효과적으로 활용될 수 있는 것으로 보고되었다(Loncke et al., 2006). 그림상징 중에서도 감정을 나타내는 상징은 도상성 확보가 특히 어려운 영역에 해당되는데, 이는 명사나 동사에 비해 감정과 같은 추상적 개념이 시각적으로 표상되기 어렵기 때문이다. Yeon 등(2016)은 한국형 AAC 상징의 투명도를 조사한 결과 형용사가 동사보다 투명도가 낮은 것으로 보고한 바 있으며, Díez 등(2024)은 ARASAAC 픽토그램 1,525개를 대상으로 투명도와 반투명도를 측정한 결과 추상적 어휘일수록 투명도가 유의하게 낮아지는 것을 확인하였다. 감정 어휘는 대부분 형용사에 속하며 그 의미가 추상적이고 문맥 의존적이어서, 시각적 표상의 어려움이 가중되는 것으로 볼 수 있다.
감정은 미묘하게 다르면서도 유사한 감정들이 공존하며, 개인에 따라 표현과 인식에 차이가 존재한다. Russell(1980)은 감정이 쾌-불쾌(valence)와 각성(arousal)의 두 차원으로 구성된 원형 모델(circumplex model)을 제안하였는데, 이에 따르면 ‘슬프다’와 ‘지루하다’는 동일한 불쾌 차원에 위치하나 각성 수준이 상이하며, ‘화나다’와 ‘두렵다’는 불쾌-고각성 차원에서 유사한 위치를 점하게 된다. 이러한 차원적 유사성은 감정 상징을 구분하여 사용하는 데 어려움을 야기할 수 있다. 감정을 정확하고 적절하게 표현하는 것은 의사소통의 효과와 상호작용의 질을 높이며, 나아가 긍정적인 사회적 관계 형성과 삶의 질 향상에 중요한 영향을 미치는 것으로 알려져 있다(Mayer & Stevens, 1994; Swinkels & Giuliano, 1995).
자폐스펙트럼장애를 가진 대상은 감정을 전달하고 공감하는 데 현저한 어려움을 보이며(Hippolyte et al., 2009; Wishart et al., 2007), 지적장애 아동 역시 감정 표현 및 인식에 제한을 나타내는 것으로 보고되었다(Gross, 2008). Masoomi 등(2025)의 메타분석에서도 자폐스펙트럼장애 아동 및 청소년이 정상발달 아동에 비해 감정 인식 정확도가 유의하게 낮고 반응시간이 긴 것으로 확인된 바 있다. 이러한 대상자들에게 있어 감정이나 상태와 관련된 의사소통의 어려움은 문제행동으로 이어지는 경우가 적지 않으며, 감정 상징을 통한 정확한 의사소통은 행동 문제의 감소라는 임상적 효과를 기대할 수 있게 한다. 한편, 감정 표현은 개인 문화의 차이 및 국가 간 문화의 차이에도 영향을 받는 것으로 보고되고 있어(Elfenbein & Ambady, 2002), 상징 제작자와 사용자가 해당 문화를 기반으로 상징을 고안하고 선택하며 활용하는 것이 의사소통의 성패를 좌우할 수 있다. Tsai 등(2025)은 대만 노인을 대상으로 PCS의 도상성이 해당 문화권에서 상대적으로 낮게 나타남을 보고하면서, 도상성에 대한 인식은 한 문화에서 다른 문화로 일반화할 수 없다고 결론지은 바 있다.
한편, 대부분의 AAC 감정 의사소통판은 얼굴 표정을 위주로 한 감정 표현들이 한 판에 나열되어 있는 형태를 취하고 있다. 이에 따라 AAC 사용자는 각각의 얼굴 표정을 포함한 감정 표현을 미세하게 구분하여 의사소통에 활용하여야 하는데, 얼굴 표정만으로 감정을 변별하는 데에는 본질적인 한계가 존재한다. Ekman과 Friesen(1976)은 얼굴 표정 부호화 시스템(facial action coding system: FACS)을 통해 표정을 구성하는 46가지 ‘표정 단위(action unit)’를 정의하고, 기본감정별로 해당하는 얼굴 근육의 움직임을 지정하였다. 그러나 일상생활에서 의사소통되는 감정은 FACS에서 정의한 기본감정보다 훨씬 복잡하고 다양하며, 이러한 복잡한 감정들을 그림상징으로 표현하는 것은 용이하지 않으나 AAC 사용자의 의사소통을 위해 필수적인 과제이다. 실제로 Aviezer 등(2012)은 실제 인물의 강렬한 감정 사진에서 얼굴만 제시할 경우 긍정과 부정 감정의 구분조차 불가능하였으며, 신체 맥락이 함께 제시되어야 정확한 감정 판별이 가능하다고 보고하였다. Hassin 등(2013)은 이를 바탕으로 얼굴 표정이 본질적으로 모호하며, 맥락 정보가 감정 범주를 결정짓는 핵심 요인이라고 논의한 바 있다.
이러한 얼굴 표정의 한계를 극복하고 도상성을 향상시키기 위하여, 대부분의 AAC 감정 상징은 얼굴 표정과 신체적 표현 외에도 감정과 관련된 부가적인 외부 요소를 포함하고 있다. 여기서 외부 요소란 FACS에서 정의한 얼굴 근육의 움직임에 해당하지 않는 부가적 디자인 요소를 의미하며, 눈물, 스팀, 느낌표, 홍조, 벽 등이 이에 해당한다(Na, Lee, Oh & Lee, 2019). Lee와 Shin(2020)은 정상 성인을 대상으로 정서어휘에 대한 AAC 그림상징의 인식 정확도와 반응시간을 상징유형에 따라 비교한 결과, 얼굴 표정과 신체부위 동작이 모두 표상된 상징이 얼굴 표정만 있는 상징보다 정확도가 높고 반응시간이 짧은 것으로 보고하여, 얼굴 표정 외의 부가적 요소가 정서어휘 인식에 효과적인 단서를 제공하는 것으로 나타났다. Kim과 Yeon(2022)은 4~6세 일반 아동을 대상으로 관점 유형에 따른 그래픽 상징 인식을 연구한 결과, 전체적인 맥락이 잘 나타나 있고 구체적인 3인칭 관점의 상징에서 인식 정확도가 높은 것으로 나타나, 상징이 전달하는 시각적 정보의 양과 맥락적 구체성이 인식을 촉진한다는 점을 확인하였다. 이러한 연구들은 얼굴 표정 이외의 디자인 요소가 상징 인식에 중요한 역할을 할 수 있음을 시사한다.
국내에서도 감정 상징의 도상성에 관한 연구가 다수 수행된 바 있다. Chae(2014)는 PCS 상징을 활용하여 지적장애 아동과 특수교사의 감정 상징 인식을 비교하였으며, 두 집단 모두 긍정적 감정 상징은 비교적 용이하게 인식하였으나 부정적 감정은 인식에 어려움을 보이는 것으로 보고하였다. Na, Lee, Oh와 Park(2019)은 한국형 AAC와 PCS의 감정 상징 인식을 한국 대학생을 대상으로 비교하여 한국형 AAC의 정확도가 PCS보다 높은 것으로 보고하였으며, Na, Lee, Oh와 Lee(2019)는 아이트래킹을 활용하여 한미 대학생의 PCS 감정 상징 시각집중패턴을 비교한 결과 문화에 따라 시각집중패턴이 상이한 것으로 나타났다. Ahn 등(2022)은 발달장애 아동과 수용어휘능력을 일치시킨 일반 아동을 대상으로 상징 이해의 차이를 연구하여, 발달장애 아동이 상황을 보며 의미를 유추하는 데 어려움이 있음을 보고하였다. Park 등(2024)은 학령기 아동을 대상으로 아이트래킹을 활용하여 감정 상징 인식 과정을 분석한 결과, ‘화나다’ 상징에서 스팀이, ‘슬프다’ 상징에서 눈물이, ‘두렵다’ 상징에서 벽이 포함되어 있을 때 정확도가 높은 것으로 나타났으며, 후속 연구로서 외부 요소의 유무에 따른 정확도 차이를 직접 검증할 필요가 있다고 제언한 바 있다.
그러나 기존의 연구들은 주로 감정 상징의 의미를 맞추는 정확도를 확인하거나, 상징세트 간 도상성을 비교하는 수준에 머무르고 있는 실정이다. 일부 연구에서는 상징의 구성 요소에 따른 인식의 차이를 보고한 바 있으나(Lee & Shin, 2020), 감정 상징에 포함된 외부 요소를 직접적으로 제거하여 해당 요소가 감정 인식에 기여하는지를 실험적으로 검증한 연구는 거의 이루어지지 않았다. 예를 들어, ‘놀라다’ 상징에 포함된 느낌표, ‘슬프다’ 상징에 포함된 눈물 방울과 같은 외부 요소가 AAC 사용자들이 각 감정 상징을 변별하고 해석하여 의사소통에 활용하는 데 실제로 기여하는 바를 구체적으로 검증한 연구는 찾아보기 어렵다. Park 등(2024)의 아이트래킹 연구에서는 아동들이 외부 요소 영역에 대한 응시 시간이 상대적으로 짧은 것으로 나타난 바 있는데, 이는 외부 요소에 대한 직접적인 시선 고정 없이도 주변시를 통해 감정 인식에 영향을 미쳤을 가능성을 시사하나 현재의 아이트래킹 기술로는 고정된 영역만을 측정할 수 있으므로 주변시 영역의 처리를 직접 측정하기 어렵다는 한계가 있다(Brunyé et al., 2019). 따라서 기존의 감정 상징에서 외부 요소를 직접 제거하여 그 영향을 비교하는 실험적 접근이 필요하다.
한편, 감정을 인식하는 능력은 아주 어린 시기부터 발달하는 것으로 알려져 있는데, 사람의 감정에 대한 인식능력은 4개월의 영아기부터 가능하여 ‘기쁘다, 슬프다, 화나다’의 감정을 인식할 수 있으며(Bornstein & Arterberry, 2003; Vicari et al., 2000), 이후 감정인식 능력은 아동기 후기부터 청소년기까지 발달하면서 정교해지는 것으로 보고되었다(De Sonneville et al., 2002; Rump et al., 2009). 또한 얼굴의 각 부분에 나타난 정보를 인식하고 통합하여 처리할 수 있는 능력이 발달하게 된다(Green & Baker, 2011; Izard et al., 2001). Ekman(1972)의 연구에 따르면 기본 6대 감정 발달은 학령기에 완성되므로, 학령기 아동을 대상으로 외부 요소의 효과를 검증하는 것은 감정 인식이 발달적으로 완성된 집단에서 외부 요소의 효과를 확인할 수 있다는 점에서 적절하며, 향후 장애군 대상 연구를 위한 기초자료를 제공할 수 있다는 점에서도 의의가 있다.
이에 본 연구에서는 초등학교 고학년 아동을 대상으로, 감정 상징에서 외부 요소를 직접 제거하여 외부 요소의 유무가 감정 상징 인식 정확도와 응답시간에 미치는 영향을 실험적으로 검증하고자 하였다. 구체적인 연구 문제는 다음과 같다.
첫째, 외부 요소 유무에 따라 감정 상징 인식 정확도에 차이가 있는가?
둘째, 외부 요소 유무에 따라 감정 상징 인식 응답시간에 차이가 있는가?
Ⅱ. 연구 방법
1. 연구 대상
본 연구는 기본감정의 발달이 학령기까지 완성된다는 Ekman(1972)의 연구에 따라 초등학교 4~6학년 아동을 대상으로 하였다. 선정기준은 다음과 같다. (1)부모에 의해 언어 및 인지, 신체기능에 문제를 동반하지 않는다고 보고되었고, (2)수용ㆍ표현 어휘력 검사(Receptive Expressive Vocabulary Test: REVT, Kim et al., 2009) 결과 수용 어휘력 수준이 –1SD 이상이며, (3)안경 및 콘택트렌즈를 착용하지 않으며 60cm 거리의 모니터에 제시된 상징을 볼 수 있는 시력을 가지고 있고, (4)실험에 사용된 AAC 상징에 친숙하지 않은 아동으로 선정하였다. 위의 기준을 모두 만족하는 28명(남 8명, 여 20명)을 최종 대상자로 선정하였다. 선정된 대상자 정보는 Table 1과 같다.
2. 연구 도구
본 연구에서는 PCS(Mayer-Johnson), 한국형 AAC(Park et al., 2016), 나의 AAC(NC cultural foundation), 키즈보이스(UBQ)의 4개 상징세트를 사용하였다. PCS는 미국에서 개발된 상징으로 감정을 나타내는 상징이 주로 얼굴로만 구성되어 있으며, 한국형 AAC와 나의 AAC는 한국에서 개발된 상징으로 상반신 또는 전신이 포함되어 있는 것이 특징이다. 키즈보이스도 국내에서 개발된 상징으로 아동 친화적인 디자인이 특징적이다.
각 상징세트에서 Ekman(1972)이 제시한 기본정서 중 슬픔, 분노, 놀람, 두려움, 기쁨의 5가지 감정에 해당하며, 얼굴 표정(눈, 눈썹, 입, 코) 및 신체 표현 이외에 부가적인 외부 요소가 포함되어 있는 감정 상징을 분석대상으로 선정하였다. 여기서 외부 요소란 Ekman과 Friesen(1976)의 FACS에서 정의한 얼굴 근육 움직임에 해당하지 않는 부가적 디자인 요소를 의미하며, 눈물(슬프다), 스팀(화나다), 느낌표와 물결선(놀라다), 떨림과 벽(두렵다), 꽃(기쁘다) 등이 이에 해당한다. 모든 상징세트에 5가지 감정이 공통으로 존재하지는 않으므로, 각 상징세트에서 외부 요소를 포함한 상징만을 분석대상으로 하여 총 14개의 분석대상 상징을 선정하였다. 그 결과 한국형 AAC는 5가지 감정 모두에 외부 요소가 포함되어 있어 5개가 선정되었으며, PCS, 나의 AAC, 키즈보이스는 각각 3개가 선정되었다.
선정된 14개 상징은 수정 전 원본(외부 요소 포함) 및 수정 후(외부 요소 제거) 두 가지 버전으로 제작하였다. 수정 후 상징은 포토샵(Adobe Photoshop)을 사용하여 외부 요소를 삭제하고 삭제된 부분을 배경색으로 채워 제작하였다. 수정 후 상징에서는 얼굴 표정(눈, 눈썹, 입, 코)과 신체 표현(몸통, 팔, 다리)은 그대로 유지하고 외부 요소만 제거하여, 외부 요소의 유무가 인식에 미치는 영향을 독립적으로 검증할 수 있도록 하였다. 선정된 상징은 Appendix 1에 제시하였다.
실험에 사용되는 자극은 분석대상 14개 외에, 외부 요소가 원래 포함되지 않은 감정 상징 6개(자랑스럽다, 흥분하다, 무섭다, 걱정하다 등)를 필러(filler) 항목으로 추가하여 수정 전, 수정 후 과제 각각 20개의 자극으로 구성하였다. 필러 항목은 참여자가 과제의 의도를 파악하는 것을 방지하고 다양한 감정에 대한 자연스러운 응답 환경을 조성하기 위한 것으로, 분석에서는 제외하였다. 상징의 구성은 Table 2와 같다.
감정 상징 과제는 퀄트릭스(qualtrics) 설문을 이용하여 제작하였다. 보기 항목은 분석대상 감정 5개(두렵다, 화나다, 기쁘다, 슬프다, 놀라다) 외에 ‘지루하다, 흥미롭다, 걱정하다, 흥분하다, 무섭다’의 6개 감정을 추가하여 총 11개 항목을 제시하였다. 각 항목은 퀄트릭스의 랜덤 기능을 사용하여 매 문항마다 무작위로 제시함으로써 항목 위치에 대한 학습 효과를 배제하였다. 각 문항은 한 페이지에 하나의 상징과 보기 항목만 표시되도록 설정하였으며, 상징은 12×15cm의 크기로 통일하여 제시하였다. 보기 항목은 6×1, 5×1의 두 줄로 배치하여 감정 상징과 보기가 한 화면에 들어오도록 구성하였다. 참여자는 각 문항에서 보기를 선택한 후 <다음> 버튼을 클릭하여 다음 문항으로 이동하였다.
또한, 대상자들은 과제 수행 시 아이트래커를 착용하였으며, 응답시간은 Tobii Pro Lab 프로그램을 사용하여 확인하였다.
3. 연구 절차
실험은 조용한 환경에서 연구자와 참여자 간 일대일로 수행하였으며, 시선추적에 방해가 될 수 있는 요소를 최대한 배제하였다. 참여자는 먼저 PPT를 통해 과제 수행 방법을 숙지한 후, Tobii Pro Glasses2 아이트래커를 착용하였다. 이후 모니터와 약 60cm의 간격을 두고 앉아, 대상자의 앉은키를 고려하여 모니터 높이를 조절하고 화면의 정중앙과 눈높이가 수평이 되도록 하였다.
참여자는 수정 전 과제(외부 요소 포함, 20개 자극)와 수정 후 과제(외부 요소 제거, 20개 자극)를 모두 수행하였다. 각 과제의 자극은 상징세트별로 묶어 제시하되, 수정 전 과제와 수정 후 과제 간에 자극의 제시 순서를 다르게 배정하여 순서 효과를 통제하였다. 과제 수행 순서는 참여자마다 무작위로 배정하였으며, 간섭 및 학습효과를 배제하기 위해 두 과제 사이에 최소 30분의 휴식시간을 두었다. 모니터에 감정 상징이 제시되면 참여자는 가장 적절하다고 생각되는 감정 어휘를 보기에서 직접 마우스로 클릭하여 선택하였다.
4. 자료 분석
분석대상 14개 상징에 대해 인식 정확도와 응답시간을 측정하였다. 인식 정확도는 각 문항마다 정반응 1점, 오반응 0점으로 채점하였다. 본 연구의 분석은 외부 요소 유무에 따른 감정 상징 인식의 정확도, 응답시간, 오답 양상에 초점을 두었다. 응답시간은 상징이 화면에 제시된 시점부터 참여자가 보기 항목을 클릭하기까지의 시간 간격으로 정의하였으며, Tobii Pro Lab 프로그램의 타임라인 기능을 사용하여 밀리초(ms) 단위로 측정하였다.
외부 요소 유무에 따른 정확도와 응답시간의 차이를 검증하기 위하여 각 상징별로 대응표본 t-검정을 실시하였다. 전체 정확도 및 응답시간의 평균 비교를 위해서도 대응표본 t-검정을 실시하였다. 통계 분석에는 IBM SPSS Statistics를 사용하였으며, 유의수준은 .05로 설정하였다. 또한 외부 요소 제거 시 감정 오반응 양상을 확인하기 위하여 수정 전과 수정 후 조건에서의 오답 분포를 분석하였다.
Ⅲ. 연구 결과
1. 외부 요소 유무에 따른 인식 정확도
외부 요소 유무에 따른 감정 상징 인식 정확도를 살펴보기 위해 각 상징별로 대응표본 t-검정을 실시하였고 상징별 결과는 Table 3과 같다.
‘슬프다’ 상징에서는 4개 상징세트 모두에서 외부 요소(눈물) 제거 후 정확도가 유의하게 하락하였다. 외부 요소 제거 전후 PCS가 89%에서 14%로 가장 크게 감소하였으며(t(27)=9.00, p<.001), 키즈보이스는 100%에서 29%로(t(27)=8.22, p<.001), 한국형 AAC는 89%에서 29%로(t(27)=6.46, p<.001), 나의 AAC는 89%에서 43%로(t(27)=3.86, p<.01) 유의하게 하락하였다. 각 상징세트에서 가장 높은 정답률은 모두 수정 전 ‘슬프다’였으며, 가장 낮은 정답률도 모두 수정 후 ‘슬프다’로 나타나, 수정 전후 정확도 차이가 가장 뚜렷한 감정은 ‘슬프다’인 것으로 확인되었다.
‘화나다’ 상징에서는 외부 요소 제거에도 정확도의 유의한 변화가 나타나지 않았다. PCS에서 86%에서 75%로 감소하였으나 유의수준에 이르지 못하였으며(t(27)=1.80, p=.083), 한국형 AAC(93%)와 키즈보이스(96%)에서는 수정 전후 정확도가 동일하게 유지되었다(t(27)=0.00, p=1.00). 나의 AAC에서도 86%에서 71%로 감소하였으나 유의하지 않았다(t(27)=1.44, p=.161).
‘놀라다’ 상징에서도 유의한 차이가 나타나지 않았다. PCS ‘놀라다’는 수정 전(50%)과 수정 후(36%) 모두 정답률이 50% 이하로 외부 요소와 무관하게 인식 자체가 어려운 상징인 것으로 나타났다. 한국형 AAC에서도 유의한 변화가 없었으며, 키즈보이스에서는 수정 후(93%)가 수정 전(82%)보다 오히려 높은 경향을 보였으나 통계적으로 유의하지 않았다(t(27)=-1.36, p=.184). ‘두렵다’에서도 한국형 AAC와 나의 AAC 모두 수정 전후 차이가 유의하지 않았으며, 수정 전후 모두 정답률이 상대적으로 낮아 외부 요소와 무관한 인식의 어려움이 존재하는 것으로 나타났다. ‘기쁘다’(한국형 AAC)에서도 수정 전 93%로 높은 정확도를 보였으나 수정 전후 차이는 유의하지 않았다(t(27)=1.44, p=.161).
감정별로 모든 상징세트의 정확도를 통합하여 수정 전후 차이를 대응표본 t-검정으로 비교한 결과, ‘슬프다’에서만 유의한 차이가 나타났으며(t(27)=13.427, p<.05), ‘화나다’, ‘놀라다’, ‘두렵다’, ‘기쁘다’에서는 수정 전후 정확도 차이가 유의하지 않았으며 Figure 1에 제시하였다.
2. 외부 요소 유무에 따른 오답 양상 분석
외부 요소 유무에 따른 오반응 양상을 확인하기 위하여, 각 감정별 오답 분포를 분석하였다. 감정별 오답 분포는 빈도가 높은 순으로 Table 4에 제시하였다.
‘슬프다’ 상징에서 외부 요소는 눈물(PCS, 한국형 AAC, 키즈보이스) 및 눈물과 땀(나의 AAC)이 포함되어 있었으며 이를 제거한 수정 후 조건의 오답을 분석한 결과, 4개 상징세트 모두에서 참여자들은 ‘지루하다’를 가장 빈번하게 선택하는 것으로 나타났다. PCS ‘슬프다’의 경우 수정 후 오답자 중 20명이 ‘지루하다’를 선택하였으며, 한국형 AAC, 나의 AAC, 키즈보이스에서도 동일한 양상이 관찰되었다. ‘화나다’ 상징에서는 스팀(PCS, 한국형 AAC, 키즈보이스) 및 스팀과 빠직 효과(나의 AAC)가 외부 요소로 포함되어 있었으나, 이를 제거한 수정 후에도 모두 높은 정확도를 유지하였으며 소수의 오답은 ‘흥분하다’, ‘역겹다’ 순으로 나타났다. ‘놀라다’ 상징에서는 느낌표(PCS, 한국형 AAC)와 물결선(키즈보이스)이 외부 요소로 포함되어 있었으며, 수정 전 오답이 주로 ‘흥미롭다’였던 반면, 이를 제거한 수정 후에는 ‘흥분하다’가 가장 빈번한 오답으로 나타나 수정 전후 오답 유형이 변화하는 양상이 관찰되었다. ‘두렵다’ 상징에서는 떨림(한국형 AAC)과 벽(나의 AAC)이 외부 요소로 포함되어 있었으나, 이를 제거한 수정 후에도 수정 전과 유사한 정답률을 보였으며(수정 전 57%, 수정 후 61%), 수정 전후 모두 가장 빈번한 오답이 ‘무섭다’에 집중되었다.
3. 외부 요소 유무에 따른 응답시간
전체 평균 응답시간은 수정 전 7.59초, 수정 후 8.45초로 수정 전이 짧았으나, 전체 평균의 차이는 통계적으로 유의하지 않았다(t(27)=-1.666, p>.05). 각 상징별로 외부 요소 유무에 따른 응답시간을 대응표본 t-검정으로 비교한 결과는 Table 5와 같다.
‘슬프다’ 상징에서는 PCS(t(27)=-3.04, p<.01)와 키즈보이스(t(27)=-4.43, p<.001)에서 외부 요소 제거 후 응답시간이 유의하게 증가하였다. 특히 PCS ‘슬프다’에서는 정확도와 응답시간이 동일한 방향으로 변화하여, 외부 요소 제거 시 정확도가 하락하면서 동시에 응답시간도 증가하는 양상이 관찰되었다. 한국형 AAC에서도 수정 후 응답시간이 길어지는 경향이 나타났으나 유의수준에 이르지 못하였으며(t(27)=-1.99, p=.056), 나의 AAC에서도 동일한 방향의 변화가 나타났으나 유의하지 않았다(t(26)=-0.47, p=.661).
‘화나다’ 상징에서는 4개 상징세트 모두에서 응답시간의 유의한 차이가 나타나지 않았다. PCS에서는 수정 후(7.58초)가 수정 전(7.65초)과 거의 동일하였으며(t(27)=0.08, p=.937), 한국형 AAC, 나의 AAC, 키즈보이스에서도 수정 전이 다소 짧았으나 통계적으로 유의하지 않았다.
‘놀라다’ 상징에서는 PCS와 키즈보이스에서 오히려 수정 후 응답시간이 짧아지는 경향이 나타났으나, 모두 통계적으로 유의하지 않았다. ‘두렵다’ 상징에서는 한국형 AAC(t(27)=-2.94, p<.01)에서 유의한 응답시간 증가가 확인된 반면, 나의 AAC에서는 유의하지 않았다. ‘기쁘다’(한국형 AAC)에서는 수정 전이 수정 후보다 오히려 길었으나 유의하지 않았으며(t(27)=0.58, p=.565), 수정 전의 표준편차가 12.87초로 매우 크게 나타나 개인차가 현저한 것으로 확인되었다.
감정별로 모든 상징세트의 응답시간을 통합하여 대응표본 t-검정으로 비교한 결과, ‘슬프다’(t(27)=-5.110, p<.05)와 ‘두렵다’(t(27)=-2.948, p<.05)에서 수정 전 응답시간이 유의하게 짧은 것으로 나타났다. ‘화나다’, ‘놀라다’, ‘기쁘다’에서는 유의한 차이가 나타나지 않았다. 상징세트별로 모든 감정의 응답시간을 통합하여 비교한 결과에서는 나의 AAC(t(27)=-1.791, p<.05)와 키즈보이스(t(27)=-2.221, p<.05)에서 수정 전 응답시간이 유의하게 짧은 것으로 나타났으며, PCS(t(27)=-1.159, p>.05)와 한국형 AAC(t(27)=-1.033, p>.05)에서는 유의한 차이가 나타나지 않았으며 Figure 2에 제시하였다.
Ⅳ. 논의 및 결론
본 연구는 초등학교 고학년 아동을 대상으로 AAC 감정 상징에서 외부 요소를 직접 제거하여, 외부 요소의 유무가 감정 상징 인식 정확도와 응답시간에 미치는 영향을 실험적으로 검증하였다. 주요 결과에 대한 논의는 다음과 같다.
첫째, 외부 요소의 영향은 감정에 따라 차별적으로 나타났으며, ‘슬프다’에서 가장 뚜렷한 효과가 확인되었다. ‘슬프다’ 상징에서는 4개 상징세트 모두에서 외부 요소가 제거되었을 때 정확도가 유의하게 하락하여, 감정별 통합 분석에서도 ‘슬프다’만이 유의한 차이를 보였다. 반면, ‘화나다’에서는 외부 요소가 제거되어도 한국형 AAC와 키즈보이스에서 정확도가 동일하게 유지되었으며, PCS와 나의 AAC에서도 유의한 변화가 나타나지 않았다. 이러한 감정 간 차이는 각 감정의 얼굴 표정이 가지는 고유한 변별력의 차이로 설명될 수 있다. Snoek 등(2023)이 정리한 FACE 기반 감정 모델에 따르면 ‘화나다’는 눈썹 내림(AU4), 윗입술 올림(AU10), 입술 조임(AU23) 등 다수의 표정 단위가 복합적으로 관여하여 얼굴 표정만으로도 비교적 고유한 배열을 형성한다. 반면 ‘슬프다’의 표정 특징인 입꼬리 내림(AU15)과 눈썹 안쪽 올림(AU1)은 ‘두렵다’나 ‘아프다’와 같은 다른 부정 감정과 공유되는 부분이 많아 얼굴 표정만으로는 변별이 어렵다. Aviezer 등(2012)은 실제 인물의 강렬한 감정 사진에서 얼굴만 제시할 경우 긍정과 부정 감정의 구분조차 불가능하다고 보고하였으며, Hassin 등(2013)은 얼굴 표정이 본질적으로 모호하고 맥락 정보가 감정 범주를 결정짓는 핵심 요인이라고 논의한 바 있다. 본 연구에서 눈물은 ‘슬프다’에 대한 문화적으로 합의된 시각적 은유로서, 얼굴 표정의 모호성을 해소하고 감정 범주를 특정하는 결정적 맥락 단서로 기능한 것으로 해석된다. 이는 Lee와 Shin(2020)이 얼굴 표정 외의 부가적 요소가 정서어휘 인식에 효과적인 단서를 제공한다고 보고한 결과와도 일치하며, Park 등(2024)의 연구에서 ‘슬프다’에 눈물이 포함된 상징의 정확도가 높았던 결과를 외부 요소의 직접적인 제거 실험을 통해 재확인한 것으로 볼 수 있다.
둘째, 외부 요소 유무에 따른 오답 양상은 정확도 결과에서 확인된 외부 요소의 차별적 기능을 더욱 구체적으로 뒷받침하였다. ‘슬프다’ 상징에서 눈물이 제거된 수정 후 조건에서 4개 상징세트 모두 참여자들의 가장 빈번한 오답이 ‘지루하다’로 나타났다. Russell(1980)의 감정 원형 모델(circumplex model)에 따르면 ‘슬프다’는 불쾌-고각성, ‘지루하다’는 불쾌-저각성에 해당하며, 두 감정은 동일한 불쾌 차원에 위치하면서 각성 수준만 상이하다. 선행 연구에서도 감정을 개념화할 때 구체적이고 개별적인 범주보다 양극성 차원으로 해석하는 경향이 보고된 바 있다(Daly et al., 1983; Watson & Tellegen, 1985). 본 연구의 오답 패턴은 눈물이라는 외부 요소가 제거됨으로써 각성 수준의 변별이 어려워져 참여자들이 감정을 개별 범주가 아닌 차원적 수준에서 해석하게 되었을 가능성을 보여준다. 즉, 눈물은 단순히 ‘슬프다’의 도상성을 높이는 장식적 요소가 아니라, 차원적으로 유사한 감정들 사이에서 ‘슬프다’라는 특정 범주를 변별하게 해주는 범주 특정화 기능을 수행하는 것으로 해석된다.
‘화나다’의 소수 오답이 ‘흥분하다’, ‘역겹다’ 등 동일한 불쾌-고각성 범주 내의 감정에 한정된 것도 이러한 차원적 해석을 뒷받침한다. ‘화나다’의 경우 얼굴 표정 자체의 변별력이 높아 외부 요소 없이도 감정 범주의 대략적 식별이 가능하며, 오답이 발생하더라도 동일 차원 내에서의 미세한 혼동에 그치는 것으로 볼 수 있다. Chae(2014)와 Park 등(2024)의 연구에서도 ‘화나다’는 다른 감정에 비해 비교적 높은 인식률을 보인 바 있으며, 본 연구의 결과는 이러한 선행 연구와 일치한다. ‘놀라다’에서 수정 전 오답이 ‘흥미롭다’에서 수정 후 ‘흥분하다’로 변화한 것은 주목할 만하다. ‘놀라다’, ‘흥미롭다’, ‘흥분하다’는 모두 쾌-고각성 차원에서 유사한 위치를 점하는 감정으로, 차원적 유사성에 의한 혼동으로 해석되는데, 외부 요소 제거 후 오답 유형 자체가 변화하였다는 것은 외부 요소가 단순히 정확도를 높이는 역할에 그치는 것이 아니라 감정 해석의 방향성에도 관여할 수 있음을 보여준다.
이상의 정확도 및 오답 패턴 분석 결과를 종합하면, 외부 요소는 모든 감정에 균일하게 작용하는 것이 아니라 얼굴 표정 자체의 변별력이 낮은 감정에서 보완적 역할을 수행하며, 감정의 강도를 이해하는 데 도움을 줌으로써 차원적으로 인접한 감정들 사이에서 목표 감정을 변별하는 핵심적인 시각적 단서로 기능하는 것으로 결론지을 수 있다.
셋째, 응답시간에서도 외부 요소의 효과는 감정에 따라 선택적으로 나타났다. 전체 평균 응답시간은 수정 전(7.59초)이 수정 후(8.45초)보다 짧았으나 유의하지 않았다. 그러나 감정별 통합 분석에서 ‘슬프다’와 ‘두렵다’에서는 수정 전 응답시간이 유의하게 짧은 것으로 확인되었다. 개별 상징 수준에서도 PCS ‘슬프다’와 키즈보이스 ‘슬프다’, 한국형 AAC ‘두렵다’에서 유의한 응답시간 증가가 나타난 반면, ‘화나다’와 ‘놀라다’에서는 유의한 변화가 확인되지 않았다.
특히 ‘슬프다’에서 정확도와 응답시간이 같은 방향으로 변화한 것은 외부 요소가 인지적 처리 자체를 촉진하였음을 의미한다. Wilkinson과 Jagaroo(2004)는 시각적으로 현저한 요소가 사용자의 주의를 자동적으로 끌어 처리 효율성을 높인다고 설명하였으며, Wilkinson과 Snell(2011)은 감정 상징의 시각적 조직화 단서가 아동의 검색 속도를 향상시킨다고 보고한 바 있다. 본 연구에서 눈물이라는 외부 요소가 존재할 때 아동은 ‘슬프다’ 범주를 즉시 활성화하여 관련 없는 선택지를 빠르게 배제할 수 있었던 반면, 외부 요소가 없으면 얼굴 표정만으로 감정을 판단하는 데 추가적인 인지적 처리 시간이 소요된 것으로 해석된다. Kim과 Yeon(2022)이 시각적 정보가 풍부한 상징에서 인식이 촉진된다고 보고한 것도 이러한 해석과 일치한다.
반면, ‘화나다’에서는 정확도와 응답시간 모두 외부 요소 제거에 의해 유의하게 변화하지 않아, 외부 요소가 처리 효율성에도 실질적인 영향을 미치지 않은 것으로 나타났다. 이는 얼굴 표정 자체의 변별력이 높은 감정에서는 외부 요소가 추가적 처리 이점을 제공하지 못함을 시사하며, 정확도 결과에서 확인된 감정별 차별적 효과가 응답시간에서도 동일하게 반복된 것으로 볼 수 있다. 한편, 상징세트별 통합 분석에서는 나의 AAC와 키즈보이스에서 수정 전 응답시간이 유의하게 짧은 것으로 나타나, 상징세트의 디자인 특성에 따라 외부 요소의 제거가 전반적인 처리 속도에 미치는 영향이 달라질 수 있음을 시사한다.
이상에서 살펴본 바와 같이 본 연구의 결과는 감정 상징 디자인에 대해 구체적인 시사점을 제공한다. 외부 요소의 효과가 감정에 따라 차별적으로 나타났다는 것은 모든 감정 상징에 일괄적으로 외부 요소를 추가하는 것이 최선이 아님을 의미한다. Light 등(2019)은 AAC 디스플레이 디자인에서 시각적 정보의 풍부함과 인지적 부담 간의 균형이 중요하다고 강조한 바 있으며, Díez 등(2024)의 대규모 연구에서도 상징의 시각적 복잡성과 도상성이 관련되는 것으로 보고되었다. ‘화나다’처럼 얼굴 표정의 변별력이 높은 감정에서는 외부 요소의 추가적 효과가 제한적이므로 불필요한 시각적 복잡성을 초래할 수 있으나, ‘슬프다’처럼 표정 자체의 변별력이 낮은 감정에서는 눈물과 같은 외부 요소가 필수적인 역할을 수행하는 것으로 확인되었다.
구체적으로, 감정 상징의 외부 요소를 디자인할 때에는 다음의 사항을 고려할 필요가 있다. 첫째, 해당 감정의 얼굴 표정 변별력을 평가하여, 변별력이 낮은 감정에 우선적으로 외부 요소를 배치하여야 한다. 둘째, 외부 요소는 해당 감정을 직관적으로 연상시킬 수 있는 것이어야 한다. Cherbonnier와 Michinov(2021)는 감정 전달을 위해 특별히 디자인된 시각적 표현이 감정 인식률과 강도를 높일 수 있다는 점도 보고하였다. 본 연구에서 눈물(슬프다)은 감정과의 직관적 연관성이 높은 문화적으로 합의된 시각적 은유로서 효과적인 외부 요소로 기능한 반면, ‘두렵다’의 떨림이나 벽은 감정과의 직관적 연관성이 상대적으로 약하여 정확도에 유의한 영향을 미치지 못한 것으로 보인다. 셋째, 외부 요소의 선택에서 문화적 맥락을 고려하여야 한다. Elfenbein과 Ambady(2002)는 감정 인식에서 문화적 차이가 존재함을 메타분석을 통해 확인하였고, Tsai 등(2025)은 도상성에 대한 인식이 문화에 따라 달라질 수 있다고 보고하였으므로, 한국 아동에게 효과적인 외부 요소가 다른 문화권에서도 동일하게 작동하는지에 대한 확인이 필요하다. 이러한 점을 종합하면, 감정 상징의 외부 요소는 ‘얼굴 표정 변별력이 낮은 감정’에 더해 ‘직관적이고 문화적으로 합의된 요소’라는 조건이 충족될 때 가장 효과적으로 기능할 수 있을 것이다.
본 연구의 제한점 및 후속 연구를 위한 제언은 다음과 같다. 첫째, 본 연구는 일반 아동을 대상으로 수행되었으므로 AAC를 직접 사용하는 장애군에게 추가적인 연구가 필요하다. Ahn 등(2022)의 연구에서 발달장애 아동이 상황 유추에 어려움을 보인 바 있으며, Wilkinson과 McIlvane(2013)은 장애 유형에 따라 시각-지각적 요인의 효과가 다르게 나타남을 보고하였다. Wilkinson과 Madel(2019)은 자폐스펙트럼장애 대상자가 시각적 복잡성에 더 취약한 것으로 보고한 바 있어, 외부 요소가 장애군에게는 감정 인식의 단서가 아니라 오히려 추가적인 시각적 부담으로 작용할 가능성도 배제할 수 없다. Masoomi 등(2025)의 메타분석에서 자폐스펙트럼장애 아동의 감정 인식 결함이 확인된 점을 고려할 때, 후속 연구에서는 장애군을 대상으로 외부 요소의 효과를 독립적으로 검증할 필요가 있다. 둘째, 본 연구에서는 모든 상징세트에 모든 감정이 공통으로 존재하지 않아 감정과 상징세트 간의 체계적인 비교에 제약이 있었다. 셋째, 외부 요소의 유형에 따른 효과를 독립적으로 분리하여 분석하지 못하였으므로, 후속 연구에서는 동일 감정에 대해 외부 요소의 유형과 크기를 통제한 실험 설계가 필요할 것이다. 넷째, ‘두렵다’의 오답이 ‘무섭다’에 집중된 결과에서 나타났듯이, 보기 항목의 구성이 정확도에 영향을 미칠 수 있으므로 후속 연구에서는 감정 어휘의 의미적 거리를 고려한 보기 항목 설계가 필요하다.
본 연구는 AAC 감정 상징에서 외부 요소를 직접 제거하여 그 영향을 실험적으로 검증한 연구로서, 외부 요소의 효과가 감정에 따라 차별적으로 나타남을 확인하였다. 특히 얼굴 표정의 변별력이 낮은 ‘슬프다’에서 눈물이 정확도와 응답시간 모두에 결정적인 영향을 미치는 것으로 나타났으며, 오답 패턴 분석을 통해 외부 요소가 차원적으로 유사한 감정들 사이에서 특정 범주를 변별하게 해주는 범주 특정화 기능을 수행하고 있음이 확인되었다. 이러한 결과는 감정 상징을 디자인할 때 각 감정의 표정 변별력을 고려하여, 변별력이 낮은 감정에는 직관적이고 문화적으로 합의된 외부 요소를 전략적으로 배치하는 것이 도상성 향상에 효과적임을 시사하며, 나아가 AAC 사용자의 감정 의사소통을 지원하는 데 기여할 수 있을 것이다.
Acknowledgments
이 논문은 2023년 정부(과학기술통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(RS-2023-00218176).
This research was supported by the National Research Foundation of Korea (NRF), funded by the government (Ministry of Science and ICT) in 2023 (RS-2023-00218176).
References
-
Ahn, S. H., Lee, S. H., & Na, J. Y. (2022). Comprehension and preference of AAC symbols in elementary school students with developmental disabilities. AAC Research & Practice, 10(2), 1-23.
[https://doi.org/10.14818/aac.2022.12.10.2.1]
-
Aviezer, H., Trope, Y., & Todorov, A. (2012). Body cues, not facial expressions, discriminate between intense positive and negative emotions. Science, 338(6111), 1225-1229.
[https://doi.org/10.1126/science.1224313]
-
Bloomberg, K., Karlan, G. R., & Lloyd, L. L. (1990). The comparative translucency of initial lexical items represented in five graphic symbol systems and sets. Journal of Speech and Hearing Research, 33(4), 717-725.
[https://doi.org/10.1044/jshr.3304.717]
-
Bornstein, M. H., & Arterberry, M. E. (2003). Recognition, discrimination and categorization of smiling by 5-month-old infants. Developmental Science, 6(5), 585-599.
[https://doi.org/10.1111/1467-7687.00314]
-
Brunyé, T. T., Drew, T., Weaver, D. L., & Elmore, J. G. (2019). A review of eye tracking for understanding and improving diagnostic interpretation. Cognitive Research: Principles and Implications, 4(1), 7.
[https://doi.org/10.1186/s41235-019-0159-2]
-
Chae, S. J. (2014). The comparative study of symbol perception on the symbols depicting emotions between children with intellectual disabilities and special education teachers. Special Education Research, 13(2), 215-237.
[https://doi.org/10.18541/ser.2014.06.13.2.215]
-
Cherbonnier, A., & Michinov, N. (2021). The recognition of emotions beyond facial expressions: Comparing emoticons specifically designed to convey basic emotions with other modes of expression. Computers in Human Behavior, 118, 106689.
[https://doi.org/10.1016/j.chb.2021.106689]
-
Daly, E. M., Lancee, W. J., & Polivy, J. (1983). A conical model for the taxonomy of emotional experience. Journal of Personality and Social Psychology, 45(2), 443-457.
[https://doi.org/10.1037/0022-3514.45.2.443]
-
De Sonneville, L. M. J., Verschoor, C. A., Njiokiktjien, C., Op het Veld, V., Toorenaar, N., & Vranken, M. (2002). Facial identity and facial emotions: Speed, accuracy, and processing strategies in children and adults. Journal of Clinical and Experimental Neuropsychology, 24(2), 200-213.
[https://doi.org/10.1076/jcen.24.2.200.989]
-
Díez, E., Díez-Álamo, A. M., Alonso, M. A., Wojcik, D. Z., & Fernandez, A. (2024). Transparency and translucency indices for 1,525 pictograms from the Aragonese Portal of Augmentative and Alternative Communication. Frontiers in Psychology, 15, 1467796.
[https://doi.org/10.3389/fpsyg.2024.1467796]
- Ekman, P. (1972). Universals and cultural differences in facial expressions of emotion. In J. Cole (Ed.), Nebraska Symposium on Motivation (pp. 207-283). Lincoln, NE: University of Nebraska Press.
-
Ekman, P., & Friesen, W. V. (1976). Measuring facial movement. Environmental Psychology and Nonverbal Behavior, 1(1), 56-75.
[https://doi.org/10.1007/BF01115465]
-
Elfenbein, H. A., & Ambady, N. (2002). On the universality and cultural specificity of emotion recognition: A meta-analysis. Psychological Bulletin, 128(2), 203-235.
[https://doi.org/10.1037/0033-2909.128.2.203]
-
Fuller, D., & Lloyd, L. (1991). Toward a common usage of iconicity terminology. Augmentative and Alternative Communication, 7(3), 215-220.
[https://doi.org/10.1080/07434619112331275913]
-
Green, S., & Baker, B. (2011). Parents’ emotion expression as a predictor of child’s social competence: Children with or without intellectual disability. Journal of Intellectual Disability Research, 55(3), 324-338.
[https://doi.org/10.1111/j.1365-2788.2010.01363.x]
-
Gross, T. F. (2008). Recognition of immaturity and emotional expressions in blended faces by children with autism and other developmental disabilities. Journal of Autism and Developmental Disorders, 38, 297-311.
[https://doi.org/10.1007/s10803-007-0391-3]
-
Hassin, R. R., Aviezer, H., & Bentin, S. (2013). Inherently ambiguous: Facial expressions of emotions, in context. Emotion Review, 5(1), 60-65.
[https://doi.org/10.1177/1754073912451331]
-
Hippolyte, L., Barisnikov, K., Van der Linden, M., & Detraux, J.-J. (2009). From facial emotional recognition abilities to emotional attribution: A study in Down syndrome. Research in Developmental Disabilities, 30(5), 1007-1022.
[https://doi.org/10.1016/j.ridd.2009.02.004]
-
Izard, C., Fine, S., Schultz, D., Mostow, A., Ackerman, B., & Youngstrom, E. (2001). Emotion knowledge as a predictor of social behavior and academic competence in children at risk. Psychological Science, 12(1), 18-23.
[https://doi.org/10.1111/1467-9280.00304]
-
Kim, K. R., & Yeon, S. J. (2022). Recognition and preference of graphic symbols on the point of view in typically developing children. AAC Research & Practice, 10(2), 91-115.
[https://doi.org/10.14818/aac.2022.12.10.2.91]
- Kim, Y. T., Hong, G. H., Kim, K. H., Jang, H. S., & Lee, J. Y. (2009). Receptive and Expressive Vocabulary Test (REVT). Seoul: Seoul Community Rehabilitation Center.
-
Lee, D., & Shin, S. (2020). Perception of the AAC graphic symbols and SNS emoticons for emotional words in normal adults. Communication Sciences & Disorders, 25(2), 334-342.
[https://doi.org/10.12963/csd.20721]
-
Light, J., Wilkinson, K. M., Thiessen, A., Beukelman, D. R., & Fager, S. K. (2019). Designing effective AAC displays for individuals with developmental or acquired disabilities: State of the science and future research directions. Augmentative and Alternative Communication, 35(1), 42-55.
[https://doi.org/10.1080/07434618.2018.1558283]
-
Loncke, F. T., Campbell, J., England, A. M., & Haley, T. (2006). Multimodality: A basis for augmentative and alternative communication–psycholinguistic, cognitive, and clinical/educational aspects. Disability and Rehabilitation, 28(3), 169-174.
[https://doi.org/10.1080/09638280500384168]
-
Masoomi, M., Saeidi, M., Cedeno, R., Shahrivar, Z., Tehrani-Doost, M., Ramirez, Z., . . . Gunturu, S. (2025). Emotion recognition deficits in children and adolescents with autism spectrum disorder: A comprehensive meta-analysis of accuracy and response time. Frontiers in Child and Adolescent Psychiatry, 3, 1520854.
[https://doi.org/10.3389/frcha.2024.1520854]
-
Mayer, J. D., & Stevens, A. A. (1994). An emerging understanding of the reflective (meta-) experience of mood. Journal of Research in Personality, 28(3), 351-373.
[https://doi.org/10.1006/jrpe.1994.1025]
-
Na, J. Y., Lee, S. H., Oh, G. A., & Lee, J. H. (2019). Visual attention patterns on PCS emotion symbols in American and Korean college students: An eye-tracking study. AAC Research & Practice, 7(2), 75-93.
[https://doi.org/10.14818/aac.2019.12.7.2.75]
-
Na, J. Y., Lee, S. H., Oh, G. A., & Park, H. Y. (2019). The comparative eye-tracking study on perception between Mytalkie and PCS emotion symbols. AAC Research & Practice, 7(1), 131-152.
[https://doi.org/10.14818/aac.2019.6.7.1.131]
-
Park, E. H., Kim, Y. T., Hong, K.-H., Yeon, S. J., Kim, K. Y., & Lim, J. H. (2016). Development of Korean Ewha-AAC symbols: Validity of vocabulary and graphic symbols. AAC Research & Practice, 4(2), 19-40.
[https://doi.org/10.14818/aac.2016.12.4.2.19]
-
Park, H. Y., Na, J. Y., & Lee, S. H. (2024). A study on the recognition of AAC emotion symbols in school-aged children using eye tracking technology. AAC Research & Practice, 12(2), 97-121.
[https://doi.org/10.14818/aac.2024.12.12.2.97]
-
Rump, K. M., Giovannelli, J. L., Minshew, N. J., & Strauss, M. S. (2009). The development of emotion recognition in individuals with autism. Child Development, 80(5), 1434-1447.
[https://doi.org/10.1111/j.1467-8624.2009.01343.x]
-
Russell, J. A. (1980). A circumplex model of affect. Journal of Personality and Social Psychology, 39(6), 1161-1178.
[https://doi.org/10.1037/h0077714]
-
Schlosser, R., & Sigafoos, J. (2002). Selecting graphic symbols for an initial request lexicon: Integrative review. Augmentative and Alternative Communication, 18(2), 102-123.
[https://doi.org/10.1080/07434610212331281201]
-
Snoek, L., Jack, R. E., Schyns, P. G., Garrod, O. G. B., Mittenbühler, M., Chen, C., . . . Scholte, H. S. (2023). Testing, explaining, and exploring models of facial expressions of emotions. Science Advances, 9(6), eabq8421.
[https://doi.org/10.1126/sciadv.abq8421]
-
Swinkels, A., & Giuliano, T. A. (1995). The measurement and conceptualization of mood awareness: Monitoring and labeling one’s mood states. Personality and Social Psychology Bulletin, 21(9), 934-949.
[https://doi.org/10.1177/0146167295219008]
-
Tsai, M.-J., Chen, P.-C., Wang, S.-J., & Li, R.-H. (2025). Picture communication symbols and voice symbols: Iconicity and preference among healthy older adults in Taiwan. Disability and Rehabilitation: Assistive Technology, 20(4), 948-956.
[https://doi.org/10.1080/17483107.2024.2420188]
-
Vicari, S., Reilly, J. S., Pasqualetti, P., Vizzotto, A., & Caltagirone, C. (2000). Recognition of facial expressions of emotions in school-age children: The intersection of perceptual and semantic categories. Acta Paediatrica, 89(7), 836-845.
[https://doi.org/10.1111/j.1651-2227.2000.tb00392.x]
-
Watson, D., & Tellegen, A. (1985). Toward a consensual structure of mood. Psychological Bulletin, 98(2), 219-235.
[https://doi.org/10.1037/0033-2909.98.2.219]
-
Wilkinson, K. M., & Jagaroo, V. (2004). Contributions of principles of visual cognitive science to AAC system display design. Augmentative and Alternative Communication, 20(3), 123-136.
[https://doi.org/10.1080/07434610410001699717]
-
Wilkinson, K. M., & Madel, M. (2019). Eye tracking measures reveal how changes in the design of displays for augmentative and alternative communication influence visual search in individuals with Down syndrome or autism spectrum disorder. American Journal of Speech-Language Pathology, 28(4), 1649-1658.
[https://doi.org/10.1044/2019_AJSLP-19-0006]
-
Wilkinson, K. M., & McIlvane, W. J. (2013). Perceptual factors influence visual search for meaningful symbols in individuals with intellectual disabilities and Down syndrome or autism spectrum disorders. American Journal on Intellectual and Developmental Disabilities, 118(5), 353-364.
[https://doi.org/10.1352/1944-7558-118.5.353]
-
Wilkinson, K. M., & Snell, J. (2011). Facilitating children’s ability to distinguish symbols for emotions: The effects of background color cues and spatial arrangement of symbols on accuracy and speed of search. American Journal of Speech-Language Pathology, 20(4), 288-301.
[https://doi.org/10.1044/1058-0360(2011/10-0065)]
-
Wishart, J. G., Cebula, K. R., Willis, D. S., & Pitcairn, T. K. (2007). Understanding of facial expressions of emotion by children with intellectual disabilities of differing aetiology. Journal of Intellectual Disability Research, 51(7), 551-563.
[https://doi.org/10.1111/j.1365-2788.2006.00947.x]
-
Yeon, S., Kim, Y., & Park, E. H. (2016). Transparency and name agreement of Korean Ewha-AAC symbols. AAC Research & Practice, 4(1), 45-63.
[https://doi.org/10.14818/aac.2016.6.4.1.45]
참 고 문 헌
- 김규리, 연석정 (2022). 관점 유형에 따른 일반 아동의 그래픽 상징 인식 및 선호도. 보완대체의사소통연구, 10(2), 91-115.
- 김영태, 홍경훈, 김경희, 장혜성, 이주연 (2009). 수용ㆍ표현 어휘력 검사. 서울: 서울장애인종합복지관.
- 나지영, 이수향, 오경아, 박형용 (2019). 아이트래킹 분석을 통한 마이토키와 PCS 감정 상징 인식 연구. 보완대체의사소통연구, 7(1), 131-152.
- 나지영, 이수향, 오경아, 이진희 (2019). 아이트래킹을 통한 PCS 감정 상징의 한미 대학생 시각 집중 패턴 비교. 보완대체의사소통연구, 7(2), 75-93.
- 박은혜, 김영태, 홍기형, 연석정, 김경양, 임장현 (2016). 이화-AAC 상징체계 개발 연구. 보완대체의사소통연구, 4(2), 19-40.
- 박형용, 나지영, 이수향 (2024). 시선추적기술을 이용한 학령기 아동의 AAC 감정 상징 인식 연구. 보완대체의사소통연구, 12(2), 97-121.
- 안소현, 이수향, 나지영 (2022). 발달장애 초등학생의 AAC 상징 이해 정확도 및 선호도. 보완대체의사소통연구, 10(2), 1-23.
- 연석정, 김영태, 박은혜 (2016). 이화-AAC 상징체계의 상징투명도와 명명일치도 특성 비교연구. 보완대체의사소통연구, 4(1), 45-63.
- 이다은, 신상은 (2020). 정상 성인의 정서어휘에 대한 AAC 그림상징과 SNS 이모티콘의 인식 연구. Communication Sciences & Disorders, 25(2), 334-342.
- 채수정 (2014). 지적장애 아동과 특수교사의 AAC 상징인식 비교연구: 감정을 나타내는 상징을 중심으로. 특수교육, 13(2), 215-237.



