연구성과물검색
유형별/분류별 연구성과물 검색
HOME ICON HOME > 연구과제 검색 > 연구과제 상세정보

연구과제 상세정보

  • 트위터
  • 페이스북
우리 뇌는 어떻게 말할 계획을 세울까: 브레인-컴퓨터의 인터페이스에서의 증거
How our brain plans speech: Evidence from brain-computer interface
  • 연구자가 한국연구재단 연구지원시스템에 직접 입력한 정보입니다.
사업명 학제간융합연구사업 [지원년도 신청 요강 보기 지원년도 신청요강 한글파일 지원년도 신청요강 PDF파일 ]
연구과제번호 2015S1A5B6037017
선정년도 2015 년
연구기간 1 년 (2015년 09월 01일 ~ 2016년 08월 31일)
연구책임자 신정아
연구수행기관 동국대학교
과제진행현황 종료
공동연구원 현황 박철수(광운대학교)
이기훈(광운대학교)
정원일(동국대학교)
이동훈(부산대학교)
윤영도(동국대학교)
과제신청시 연구개요
  • 연구목표
  • 본 연구 목표는 인간 언어의 중요한 의미 전달 수단인 단어 발화 계획, 문장 발화 계획단계의 뇌파의 패턴을 분류하는 것을 목표로 한다. 언어와 관련한 뇌파 연구에서는 모두 사건관련전위(Event-related potentials, ERP)만을 기반으로 하고 있으며, 분석 또한 단일 분석에 한정되어 결과 해석과 응용에 있어 한계가 있으므로 본 연구는 ERP 실험에서 검출된 P300, N400, P600 분석과 병행하여 EEG (Electroencephalography)의 파형을 여러 가지 방법으로 분석하고 다양한 뇌파 발생 패턴을 구분할 수 있는 기계학습 알고리즘을 시도하는 뇌과학과 컴퓨터공학의 융합 연구이다. 즉, 인간이 말하고자 할 때, 특히 모국어인 한국어와 외국어인 영어를 말하고자 할 때 발생하는 뇌파를 연구하여 뇌 기반의 언어인식 시스템을 개발하기 위한 기초 단계 연구를 수행하고자한다.
  • 기대효과
  • 본 연구의 결과로 언어를 발화하려고 할 때의 뇌파를 분석하여, BCI 구현에 일조할 것이라 기대한다. 발성에 장애가 있는 사람들을 위한 의료용 재활기구로도 사용할 수 있고, 모국어로 생각하고 외국어로 나타내주는 기술로도 활용이 가능하다.
    기존의 연구에서 언어와 관련한 뇌파 측정을 위해 언어학과 심리학이 융합하여 연구를 많이 하였으나, BCI분야와 언어학과 융합하여 연구한 경우는 많지 않았다. 또한 신경언어학 측면에서는 사건관련전위(ERP) 연구를 중심으로 이루어졌는데, BCI에서 사용하는 EEG 분석, 컴퓨터 공학의 기계학습의 알고리즘을 사용한 뇌파 분석 부분과의 융합된 연구는 거의 없기 때문에 앞으로 인문학과 사회학, 그리고 뇌과학, 컴퓨터 공학이 융합할 수 있는 유망 분야로 설정 가능할 것으로 예측된다.
    근육을 움직여서 발화를 시작하는 경우는 노이즈를 많이 발생시키므로, 근육을 움직이기 전, 즉 발화를 계획하는 단계의 뇌파 측정과 분석은 연구가 가능한 부분임을 착안하여, 그리고 심리언어학분야에서 사용되는 점화(priming) 효과, 즉 관련있는 이전 자극에 의해서 도움을 받아 반응의 정확도가 높아지고, 반응 시간이 빠르게 되는 행동반응 효과가 뇌파 진폭에서도 영향을 받는 연구 등을 이용하여 BCI에 활용될 수 있을 것이다. 또한, 두 개의 언어를 사용하는 뇌에서 발화 계획을 어떤 언어로 했는지에 따라 뇌파를 분류하고 분석할 수 있게 되어 외국어를 학습하는 뇌에 번역 과정 및 학습과정에 대한 함의를 찾을 수 있게 될 것이다.
  • 연구요약
  • 본 연구는 한국어, 영어의 단어 및 문장 발화 계획 단계의 뇌파를 측정하는 4개의 사건관련전위(ERP) 실험을 통하여 ERP 성분을 분석하고, 실험 과정에서 수집된 다양한 EEG 파형을 분석하여 알고리즘을 개발하려고 한다.

    첫 번째 ERP 실험은 점화효과와 지연된 그림-명명 과제를 이용하여 단어를 발화하는데 발생하는 뇌파를 분석할 것이다. 피험자들은 그림을 보고 그림에 나타난 물건의 이름을 말하는 과제를 수행하는데, 발화 큐를 제시받기 전에 그 그림과 의미적으로나 음성적으로 관련된 단어를 듣고 그림에 나타난 물건의 이름을 말할 시간을 늦추고서, 그 지연된(delayed) 시간 동안의 ERP를 측정한다. 두 번째 ERP 실험에서는 발화에서 통사적 계획을 연구하기 위해 그림묘사하기를 이용한 통사적 점화 실험을 수행한다. 첫 번째 실험과 마찬가지로 피험자들은 그림을 보고 상황을 한 문장으로 묘사하는데, 그 문장을 발화하도록 큐를 제시받기 전에 그 그림과 통사적으로 비슷한 구문을 사용하는 문장을 듣고, 발화할 시간을 늦추고서, 그 지연된 시간 동안의 ERP를 측정한다. 세 번째와 네 번째 ERP 실험은 첫 번째, 두 번째 실험의 자극을 영어로 제시하고, 영어와 한국어 두 언어를 모두 능숙하게 사용하는 집단과, 영어의 능숙도가 낮은 집단을 비교할 것이다. 이렇게 네 가지 실험으로 측정된 뇌파는 기존의 분석방법인 N400, P600 등의 ERP 성분을 분석할 것이다. 점화 효과에 의한 발화 계획에서는 진폭이 낮은 N400 과 P600 (reduced N400, reduced P600)이 검출될 것으로 예상하고 있다.

    ERP 성분을 분석함과 동시에 EEG 파형 또한 분석할 예정이다. 기존의 주파수 분석 방법으로 많이 쓰이고 있는 푸리에 분석 방법은 신호를 여러 개의 정현파로 모델링하는 방법인데 기본적인 가정은 신호의 주파수 성분이 시간이 지남에 따라 정상성을 띠고 있다는 것이고, 정현파들의 선형적인 합으로 신호를 표현할 수 있다는 선형성이기 때문에 비정상성 및 비선형성을 갖는 뇌파 분석으로는 적합하지 않다. 그래서 푸리에 분석의 단점을 보완하기 위하여 웨이블렛 분석 방법이 개발되어 비정상성을 갖는 신호의 분석에 도움을 주었다. 하지만 여전히 웨이블렛 분석 또한 웨이블렛 함수라는 기저함수를 바탕으로 신호의 선형성을 가정한 분석 방법이기 때문에 비선형성을 갖는 뇌파의 분석에 적합하지 않다. 그래서 이러한 뇌파의 비정상성 및 비선형성의 성질을 고려한 주파수 분석을 위하여 본 과제에서는 최근 개발되어 많은 생체신호 분석에 적용되고 있는 empirical mode decomposition (EMD) 알고리즘을 이용하고자 한다.

    EMD 알고리즘은 푸리에 분석이나 웨이블렛 분석과 같이 특정 기저함수가 없이 입력 신호 자체에서 주파수 성분을 추출하기 때문에 뇌파의 비선형적인 문제를 극복할 수 있고, 뇌파의 순간적인 주파수 성분 분석이 가능하기 때문에 비정상성의 문제를 또한 극복할 수 있다. 아래 그림은 정현파로 이루어진 입력 신호를 웨이블렛과 EMD를 이용하여 분석한 결과이며 EMD 알고리즘이 시간에 따라 변하는 정현파의 주파수 성분을 정확하게 분석하는 것을 확인할 수 있다.

    그래서 본 과제에서는 뇌파 신호의 정확한 분석을 위하여 다채널 데이터를 적절히/정확히 분석할 수 있는 알고리즘을 개발할 것이다. 뇌파는 뇌의 각 영역에서 나오는 다양한 신호들로 이루어져 있어, 정확한 측정을 위해서는 여러 개의 뇌파 센서를 이용한 다채널 뇌파 측정이 필요하다. 현재 국제적으로 공인된 MCN(Modified Combinatorial Nomenclature) 시스템에서는 뇌파 측정을 위한 60개 이상의 채널이 정의되어 있는데, 이러한 다채널로 저장되는 뇌파로부터 특정 소스를 추출하는 방법을 연구할 것임. 특히 source separation 알고리즘을 적용할 예정이며, independent component analysis (ICA) 나 principal component analysis (PCA), common spatial patterns (CSP) 알고리즘과 같은 blind source separation 알고리즘의 연구를 할 예정이다.

    이렇게 다채널 뇌파 분석에 있어서 브레인 네트웍 정보가 최근 대두되고 있고, 본 과제에서 뇌파의 중요 특징점 중 하나를 이러한 네트웍 정보로부터 얻으려고 하고 있다. 다채널 뇌파 신호를 효율적으로 분석하는 다차원 알고리즘 개발을 통해, 다차원 데이터들의 중요 성분들 간의 상관관계 또는 인과 관계를 분석하여 특정 뇌파의 변화에 대한 객관적인 지표를 제시할 수 있게 될 것이다. 뿐만 아니라, 이러한 생체 신호 데이터를 서로의 상관관계(ex-causality)를 고려하여 뇌파 변화와 연관이 있는 중요한 성분을 추출해낼 수 있다는 점에서 중요할 것이다.
결과보고시 연구요약문
  • 국문
  • 본 연구 목표는 인간 언어의 중요한 의미 전달 수단인 단어 발화 계획, 문장 발화 계획 단계의 뇌파의 패턴을 분석하는 것을 목표로 한다. 언어와 관련한 뇌파 연구에서는 모두 사건관련전위(Event-related potentials, ERP)만을 기반으로 하고 있으며, 분석 또한 단일 분석에 한정되어 결과 해석과 응용에 있어 한계가 있으므로 본 연구는 EEG (Electroencephalography)의 파형을 다양한 뇌파 발생 패턴을 구분할 수 있는 기계학습 알고리즘을 활용하여 분석하는 것을 목표로 하였다. 인간이 언어를 이해하고 발화할 때 발생하는 뇌파를 연구하여 BCI 언어 인식 시스템을 개발하기 위한 기초 단계 연구를 수행하였다.
    본 연구는 화자가 특정 표현을 발화하기 전 발화할 표현에 대해 미리 생각(planning)한 후에 발화한다는 전제 하에, 특히 제 2외국어로 영어로 사용하는 피험자를 대상으로 영어 단어와 문장의 발화 계획 단계에서 뇌파의 변화를 조사하였다. 뇌파 변화를 조사하기 위해 본 연구팀은 두 번의 발화(production)관련 EEG 실험을 실시하였다.
    첫 번째 실험에서는 위 아래로 위치된 그림 중에서 위에 위치한 첫 번째 그림에 의미적으로 비슷한 단어들을 배치하여 의미적 방해 효과(semantic blocking effects)를 계획 단계에서도 기대하였고, 두 번째 실험에서는 아래에 위치는 두 번째 그림에 의미적으로 비슷한 단어를 배치하여 계획 단계에서도 의미적 방해 효과를 알아보고자 하였다. 두 개의 단어를 표현하는 방법으로는 and 접속사를 이용한 병렬구조인 (Combined noun phrase, CNP)와 명사구와 전치사구를 연결한 구조(Prepositional Phrase, PP)를 이용하였다. 그리고 의미적 방해 효과를 알아내는 방법으로는 행동 반응 분석으로 발화 계획 시간의 증가(latency)와 EEG 주파수(푸리에 분석 Fourier analysis), 소스(common spatial patterns algorithm), 분류(support vector machine) 분석을 사용하였다.
    발화 계획 과정에서 EEG 주파수 대역 별로 분석해본 결과, Beta 대역에서 실험 1의 CNP조건에서 의미적 동질 조건과 이질 조건 사이의 유의미적 차이를 발견할 수 있었다. 하지만, 다른 주파수 대역에서는 두 조건 간에 차이가 없다는 것을 알 수 있었다. 이러한 EEG의 Beta 대역의 유의미한 결과는 발화 계획 과정의 의미적 방해 효과(semantic blocking effects)로 해석 할 수 있을 것이다. 기존의 ERP 연구의 결과인 N400 성분과 함께, Beta 대역에서 언어 계획의 의미적 방해 효과를 알 수 있게 됨으로써, 본 연구는 EEG 뇌파 분석의 정확도를 높인 연구라 할 수 있다.
  • 영문
  • This research examined people's lexical planning before producing an utterance by analyzing various frequency bands of the electroencephalograms (EEGs). In particular, this research focused on how second language learners' lexical planning differs from native speakers' lexical planning by using a combination of Fourier analysis, common spatial patterns algorithm, and support vector machine.
    In the experiments, two types of sentences were used: conjoined noun phrase (CNP) and noun plus prepositional phrases (PP). The examples of CNP and PP sentences were "the dog and the flower are both red" and "the dog above the flower is red," respectively. In the semantically homogeneous condition, all the items in one block (at the top position in Experiment 1 and at the bottom position in Experiment 2, respectively) were chosen from one category, which was based upon the semantic context effects (i.e., so-called the semantic blocking effect; in the homogeneous condition, participants took longer in naming objects). On the other hand, in the heterogeneous condition, all the items in one block were chosen from different categories.
    The results of latencies were not statistically significant, but the significant EEG results were obtained. In the CNP condition in the beta band, the significant difference was found between two different conditions (i.e., homogeneous and heterogeneous conditions), leading to qualitative differences of the semantic blocking effects in EEG activities during lexical planning. The results will increase our understanding of lexical planning in L2 production and analyses of EEGs, contributing to brain and language sciences and language teaching methodologies.
연구결과보고서
  • 초록
  • 본 연구 목표는 인간 언어의 중요한 의미 전달 수단인 단어 발화 계획, 문장 발화 계획 단계의 뇌파의 패턴을 분석하는 것을 목표로 한다. 언어와 관련한 뇌파 연구에서는 모두 사건관련전위(Event-related potentials, ERP)만을 기반으로 하고 있으며, 분석 또한 단일 분석에 한정되어 결과 해석과 응용에 있어 한계가 있으므로 본 연구는 EEG (Electroencephalography)의 파형을 다양한 뇌파 발생 패턴을 구분할 수 있는 기계학습 알고리즘을 활용하여 분석하는 것을 목표로 하였다. 인간이 언어를 이해하고 발화할 때 발생하는 뇌파를 연구하여 BCI 언어 인식 시스템을 개발하기 위한 기초 단계 연구를 수행하였다.
    본 연구는 화자가 특정 표현을 발화하기 전 발화할 표현에 대해 미리 생각(planning)한 후에 발화한다는 전제 하에, 특히 제 2외국어로 영어로 사용하는 피험자를 대상으로 영어 단어와 문장의 발화 계획 단계에서 뇌파의 변화를 조사하였다. 뇌파 변화를 조사하기 위해 본 연구팀은 두 번의 발화(production)관련 EEG 실험을 실시하였다.
    첫 번째 실험에서는 위 아래로 위치된 그림 중에서 위에 위치한 첫 번째 그림에 의미적으로 비슷한 단어들을 배치하여 의미적 방해 효과(semantic blocking effects)를 계획 단계에서도 기대하였고, 두 번째 실험에서는 아래에 위치는 두 번째 그림에 의미적으로 비슷한 단어를 배치하여 계획 단계에서도 의미적 방해 효과를 알아보고자 하였다. 두 개의 단어를 표현하는 방법으로는 and 접속사를 이용한 병렬구조인 (Combined noun phrase, CNP)와 명사구와 전치사구를 연결한 구조(Prepositional Phrase, PP)를 이용하였다. 그리고 의미적 방해 효과를 알아내는 방법으로는 행동 반응 분석으로 발화 계획 시간의 증가(latency)와 EEG 주파수(푸리에 분석 Fourier analysis), 소스(common spatial patterns algorithm), 분류(support vector machine) 분석을 사용하였다.
    발화 계획 과정에서 EEG 주파수 대역 별로 분석해본 결과, Beta 대역에서 실험 1의 CNP조건에서 의미적 동질 조건과 이질 조건 사이의 유의미적 차이를 발견할 수 있었다. 하지만, 다른 주파수 대역에서는 두 조건 간에 차이가 없다는 것을 알 수 있었다. 이러한 EEG의 Beta 대역의 유의미한 결과는 발화 계획 과정의 의미적 방해 효과(semantic blocking effects)로 해석 할 수 있을 것이다. 기존의 ERP 연구의 결과인 N400 성분과 함께, Beta 대역에서 언어 계획의 의미적 방해 효과를 알 수 있게 됨으로써, 본 연구는 EEG 뇌파 분석의 정확도를 높인 연구라 할 수 있다.
  • 연구결과 및 활용방안
  • 본 연구의 결과는 인간이 발화를 하는데 있어서 어떻게 계획하는지, 그리고 특히 외국어로 제 2언어를 학습한 학습자의 발화 계획 단계에서 어떠한 뇌파의 주파수 영역에서 차이를 보이는지를 파악해서 신경언어학, 의학, 생물학 등, 각 분야의 학제간 연구를 활성화시킬 것으로 기대된다. 또한 이중 언어 화자의 언어 구조와 기억의 상호작용에 대한 전산모형을 구축함으로써 전산분야와 다른 분야와의 학제간 연구도 활성화시킬 뿐만 아니라, 영어교육을 비롯한 외국어학습에 대한 효과적인 교육 방안을 만들고 모델을 제시하는데 일조할 것으로 기대한다.

    1) 학문적 기여

    최근까지 이중 언어 화자의 언어 구조 및 정보처리 양상에 관한 연구가 언어학, 언어심리학, 전산언어학 등 다양한 분야에서 독립적으로 이루어져 왔었으나, 각각의 독립분야에서 제시한 이론들이 이중 언어 화자의 언어 구조 기억의 상호작용이라는 주제에 대한 만족스러운 결과를 제공하지는 못하고 있는 실정이었다. 따라서 본 연구에서는 각각의 연구 분야에서 이루어진 결과를 기초로 이중 언어 화자의 언어 구조와 기억에 대한 각 분야의 연구 성과를 통합함으로써 연구 성과의 학제 간 활용의 상승효과를 가져다 줄 것이다. 또한 다양한 분야에서 진행하는 연구는 각 연구의 결과를 상호 검증함으로써 연구 결과의 타당성을 배가시킬 수 있을 것으로 기대한다. 또한 학제 간 융합을 기반으로 한 연구결과는 동일한 결과에 대한 새로운 해석을 가능하게 하며, 이 해석을 바탕으로 한 새로운 활용법을 가능하게 함으로써, 학제 간 상승효과를 나타내 줄 것으로 기대된다.
    본 과제는 한국인이 습득한 영어 지식의 처리과정의 규명을 통해, 외국어로서 영어가 지닌 중요성이라는 실용적인 측면뿐만 아니라, 우리나라에서 가장 많이 습득되는 언어인 영어 지식에 대한 정보처리 과정을 규명함으로써 영어를 포함한 외국어 습득 및 처리과정에 대한 일반적인 이해를 증진시킬 것이다.

    2) 교육적 기여

    이중언어 화자의 언어 구조와 기억의 상호작용 규명은 직접적으로 학교 교육에 활용이 가능하다. 특히 영어의 여러 세부 분야에 대한 효과적이고 효율적인 교육 방안을 모색하여 무분별하게 지출하고 있는 영어 사교육비의 낭비를 막을 수 있을 것이다. 또한 한국인들의 영어 사용에 대한 연구를 통해 얻어진 이중 언어 화자의 언어 구조와 기억의 상호작용에 대한 연구는 외국인을 대상으로 하는 한국어 교육에도 유용하게 쓰일 수 있을 것이다. 각기 다른 모국어를 기반으로 한 이중 언어 화자의 언어지식 구조의 양상과 기억의 상호작용을 비교함으로써 L1과 L2의 간섭 및 전이를 규명할 수 있고 이를 기반으로 한 효율적인 교육 방법의 개발이 가능할 것으로 기대한다.
    더 나아가 이중언어 화자의 언어 구조와 기억에 대한 연구는 해당 모국어에 따라 어떤 분야의 세부 지식이 어떻게 활용되는지 비교/대조함으로써 제2언어 교육 시, 언어의 여러 세부 분야(음성∙음운, 어휘 형태, 통사, 의미∙화용)별로 어떠한 부분에 중점을 두고 교육하여야 하는지 또한 알 수 있을 것이다.

    3) 사회, 문화적 기여

    모국어와 외국어의 처리과정을 규명함으로써, 한국인의 영어 습득에 활용될 수 있고 한국인의 영어능력 향상에 실질적으로 기여할 수 있다. 영어 습득의 가장 기본이 되는 소리 및 어휘 습득에 대한 처리 양상의 규명은 초기 영어 학습자들의 학습을 용이하게 하여, 영어습득에 대한 저변 확대에 기여하여 궁극적으로 국가 경쟁력 제고에 기여할 것으로 기대한다. 더 나아가 이러한 방법론은 외국인들의 한국어 습득에도 적용되어 향후 한국어 습득자들의 저변을 확대할 수 있을 것으로 기대한다. 한국어와 영어의 의미 및 통사자료에 대한 인지적 과정을 규명함으로써 한국인의 외국어습득에 그 지식을 활용함과 동시에 외국인들의 한국어습득에도 적용하여, 한국어습득자의 범위를 확대하고 외국어로서의 한국어의 입지를 더욱 확충할 수 있을 것이다. 효과적인 영어학습 모델을 제시함으로써 이를 통해 우리나라 사람들의 영어능력을 향상시켜서 전 세계의 다양한 문화를 접하고 우리의 문화를 타문화권에도 확산시킬 수 있도록 일조할 것이다.
    더 나아가 언어 상상 또는 언어적 계획에 따른 뇌 속의 정보처리과정을 규명하면 우리 뇌를 모델로 디자인 되고 있는 뉴럴 네트웍과 같은 기계 학습 알고리즘이나, 뉴로 모픽과 같은 하드웨어 시스템 디자인에 큰 도움을 줄 것이다.
  • 색인어
  • 뇌파, 주파수 대역, 발화, 계획, 알고리즘, 의미적 방해 효과
  • 연구성과물 목록
데이터를 로딩중 입니다.
데이터 이용 만족도
자료이용후 의견
입력