- 연구성과물검색
- 유형별/분류별 연구성과물 검색
HOME > 연구과제 검색 > 연구과제 상세정보
연구과제 상세정보
음성인식 피드백을 활용한 적응형 영어 학습 시스템 개발
Developing Computer-Adaptive English Learning System Using Speech Recognition-based Feedback
Developing Computer-Adaptive English Learning System Using Speech Recognition-based Feedback
-
연구자가 한국연구재단 연구지원시스템에 직접 입력한 정보입니다.
| 사업명 |
중견연구자지원사업
[지원년도 신청 요강 보기
]
|
||
| 연구과제번호 | 2017S1A5A2A01027326 | ||
| 선정년도 | 2017 년 | ||
| 연구기간 | 1 년 (2017년 07월 01일 ~ 2018년 06월 30일) | ||
| 연구책임자 |
이경랑
|
||
| 연구수행기관 | 세종대학교 | ||
| 과제진행현황 | 종료 | ||
과제신청시 연구개요-
연구목표
-
가. 본 연구는 영어교육에 IT기술을 활용하여 영어 학습자에게 단계별로 개별화된 피드백을 즉각 제공함으로써 영어 능력 향상을 도모할 수 있는 영어 학습 시스템을 개발하기 위해 계획되었음.
o 연구 개요 및 목적
- 영어 문법 지식을 구조화(knowledge structure)하여 각 과정에 적절한 피드백을 제공할 수 있는 적응형(computer adaptive) 영어 학습 시스템을 개발하여 학습자마다 다양한 학습 과정에 대한 정확한 진단 및 분석을 도모함
- 1차 타이핑 상호작용 테스트 후 음성 인식 기술을 도입하여 인공지능 비서와 같이 자연스러운 상호작용이 가능한 영어 튜터링 시스템 개발을 목적으로 함
- 본 연구 결과에 기반하여 궁극적으로는 영어 문법 외에도 말하기, 듣기, 쓰기, 읽기, 어휘 등에도 활용 가능한 난이도에 따른 피드백을 제공하는 적응형 영어 학습 시스템을 개발하여 영어 학습 효과의 극대화를 기대함
나. 본 연구의 목적을 달성하기 위해 다음과 같은 다섯 가지 연구 목표를 설정하였음
o 목표 1: 영어 문법 지식을 구조화하여 상하위 체제를 정리함
o 목표 2: 구조화된 영어 가정법 관련 지식에 맞는 피드백을 설정함
o 목표 3: 컴퓨터 프로그램 전문가와 협업하여 1차 시스템 개발함
o 목표 4: 1차 결과에 따라 음성인식이 가능한 영어 학습 시스템을 개발함
o 목표 5: 참여 학생들의 학습 과정을 데이터베이스화하여 분석함
-
기대효과
-
가. 본 연구를 통해 실시간 음성처리를 기반으로 학습자의 영어 문법 지식을 고려한 단계별 피드백을 제공할 수 있는 적응형 학습 시스템을 개발 예정임
- 구조화한 영어 문법 지식의 체계도, 타이핑 기반 1차 시스템, 1차 시스템 사용시 문제점이나 난이도 등 인터뷰 자료, 타이핑 및 최종 음성인식 기반 시스템의 학습과정 분석 데이터 코퍼스 등의 중간결과물을 산출 가능함
나. 본 연구와 같이 IT기술을 접목한 교육산업은 로봇산업, 게임산업보다 우선 순위를 두어야 하는 분야이며, 음성인식 기술 등을 활용하여 사용자 편의성을 높인 적응형 영어 학습 시스템 개발이 적절하다고 사료됨. 본 연구를 통해 얻을 수 있는 학문적, 사회적, 경제적, 문화적 기대성과는 다음과 같음
o 학문적 기여도
- 영어교육과 IT의 학제 간 융합모델을 제시하고 인문사회학 기반의 공학적 연구를 통해 탈경계 융복합 연구의 학문적 우월성을 제고함
- 영어 학습과 관련한 새로운 방법을 모색하여 그 효과를 논문 및 특허 등으로 소개할 수 있음
o 사회․경제적 기여도
- 연구 결과물을 산업화할 경우 기능성 컨텐츠의 관련 분야인 인터페이스 연구와 컨텐츠 개발 분야에서 우리나라 기업의 경쟁력을 강화할 수 있음
- 튜터봇 등을 개발하여 영어 학습 효율성을 극대화할 경우 영어 사교육 시장의 축소를 도모할 수 있음
- 교육적 목적의 융합형 콘텐츠와 같이 다양한 기능과 효과를 추구하는 미디어의 이용으로 기술 발전에 따른 생활 및 여가의 만족감을 증대 가능함
다. 본 연구를 통한 인력 양성 방안과 교육 및 후속연구와의 연계 방안은 다음과 같음
o 인력 양성 방안
- 영어 문법 지식 외 다른 분야 지식도 구조화하고 시스템도 유지, 보수 가능한 융복합 인력을 양성하여 인문사회와 공학의 가교 역할을 하도록 함
- 영문/영어교육과 학생들도 IT 회사 및 기능성 컨텐츠 회사로 진출 가능함
o 교육·후속연구와의 연계 활용 방안
- 단계별 난이도에 따른 피드백과 피드백의 효과 등 학습과정 데이터를 분석하여 영어교재와 비교하는 연구 및 교재 개발이 가능함
- 일대 일 피드백을 제공하는 학습 시스템을 교실 상황에서 활용 가능한 방법을 모색하는 연구 및 효과 확인이 가능함
- 음성인식을 활용한 튜터봇 등의 장치와 인간 튜터/교사와의 비교 연구가 가능하여 인간 튜터/교사의 특장점을 찾아내어 교사들에게 교육 가능함
-
연구요약
-
가. 급격히 발달한 IT기술과 영어교육의 융합을 위한 적절한 협업을 통해, 학습자마다 다른 학습 과정에 대한 정확한 이해와 진단을 기반으로, 학습에 도움이 되는 피드백을 단계별로 난이도에 따라 제공할 수 있는 영어 학습 시스템을 개발하기 위해 본 연구를 계획하게 되었음.
나. 이에 다음과 같이 다섯 가지 세부 목표를 정하고 목표를 이루기 위한 연구 내용을 아래와 같이 정리함
o 영어 문법 지식을 구조화하여 상하위 체제를 정리하기 위해 다음과 같은 절차를 따름
- 수학 지식처럼 구조화하기 상대적으로 수월한 영어 문법 분야로 특정함
- 영어 문법 중 각종 시험에서의 비중이 가장 낮고 어려워 학습자들의 활용 지식이 거의 없는 가정법을 선정함
- 눈동자 움직임 추적 기술을 활용하여 학습자들의 처리 속도를 비교한 결과 가정법 중에서도 과거 조동사(would, could, might 등) 삽입을 학습자들이 가장 어려워하므로(Ferguson & Stanford, 2008), 이를 상위 지식으로 설정함
o 구조화된 영어 가정법 관련 지식에 맞는 피드백을 설정하기 위해 다음과 같은 절차를 따름
- 피드백의 종류는 상기한 대로 교정적 피드백과 형성적 피드백이 있으므로 각 단계마다 두 가지 방식의 피드백을 제공하여 어떤 피드백이 더 효과적인지 비교함
- 교정적 피드백으로는 수정된 부분을 표시하여 옳은 문장을 다시 알려주는 방식(Recast)을, 형성적 피드백으로는 틀린 부분에 대해 다시 생각해서 직접 수정할 수 있는 힌트를 주는 방식으로 제시함
- 최종 산출물이 맞았는지 여부를 확인해주는 기존의 방식(예: 틀렸을 때 X, 맞았을 때 O표시)을 함께 활용하여 통제군으로 비교함
o 컴퓨터 프로그램 전문가와 협업하여 1차 시스템 개발하기 위해 다음과 같은 절차를 따름
- 가정법 전환을 난이도에 따라 설정하고 문제 풀을 제작함
- 컴퓨터 적응형 시험 방식을 적용하여 중간 단계 난이도부터 제시 후 결과에 따라 난이도 조정하여 문장 제시하는 시스템을 개발함
- 주어진 문장을 가정법으로 전환시 한 가지 이상의 지식단계에 오류를 보일 때, 설정된 난이도 순서에 따라 쉬운 난이도에 대한 피드백을 우선 제공함
- 학생들을 모집하여 두 개의 과정 피드백 집단과 한 개의 최종 피드백 집단으로 나눈 후 타이핑으로 상호작용하는 1차 시스템을 테스트함
o 1차 결과에 따라 음성인식이 가능한 영어 학습 시스템을 개발하기 위해 다음과 같은 절차를 따름
- 구글이 무료로 공개한 음성 인식 기술을 활용하여 1차 타이핑으로 했던 상호작용을 음성으로 하는 튜터링 시스템을 개발함
- 1차와 마찬가지로 세 가지 피드백에 대해 학습 효과를 테스트함
o 참여 학생들의 학습 과정을 데이터베이스화하여 분석하기 위해 다음과 같은 절차를 따름
- 학생들이 어떤 단계의 지식에 가장 어려움을 느꼈는지, 어떤 피드백에 어떤 단계가 가장 효과적으로 매칭되었는지 등에 대해 빅데이터 분석 가능함
- 분석 데이터를 기반으로 영어 교재와 비교 분석 가능함
- 필요시 새로운 영어 교재를 제안함
다. 상기한 연구 내용을 추진하기 위해 다음과 같은 전략을 수립함
o 본 연구가 효과적이고 성공적으로 이루어지기 위해서는 의사소통을 빠르고 쉽게 하기 위해 한 대학 내 영어교육과 소프트웨어 전문가가 긴밀한 협업을 함
o 데이터 확보와 기술 개발 및 검증/최적화를 단계별로 진행함
o 영어교육적인 내용과 소프트웨어적인 구현 가능 여부 등을 효율적으로 확인하며 연구를 수행하기 위해 월 1회 이상의 주기적 회의를 진행하여 유기적 연결 체제 수립
결과보고시 연구요약문-
국문
-
본 연구는 최근 휴대폰 등에서 쉽게 접할 수 있는 음성 인식 기술을 영어 교육 분야에서도 활용하기 위하여 계획되었다. 영어 원어민과 직접 만나지 않더라도 본인이 가진 휴대폰이나 컴퓨터를 활용하여 영어 말하기를 연습할 수 있는, 해당 기기가 즉각적인 피드백을 제공함으로써 튜터와 일대 일로 대화하는 듯한 환경을 제공할 수 있는 프로그램을 개발하여 그 효과를 알아보고자 하였다. 음성 인식 프로그램 개발 전 텍스트 버전 프로그램을 먼저 개발하여 영어 학습자들이 학습에 대한 흥미가 높아지는지 실제 연습 효과가 있는지를 알아보았다. 이 프로그램의 장단점을 반영하여 휴대폰에서 더 쉽게 활용할 수 있는 음성 인식 프로그램을 개발하였다. 학습자들은 주어진 단어와 문장들을 소리내어 읽으면 음성 인식 프로그램이 즉각적인 피드백을 제공하여 본인의 발음이 정확한지 확인할 수 있었으며 이를 향상시키기 위해 자발적으로 노력하는 모습을 볼 수 있었다. 본 연구에 참여한 중학교 영어 학습자들의 프로그램 이용 자료를 분석한 결과, 본 연구에서 개발한 프로그램들은 영어 의문문 대답 및 말하기 연습에 매우 효과적이었다는 것을 알 수 있었다. 교사들도 프로그램을 활용하였을 때, 학생들의 결과를 파악하기 쉬워 진단 및 교수 설계에 큰 도움이 될 것으로 기대된다.
-
영문
-
This study was planned to use voice recognition program, which is nowadays easily accessible to anyone with a cell phone, for learning and teaching English language. Using the developed programs in this study with a computer or a cell phone, in a context where it is not easy to meet an English native speaker in person, English language learners were expected to practice English effectively. In particular, voice recognition-based feedback was to provide immediate feedback to learners, which turned out to help them highly motivated to correct their pronunciation and practice hard by themselves. Based on the results of the both the text-based questioning program and the voice recognition-based feedback program, the programs were effective in tutoring English learners since the Korean middle school English learners in this study were actively engaged in answering the series of questions and practicing their English speaking with them. Also, the programs were expected to help teachers diagnose their students' English proficiency using the immediately transcribed results of the students and adjust their teaching accordingly.
연구결과보고서-
초록
-
본 융합 연구는 음성 인식 피드백을 활용한 영어 학습 시스템을 개발하고 그 효과를 알아보기 위하여 계획되었다. 최근 테크놀로지의 급격한 발달로 음성 인식 툴이 무료로 개방되어 활용할 수 있는 여건이 마련되었고, 영어 학습자들은 휴대폰이나 컴퓨터에 대한 접근성이 높아져 쉽게 학습에 도입할 수 있다고 판단되었다. 또한 영어 교육적 요구 사항을 반영하여 소프트웨어 전문가와의 긴밀한 협업을 통하여 프로그램 개발 및 효과성 확인을 하고자 하였다. 학문적 영어를 집중적으로 접하기 시작하는 중학교 영어 학습자들을 대상으로 개별적인 일대 일 연습이 필요한 분야에 대한 조사 후, 우리나라말과 대답 방식이 반대인 부정의문문을 포함한 의문문에 대한 대답을 선정하여 수준별, 단계별 연습을 할 수 있는 적응형 텍스트 버전 프로그램을 개발하였다. 또한 텍스트 버전 프로그램을 완성 후, 해당 프로그램의 장단점을 반영하여, 중학교 영어 학습자들이 휴대폰을 이용하여 보다 편리하게 말하기 연습을 할 수 있는 음성 인식 피드백 프로그램을 휴대폰 앱으로 개발하였다. 텍스트 버전과 음성 인식 버전 프로그램을 대학생을 대상으로 파일럿 테스트하여 에러 및 버그를 수정한 후, 각각 다른 중학교 영어 학습자들을 대상으로 자료를 수집하였다. 분석 결과, 개별적인 속도로 학습이 가능한 튜터링 시스템을 활용하여 학습자들이 지속적으로 학습을 하려하는 학습 동기가 매우 높아졌으며, 특히 음성 인식을 통한 즉각적인 피드백을 보고 자발적으로 발음을 교정하려고 노력한 결과 등을 보았을 때, 학생들의 학습 도구로 효과적으로 쓰일 것으로 기대된다. 교사의 입장에서도 학생들이 타입한 결과물, 음성 인식을 통해 전사된 결과물을 프로그램에서 쉽게 추출하여 분석이 가능하므로 학생들의 영어 능력 진단과 수업 계획이 수월해질 것으로 기대된다. 본 프로그램들을 활용하여 장기간 다양한 집단의 영어 학습자들의 결과를 데이터베이스화하여 다양한 분석이 가능할 것으로 판단되며, 이를 통해 영어 교재 및 교수 방법에 대한 제안이 가능할 것으로 사료된다. 또한 영어 교육과 소프트웨어 분야의 융합 연구를 효과적으로 수행할 수 있었으므로 향후 수행할 융합 연구에도 긍정적인 기여를 할 것으로 기대된다.
-
연구결과 및 활용방안
-
1) 텍스트 버전 의문문 연습 튜터링 프로그램의 활용계획 및 기대효과
o 다양한 영어 의문문에 대한 대답을 하면서 ET-Bot과 대화하는 듯한 환경을 조성함
--우리나라는 상대적으로 영어 원어민과 문답을 하는 대화 상황에 접하기 어려운 상황이므로 의문문 과제를 통해 대화하는 듯한 환경을 제공하여 학생들이 흥미롭게 영어를 학습할 수 있을 것으로 기대됨
--특히 저소득 학생일수록 영어 원어민과 의사소통을 할 기회가 많지 않으므로, 쉽게 구동되는 텍스트 버전 프로그램으로 튜터링 받는 느낌을 줄 수 있어 영어 능력 향상에 도움이 될 것으로 기대됨
o 우리나라 영어 학습자들에게 익숙하지 않은 부정의문문에 대한 대답 방식도 연습 가능함
--익숙한 조동사로 의문문을 만드는 구문부터 시작해서 부정의문문(실제 부정문으로 물어보는 의문문과 mind라는 동사를 이용하여 긍정의문문으로 보이지만 부정의문문인 의문문)까지 연습을 할 수 있어 지루하지 않게 여러 가지 의문문을 습득 가능할 것으로 기대됨
o 영어의 디테일한 부분까지 연습할 수 있는 기회를 제공함
--영어 교사들의 평가에 의하면, 학생들은 대소문자 구분, 의문부호나 구두점 등에 대한 사용을 제대로 하지 않는 경향이 있으므로, 텍스트 버전에서는 특히 대소문자 구분, 의문부호 등 매우 디테일한 대답을 해야 정답 피드백을 받을 수 있으므로, 학생들의 영어 능력 정교화에 기여할 것으로 기대됨
2) 음성 인식 피드백 말하기 연습 프로그램의 활용계획 및 기대효과
o 영어 학습자에게는 본인의 발음을 즉각 확인할 수 있지만 지적에 의한 자신감 저하 등은 유발하지 않고 발음 교정 동기를 유발함
--영어 학습자들은 특히 영어로 말할 때 정서적 요인에 의한 영향을 크게 받는데, 발음 등에 대한 지적을 받을 때 가장 민감하게 반응하며 긴장하게 되고 따라서 말하기에 소극적인 경향이 있음
--그런데 음성 버전의 ET-Bot은 본인이 단어나 문장을 소리내어 읽었을 때 바로 음성 인식되어 제공되는 피드백을 보고 제대로 발음을 했는지, 틀리게 발음했는지 확인할 수 있어 교정하기 위해 많은 연습을 한다거나 기분 좋게 다음 표현으로 넘어가는 것을 볼 수 있었음
--따라서 기본적인 단어나 문장들에 대한 발음을 연습하고 교정하기에 매우 적합한 프로그램으로 학생들의 기본적인 말하기 연습에 도움이 될 것으로 기대됨
o 영어 교사 및 연구자에게는 전사 과정이 생략되어 즉각적인 음성 인식 피드백이 제시되므로, 학생들의 말하기 능력에 대한 즉각적인 진단이 가능함
--영어 말하기를 가르치거나 연구할 때 가장 큰 부담은 학생들이 말한 내용을 전사하는 과정이라 영어 쓰기를 더 많이 다루는 경향이 있음
--본 연구의 음성 인식 프로그램을 활용하여 인식된 발음과 해당 발음이 발성된 시간을 동시에 분석할 수 있어서 효과적으로 학생의 말하기 능력을 진단할 수 있었음
--즉각적인 진단을 통하여 학생 개개인에게 적합한 수업을 설계할 수 있어 교사의 교수 과정에 효율성을 제고할 수 있을 것으로 기대됨
o 주어진 표현을 소리내어 읽는 연습이외에도 자유 발화 과제 수행도 가능함
--그림을 제시하고 자유 발화할 수 있도록 한 과제에서 학생들의 영어 능력에 대해 진단할 수 있는 가능성을 볼 수 있었음
--동일한 과제에 대해 학생들이 다양한 표현의 영어를 구사하는 것을 보고 학생의 영어 능력 진단 및 사고 방식에 대한 이해도 제고하여, 새로운 방식의 음성 인식 방식을 활용하여 학생들의 말하기 능력을 향상시킬 수 있을 것으로 기대됨
3) 본 연구에서 개발한 프로그램으로 수집한 자료 데이터베이스의 활용계획 및 기대효과
o 컴퓨터 프로그램과 휴대폰 앱으로 개발된 프로그램이므로 영어 학습자들의 결과가 누적된 데이터베이스화가 가능함
--본 프로그램을 활용한 학생들의 결과가 일회성이 아니라 장기간 비슷한 수준의 영어 학습자들의 결과가 데이터베이스에 누적되어 빅데이터 분석을 할 수 있을 것으로 기대됨
--학습자들의 해당 영어 능력에 대해 공시적 및 통시적 분석도 가능하여 유용한 결과를 제공할 것으로 기대됨
- 색인어
- 영어 학습 시스템, 음성인식, 피드백, 영어 말하기, 영어 문법 지식의 구조화, 영어 의문문
-
연구성과물 목록
|
|
|
|