연구성과물검색
유형별/분류별 연구성과물 검색
HOME ICON HOME > 연구과제 검색 > 연구과제 상세정보

연구과제 상세정보

인공지능 음성인식 기술을 적용한 한국어 발음 평가 방안 연구
A Study on Korean Pronunciation Evaluation Method Applying AI Speech Recognition Technology
  • 연구자가 한국연구재단 연구지원시스템에 직접 입력한 정보입니다.
사업명 (B유형) 인문사회학술연구교수
연구과제번호 2021S1A5B5A17048003
선정년도 2021 년
연구기간 1 년 (2021년 09월 01일 ~ 2022년 08월 31일)
연구책임자 김형민
연구수행기관 (사)한국대학교육협의회
과제진행현황 종료
과제신청시 연구개요
  • 연구목표
  • 본 연구의 목적은 한국어 학습자의 발음 평가를 위해 현재 개발되어 있는 한국어 자연어처리 음성인식 기술을 살펴보고 한국어교육에의 적용 가능성을 탐색하는 데에 있다.
    음성인식 기술(Speech Recognition)은 Big Speech Data가 저장된 음성 인식 DB프로그램이 학습자의 발음을 이해하고 알고리즘을 통해 해독한 후 발음의 정확성을 산출하여 학습자에게 전달해 주고, 필요시 교정을 해 주는 기능을 수행한다.(이승환, 2019:48) 음성인식 기술은 우리가 가장 쉽게 접할 수 있는 인공지능 기술 중 하나이다.
    음성인식 기술에 기반한 말하기 학습 서비스 중 가장 쉽게 접근해 볼 수 있는 것 중 하나는 음성인식을 통해 발음을 평가해 주는 서비스이다. 한류의 영향으로 해외 한국어 학습자는 점점 증가하고 있지만 KFL 환경에서는 제한된 한국어교육 인프라로 인해 발음 교육에 어려움이 많다. 뿐만 아니라, 코로나19의 영향으로 한국으로 유학을 올 수 없는 상황이 길어지면서 온라인 학습 콘텐츠에 대한 요구도 높아지고 있다.
    2023년부터는 한국어능력시험(TOPIK)에서 말하기 평가가 도입된다. 현재 말하기 모의 평가가 실행되고 있고, 평가 기준에 대해 논의가 지속되고 있지만 발음은 다른 어떤 영역보다 평가자의 주관에 따라 달라질 수 있는 영역이기 때문에 채점자의 신뢰도를 확보하기 위해서는 일정한 기준과 척도를 가진 컴퓨터 기반의 발음 평가가 요구된다. 다양한 억양과 발음을 가진 전 세계의 학습자의 발음을 채점자가 동일한 기준으로 평가하기란 어렵지만, 인공지능기술을 활용한다면 말하기 시험에서도 정확한 평가가 가능해질 것이기 때문이다.
  • 기대효과
  • 1. 기대 효과

    1) 한국어능력시험(TOPIK) 말하기 평가 채점의 정확성 제고

    발음은 어휘나 문법 영역보다 평가자마다 기준이 주관적일 수 있고 발화 속도, 강세, 억양 등 음성·음향학적 특징이 고려되어야 하기 때문에 정량적인 평가가 어렵다. 또한 말하기 평가자의 신뢰도를 확보하기 위해 매 시험마다 채점자를 교육해야 하고, 말하기 채점에도 시간과 비용이 많이 소모된다. 그러나 인공지능 음성인식 기술을 활용한다면 이러한 평가를 더욱 쉽고 빠르게 할 수 있고, 데이터가 축적될수록 더욱 더 정확한 평가가 가능해질 것이다.

    2) 언어권별, 학습자 수준별 발음 특징 파악 가능

    발음 평가 프로그램의 성능이 뛰어나 실제 프로그램으로 개발된다면 이 프로그램을 통해 학습자의 음성데이터를 수집하여 이를 빅데이터로 활용할 수 있다. 한국어 학습자의 음성데이터뿐만 아니라 2023년부터 시행되는 TOPIK 말하기 평가의 데이터를 수집한다면 언어권별, 학습자 수준별 발음의 특징을 좀 더 정확하게 파악할 수 있고 이를 연구 또는 교육에 활용할 수 있을 것이다.

    3) 자가 발음 학습/교정 가능

    발음 평가 기술의 정확도가 높게 나타난다면, 이 기술을 활용하여 발음 학습 프로그램을 설계하여 좀 더 체계적으로 발음 교수가 가능하고, 이미 화석화된 잘못된 발음도 교정이 가능해져 학습자의 한국어 의사소통 능력을 신장시킬 수 있을 것이다.


    4) 맞춤형 발음 학습 가능

    발음은 개개인마다 차이가 크게 나타나는 영역이기 때문에 다양한 언어권의 학습자가 모여 있는 교실에서 개인별로 피드백을 해 주려면 시간과 노력이 너무 많이 든다. 한국어 발음 평가 프로그램을 개발한다면, 학습자 개개인의 발음 특징에 맞춰 취약 발음을 훈련할 수 있을 것이다.

    2. 후속연구와의 연계 활용 방안

    아직 한국어교육에서는 인공지능 음성인식 기술을 활용한 학습 도구가 개발되지 않았지만 영어교육뿐만 아니라 다양한 학문 분야에서 음성인식(Text to speech: TTS), 음성합성(Speech to text: STT), 대화형 영어 말하기 학습 프로그램, 튜터링(tutoring) 등의 음성인식 기술이 활용되고 있다. 따라서 본 연구를 시작으로 인공지능 음성인식 기술을 적용한 프로그램을 설계하고 개발하여 인공지능을 활용한 한국어 말하기 학습 프로그램을 점점 확장시켜 나갈 수 있을 것이다.
  • 연구요약
  • 1. 연구 목적

    본 연구에서는 ETRI에서 개발한 발음 평가 기술을 실행시켜 이 기술이 어느 정도의 정확성을 갖는지 파악하고, 이를 통해 한국어교육 발음 평가에서 인공지능 음성인식 기술의 적용 가능성을 탐색해 보고자 한다.

    2. 연구 내용

    본 연구에서는 다양한 언어권, 다양한 등급의 한국어 학습자의 음성데이터를 발음 평가 프로그램을 통해 테스트 한 후, 이 결과와 한국어교육 전문가 5인의 평가와 비교하여 해당 기술이 어느 정도의 정확성을 확보하고 있는지를 평가하고자 한다.

    3. 연구 방법

    연구의 주요 작업은 네 단계로 구성된다.

    1) 발음 평가 API를 활용하기 위한 프로그램 구현
    - 전문가의 자문을 받아 파이썬 또는 자바스크립트를 사용하여 발음 평가 프로그램 구현
    - 발음 평가 프로그램을 구동시키기 위한 사이트 개설

    2) 발음 평가 API를 활용하는 프로그램 테스트
    - ‘공공 인공지능 오픈API·DATA 서비스 포털’에서 제공하는 음성데이터 확보
    - 다운로드 받은 음성데이터를 사용하여 발음 평가 프로그램 정상 구동 확인

    3) 한국어 학습자 음성데이터 수집
    - 다양한 언어권, 다양한 등급의 학습자(30명) 섭외
    - 한국어 학습자 음성 데이터 수집

    4) 발음 평가 프로그램의 정확도 및 성능 평가
    - 한국어교육 전문가 5명 섭외 및 발음 평가 교육 및 의뢰
    - 한국어교육 전문가에게 의뢰한 발음 평가 결과 수합
    - 발음 평가 프로그램 결과와 한국어교육 전문가의 평가 결과 비교 후 정확도 및 성능 분석
결과보고시 연구요약문
  • 국문
  • 본 연구의 목적은 한국어 학습자의 발음평가를 위해 현재 개발된 한국어 발음평가 기술을 살펴보고, 이를 한국어 교육에 활용할 수 있는 방안을 모색하는 것이다. 한국어 발음평가 기술이 얼마나 정확한지 알아보기 위해 발음평가 API의 평가 점수와 한국어교육 전문가 10인의 평가 점수를 비교하였다. 연구의 주요 작업은 4단계로 구성되었다. 먼저 한국어 학습자의 음성 데이터를 수집하였는데, 이는 이미 말뭉치로 구축된 OpenAPI의 외국인음성데이터를 사용하였다. 그리고 발음평가 API를 구현하여 테스트하였다. 또한 교육 경력이 10년 이상인 한국어교육 전문가를 섭외하여 발음평가를 의뢰하였고, 최종적으로 결과분석을 통해 발음평가 API의 성능을 평가하였다. 평가 결과, 한국어 발음 평가 API와 한국어교육 전문가 점수의 상관관계는 문장 읽기 음성 평가에서만 유의하게 나타나며 자유 발화 평가는 상관성이 전혀 없는 것으로 분석되었다. 발음 인식 및 발음 평가 기술이 더욱 보완되고 한국어 발음평가 시스템이 개발되면 한국 교육 분야에서 발음과 발음평가를 가르치는 데 다양하게 활용될 수 있을 것으로 기대된다.
  • 영문
  • The purpose of this study is to examine the currently developed Korean pronunciation evaluation technology for the pronunciation evaluation of Korean learners and to find ways to use it in Korean language education. To this end, the evaluation score of the pronunciation evaluation API and the evaluation score of 10 Korean education experts were compared to find out how accurate the Korean pronunciation evaluation technology is. The main work of the study consisted of four stages. First, the voice data of Korean learners was collected, and then the pronunciation evaluation API was implemented and tested. In addition, a Korean education experts were recruited to request pronunciation evaluation, and finally, the performance of the pronunciation evaluation API was evaluated through result analysis. As a result of the evaluation, the evaluation of the pronunciation evaluation API with the Korean education experts showed a high correlation in Korean speech with prompted text, while there was no correlation in Korean speech without prompted text. If the pronunciation evaluation technology is further supplemented and the Korean pronunciation evaluation system is developed, it is expected that it can be used in various ways in teaching pronunciation and pronunciation evaluation in the Korean education field.
연구결과보고서
  • 초록
  • 본 연구의 목적은 한국어 학습자의 발음 평가를 위해 현재 개발되어 있는 한국어 자연어처리 음성인식 기술을 살펴보고 한국어교육에의 적용 가능성을 탐색하는 데에 있다.
    음성인식 기술(Speech Recognition)은 Big Speech Data가 저장된 음성 인식 DB프로그램이 학습자의 발음을 이해하고 알고리즘을 통해 해독한 후 발음의 정확성을 산출하여 학습자에게 전달해 주고, 필요시 교정을 해 주는 기능을 수행한다.(이승환, 2019:48) 음성인식 기술은 우리가 가장 쉽게 접할 수 있는 인공지능 기술 중 하나이다.
    음성인식 기술에 기반한 말하기 학습 서비스 중 가장 쉽게 접근해 볼 수 있는 것 중 하나는 음성인식을 통해 발음을 평가해 주는 서비스이다. 한류의 영향으로 해외 한국어 학습자는 점점 증가하고 있지만 KFL 환경에서는 제한된 한국어교육 인프라로 인해 발음 교육에 어려움이 많다. 뿐만 아니라, 코로나19의 영향으로 한국으로 유학을 올 수 없는 상황이 길어지면서 온라인 학습 콘텐츠에 대한 요구도 높아지고 있다.
    2023년부터는 한국어능력시험(TOPIK)에서 말하기 평가가 도입된다. 현재 말하기 모의 평가가 실행되고 있고, 평가 기준에 대해 논의가 지속되고 있지만 발음은 다른 어떤 영역보다 평가자의 주관에 따라 달라질 수 있는 영역이기 때문에 채점자의 신뢰도를 확보하기 위해서는 일정한 기준과 척도를 가진 컴퓨터 기반의 발음 평가가 요구된다. 다양한 억양과 발음을 가진 전 세계의 학습자의 발음을 채점자가 동일한 기준으로 평가하기란 어렵지만, 인공지능기술을 활용한다면 말하기 시험에서도 정확한 평가가 가능해질 것이기 때문이다.
  • 연구결과 및 활용방안
  • 가. 학문적·사회적 기여도

    1) 한국어능력시험(TOPIK) 말하기 평가 채점의 정확성 제고

    2023년부터 한국어능력시험(TOPIK)에서도 말하기 평가가 도입되지만 아직 인공지능을 활용한 평가를 고려하고 있지 않다. 『제4차 한국어능력시험 말하기 평가 개발 정책연구 최종보고서』의 ‘유창성 및 발음’ 평가 기준(중급)을 살펴보면, 3점은 ‘발음, 발화 속도, 끊어 말하기 등이 중급 수준으로 매우 우수함’, ‘받침 및 음운 변동 규칙 적용이 잘 되고 억양이 자연스러움’이라고 기술되어 있는데, ‘중급 수준으로 매우 우수한 정도’의 기준은 평가자마다 다를 수 있다. 또한,『한국어 표준 교육과정』 말하기 등급별 성취 기준에서 발음 항목을 살펴보면 ‘한국인이 이해할 수 있는’, ‘의사소통이 가능한 정도’와 같은 주관적인 판단 기준을 척도로 제시하고 있는데, 이러한 기준은 평가자에 따라 다르기 때문에 평가 결과가 동일하게 유지되지 않을 수 있다. 이향(2017:121)은 이해명료성이 높은 발음의 발화가 이해가능성이 높다고 하였는데, 이해명료성은 분절음, 초분절음, 발화 속도와 통계적으로 유의미한 높은 상관관계가 있는 것으로 나타났다. 그러나 발음이 한국인과 얼마나 같은가를 판단하는 데에는 초분절음, 발화 속도 외에도 원어민 청자의 사회언어학적 배경이나 교육 배경, 언어 사용 환경 등에 따라 평가가 달라질 수 있다고 하였다. 이를 종합해 보면, 발음은 어휘나 문법 영역보다 평가자마다 기준이 주관적일 수 있고 발화 속도, 강세, 억양 등 음성・음향학적 특징이 고려되어야 하기 때문에 정량적인 평가가 어렵다. 그런데 인공지능 발음 평가 기술을 활용한다면 이러한 평가를 더욱 쉽고 빠르게 할 수 있고, 데이터가 축적될수록 더욱 정확한 평가가 가능해진다.

    2) 언어권별, 학습자 수준별 발음 특징 파악 가능

    발음 평가 프로그램의 성능이 뛰어나 실제 프로그램으로 개발된다면 이 프로그램을 통해 학습자의 음성데이터를 수집하여 이를 빅데이터로 활용할 수 있다. 한국어 학습자의 음성데이터뿐만 아니라 2023년부터 시행되는 TOPIK 말하기 평가의 데이터를 수집한다면 언어권별, 학습자 수준별 발음의 특징을 좀 더 정확하게 파악할 수 있고 이를 연구 또는 교육에 활용할 수 있을 것이다. 예를 들어, 한국에서 공부하는 학습자와 해외의 학습자의 발음 양상을 비교하여 한국과 해외 또는 각 언어권별 발음교육과정을 다르게 설계할 수 있을 것이다.

    나. 교육적 기대효과 및 활용 방안

    1) 자가 발음 학습/교정 가능

    최근 들어 영어교육 시장에서는 인공지능 음성인식 기술을 적용한 발음 교정 프로그램이 많이 개발되었고, 어플리케이션, 어학용 학습기, 홈페이지 등으로 이미 상용화되어 널리 사용되고 있다. 이러한 프로그램들은 학습자의 수준별로 또는 영어 콘텐츠의 단어 또는 문장별로 원어민의 발음과 비교, 평가를 받을 수 있어 학습자가 자신의 발음에서 취약한 점들을 쉽게 확인하고 개선할 수 있다는 장점이 있다. 이처럼, 발음 평가 기술의 정확도가 높게 나타난다면, 이 기술을 활용하여 발음 학습 프로그램을 설계하여 좀 더 체계적으로 발음 교수가 가능하고, 이미 화석화된 잘못된 발음도 교정이 가능해져 학습자의 한국어 의사소통 능력을 신장시킬 수 있을 것이다.

    2) 맞춤형 발음 학습 가능

    의사소통중심 교수법이 한국어교육의 근간을 이루면서 발음교육은 교육기관에서 상대적으로 경시되고 있는 것이 현실이다. 발음은 개개인마다 차이가 크게 나타나는 영역이기 때문에 다양한 언어권의 학습자가 모여 있는 교실에서 개인별로 피드백을 해 주려면 시간과 노력이 너무 많이 든다. 영어교육에서는 음성인식 기술이 안정화되어 있어 음성인식 기술을 활용한 영어 발음 학습용 프로그램이 많이 개발되어 있다. 한국어교육에서도 이러한 기술을 활용하여 발음 평가 프로그램을 개발한다면, 학습자 개개인의 발음 특징에 맞춰 취약 발음을 훈련할 수 있을 것이다.

    다. 후속연구와의 연계 활용 방안

    본 연구는 한국어 학습자의 발음 평가를 위해 현재 개발되어 있는 자연어처리 음성인식 기술이 어느 정도의 정확도를 갖는지 파악하고 이를 한국어교육에 적용시키기 위한 방안을 탐색하는 것을 목표로 하였다. 아직 한국어교육에서는 이러한 음성인식 기술을 활용한 학습 도구가 개발되지 않았지만 영어 또는 제2외국어 시장뿐만 아니라 공교육에서도 음성인식(Text to speech: TTS), 음성합성(Speech to text: STT), 대화형 영어 말하기 학습 프로그램, 튜터링(tutoring) 등의 음성인식 기술이 활용되고 있다. 따라서 본 연구를 시작으로 인공지능 음성인식 기술을 적용한 프로그램을 설계하고 개발하여 인공지능을 활용한 한국어 말하기 학습 프로그램을 점점 확장시켜 나갈 수 있을 것이다.
  • 색인어
  • 한국어 발음 평가, 한국어 발음 교육, 인공지능 음성인식 기술, 발음평가 API
  • 연구성과물 목록
데이터를 로딩중 입니다.
데이터 이용 만족도
자료이용후 의견
입력