학회/행사/기타 안내 상세보기
2022년 제2회 원내 연속토론회 후기
2022년 제2회 원내 연속토론회 후기
|
주 제 |
인공지능을 활용한 국어능력 평가 - 국내외 대단위 작문 자동 채점을 위한 데이터세트 설계 현황 및 쟁점 |
|
발표자 |
최숙기 한국교원대 교수 |
|
일 시 |
2022. 6. 28.(화) 16:00 |
|
장 소 |
국립국어원 1층 강당 |
올해 두 번째 원내 연속토론회에서는 한국교원대 국어교육과 최숙기 교수가 인공지능을 활용한 국어능력 평가를 주제로 국내외 대단위 작문 자동 채점을 위한 데이터세트 설계 현황 및 쟁점에 대해 발표하였다.
발표자는 우리나라 사람이 한국어를 구사하고 활용하는 능력을 뜻하는 ‘국어능력’의 여러 요소 중 고차원적 사고력, 문제해결력을 요하는 글쓰기 능력이 핵심 역량으로 주목받고 있다고 강조하였다. 그런데 글쓰기 결과물을 인간이 채점할 경우에 사람마다 채점 기준이 상이할 수 있어 주관성이 개입될 여지가 있고, 평가자의 신뢰도를 높이기 위해 하나의 글을 최소 두 명 이상이 채점하여야 하므로 수능시험, 교원임용시험과 같은 대단위 평가에서 채점 비용이 대폭 증가하고 있다는 문제점이 있음을 언급했다. 그러므로 인간 채점자의 한계를 보완하기 위해 기계를 이용한 자동 채점의 필요성이 절실히 요구되고 있다고 강조하였다.
쓰기 자동 채점 모형을 개발하기 위해서는 채점할 때 중점을 두어야 하는 특질들(features)을 명확히 도출하는 것이 가장 중요하고, 또한 정확하게 등급을 부여한 훈련용 데이터세트(데이터화한 자료의 집합)와 검증용 데이터세트를 마련하는 과정이 선행되어야 한다고 주장하였다. 이러한 훈련용, 검증용 데이터세트를 활용하여 쓰기 채점 프로그램이 채점 훈련을 거듭하는 기계 학습을 할 수 있다.
외국의 경우 1960년대에 영어 기반의 에세이 자동 채점 프로그램(AES: Automated essay scoring)이 태동하여 그때로부터 지금까지 수많은 데이터세트가 구축되어 있는데, 그중 대표적인 것이 에이에스에이피(ASAP: Automated student assessment prize)이다.
에이에스에이피에서도 특정 장르의 글은 데이터가 불충분하다는 것, 글을 길게 쓰면 고득점을 주는 경향이 있는 것, 과제 여덟 개 중 여섯 개는 단순히 점수만 매기고 끝나는 총체적 채점에 그친다는 것 등의 문제점이 있기는 하나, 데이터세트 구축용 채점 설계를 위한 채점 자질 및 채점 준거가 설정되어 있어 한국어 기반의 데이터세트 구축 설계 시 참고할 만하다.
한국어 기반의 데이터세트는 한국지능정보사회진흥원(NIA)에서 총 여섯 개 과제에 따라 작문을 수행한 오만 건 정도의 글을 채점자 세 명이 평가한 자료가 구축되어 있는 정도이다.
발표자는 향후 한국어 기반의 데이터세트를 구축하기 위해서 다음과 같은 네 가지 사항에 유의해야 한다고 강조하였다. 첫째, 교육과정과 연계하여 글쓰기 과제를 설계해야 한다. 둘째, 학년별/학교급 수준에 맞는 과제를 제시해야 한다. 셋째, 채점 범주 및 준거를 글의 종류에 맞게 설정해야 한다. 넷째, 총체적 채점보다는 분석적 채점 위주로 설계해야 한다.
마지막으로, 발표자는 우리나라의 쓰기 자동 채점 모형의 개발을 위해 해결할 쟁점으로, ‘(편향이나 왜곡이 발생하지 않는) 타당한 데이터세트의 구축’과 ‘(유의미한 자질 도출을 통한) 최적의 자동 채점 모델의 개발 및 타당화’를 제시하였다.
