한동대-KISTI 공동연구팀 통일시대 대비한 '남북한 언어통합 기술' 개발

"IT기술이 남북한의 언어장벽을 허물고 통일 시대 준비하는 새로운 전기 마련"

한동대학교 전경. 한동대 제공.

한동대학교와 한국과학기술정보연구원(KISTI) 공동연구팀이 남북한 언어통합 기술을 개발해 주목받고 있다.

한동대는 24일 "IT기술이 남북한의 언어장벽을 허물고 통일 시대를 준비하는 새로운 전기를 마련했다"며 "이번 공동연구팀이 개발한 AI 기반 남북한 번역 모델이 국제 학계의 주목을 받으며 IT 기술을 통한 통일 준비의 혁신적 가능성을 보여줬다"고 밝혔다.

공동연구팀은 지난 7일부터 9일까지 일본 도쿄외국어대학교(TUFS)에서 열린 제38회 태평양 아시아 언어, 정보 및 계산 학술대회(PACLIC 2024)에서 'Bridging the Linguistic Divide: Developing a North-South Korean Parallel Corpus for Machine Translation'을 주제로 연구 성과를 발표했다.

이 연구는 트랜스포머(Transformer) 기반 번역 모델을 활용해 남북한 언어 번역의 획기적인 성능 향상을 이뤄냈다는 평가를 받았다.

연구의 핵심은 KISTI NKTech와 통일부 북한자료센터의 문헌을 바탕으로 구축한 최초의 남북한 병렬 문장쌍 데이터셋이다.

KISTI 최현규 박사는 "남북한 문화적 단절의 시발점이 되는 언어 이질화 문제에 대한 실질적 해결방안을 제시했다는 점에서 이번 연구의 의의가 크다"고 설명했다.

한동인공지능연구실(HAIL)의 홍참길 교수는 "학부생들이 데이터 수집과 정제부터 모델 분석까지 전 과정을 주도적으로 수행했으며, 이러한 도전적인 노력이 국제무대에서 인정받게 되어 의미가 매우 크다"고 평가했다.

연구에 참여한 전혜선 학생은 "저자원 언어 연구에 대한 개인적 관심이 남북한 언어 통합이라는 의미 있는 연구로 발전해 매우 뜻깊다"며 연구 성과에 대한 자부심을 드러냈다.

연구팀이 개발한 데이터셋은 한동소프트웨어파운데이션을 통해 공개돼 누구나 활용할 수 있으며, GitHub를 통해 접근 가능하다.

연구팀은 앞으로 번역 모델의 성능을 지속적으로 개선하는 한편, 남북 분단이 대형 언어 모델(LLM)에 미치는 편향성(Bias) 연구도 진행할 예정이다.