한국어 ChatGPT 개방 경쟁에서 1위를 탈환한 ‘HumanF-MarkrAI/COKAL-DPO-13b-v2’(화면 출처: Open Ko-LLM Leaderboard - a Hugging Face Space by upstage)

‘미디어그룹사람과숲’은 한국정보화진흥원(NIA)과 업스테이지가 주최하는 한국어 ‘초거대 언어 모델’ 리더보드 ‘Open Ko-LLM’에서 1위를 차지했다고 11월13일 밝혔다.

해당 리더보드 개발 경쟁에서 1위를 차지한 LLM(초거대언어모델)은 ‘HumanF-MarkrAI/COKAL-DPO-13b-v2’다. ‘사람과숲’이 (주)마커와 컨소시엄을 이뤄 공동 개발한 것이다. 글로벌 IT 기업 메타에서 오픈소스로 공개한 ‘라마2’를 파운데이션 모델로 삼고 자체적으로 수집·가공한 데이터에 인스트럭트 파인 튜닝을 거쳐 개발했다.

이번 리더보드는 LLM의 한국어 성능을 겨뤄 순위를 매겼다. 50개 이상의 개인 및 조직에서 100개 이상의 LLM이 제출됐다. LLM에 대한 △추론 능력 △상식 능력 △언어 이해력 △환각 방지 능력 △한국어 상식 생성 능력, 5가지 평가 지표에 따라 점수를 매겼고 ‘HumanF-MarkrAI/COKAL-DPO-13b-v2’ 모델이 평균 점수 52.69으로 1위를 기록했다.

‘사람과숲’은 9월 28일 리더보드에서 1위를 한 이후 4주간 수차례 1위를 해왔으나 최근 주최 측에서 측정지표를 변화하여 순위가 밀려서 2주간 1위를 하지 못하였다. 하지만 사람과숲은 바뀐 기준에 적응하여 꾸준히 연구한 결과 LLM 리더보드 개최 최대 점수인 52.69를 기록했다.

해당 연구를 이끈 정철현 박사는 “이번 LLM은 AI-허브의 한국어 공공 행정 문서와 민원 응대 데이터가 주요 데이터 소스로 활용됐다”며 “이 LLM은 공공 행정 업무를 수행하는 챗봇을 위해 튜닝한 것이지만 종합 성능이 국내 1위 수준으로 더 다양한 용도로도 활용할 수 있다”고 전했다.

한윤기 미디어그룹사람과숲 대표는 “향후 한국어 특화 LLM 리더보드가 좀 더 활성화 되어 한국어 AI의 기술 발전에 계속 기여하고, 특히 공공 행정 분야에서 가장 사랑받는 ‘한국형 챗GPT’를 만들어 나가겠다”고 포부를 밝혔다.