미디어그룹사람과숲의 LLM 리더보드가 글로벌 ‘Open LLM 리더보드’ 1위를 차지했다(출처: HuggingFace, Open LLM Leader board)

미디어그룹사람과숲(이하 사람과숲)은 마커와 공동 개발한 거대언어모델(LLM)이 허깅페이스(HuggingFace)의 '오픈 LLM 리더보드'에서 1위를 달성했다고 29일 밝혔다.

허깅페이스의 '오픈 LLM 리더보드'는 전 세계 수백개의 오픈소스 모델들이 추론과 상식능력, 언어 이해 종합능력 및 환각현상 방지 등 여러 지표의 평균점수로 순위를 매긴다.

'오픈 LLM 리더보드'에서 1위를 차지한 사람과숲의 'Sakura-SOLAR-Instruct' 모델은 'SOLAR-10.7b-Instruct-v1.0'과 'SauerkrautLM-SOLAR-Instruct' 두 가지 SOLAR 기반 모델을 Merge(Slerp)하고 DPO를 적용, 파인튜닝해 개발된 모델이다.

'Sakura-SOLAR-Instruct' 모델이 획득한 점수는 74.4점으로, 이는 OpenAI가 개발한 챗GPT의 기반이 되는 GPT-3.5의 벤치마크 평가점수 71.9점을 훌쩍 뛰어넘는 점수다.

사람과숲 관계자는 "'한국형 LLM 모델의 연구개발 경력이 큰 도움이 됐다"며 "특히 두 모델 간의 대답 분포도를 비교해 사용자가 원하는 대답으로 분포를 맞추는 DPO(directly preference optmization)에 관련한 노하우가 원동력이 돼 '오픈 LLM 리더보드 1위'라는 값진 성과를 낳았다"고 말했다.

사람과숲은 올해 9월부터 한국정보화진흥원(NIA)과 업스테이지가 주관하는 '오픈 Ko-LLM 리더보드'에서 12월까지 대부분의 기간동안 1위를 유지하고 있다.

한윤기 사람과숲 대표는 "국내 1위에서 세계 1위까지 이어진 LLM 개발 여정에 밤낮으로 고생한 개발자들에게 이 영광을 돌린다"며 "사회적 가치 실현에 기업이 앞장서야 한다고 생각한다. AI와 같은 가장 앞선 기술의 수혜가 사회적 약자에게 돌아가는 구조가 만들어져 사회적 약자가 기술 개발에 적극적으로 참여하고, 그 열매를 다시 사회적 약자에게 돌려놓는 선순환 구조를 만들어 동반성장의 새로운 방향을 만들고 싶다"고 밝혔다.