[프라임경제] 인공지능 소프트웨어 전문기업 코난테크놀로지(대표 김영섬, 402030)가 이달 추론모드가 통합된 코난 LLM 신규모델 'ENT(엔터프라이즈)-11'을 내놓는다. 벤처마크에서는 딥시크를 제쳤다고 26일 밝혔다.
신규 모델은 일반 모드와 추론 모드를 하나의 엔진에 통합한 점이 가장 큰 특징이다. 단일 모델로서 일반 질의응답뿐만 아니라 복잡한 추론을 요구하는 작업에서도 최적의 답변을 제공할 수 있도록 전환 대응한다.
일반용 모델과 추론용 모델을 별도로 제공하는 타사 모델보다 더 낮은 GPU 비용으로도 고성능 AI 서비스가 가능하다는 점에서 차별화된다.
한국어 최적화 구조를 갖춘 것도 장점이다. Qwen, LLaMA, Gemma, DeepSeek 등의 모델 대비 한국어 토큰이 사전 학습 단계에서 더 많이 포함돼 있어 한국어 기반 질의에 대한 처리 정확도와 응답 속도 면에서 월등히 앞선다.
이는 출시 전 진행된 자체 벤치마크에서도 검증됐다. ‘ENT-11’모델의 매개변수는 32B 규모로, 671B인 대형 모델 딥시크 R1 대비 약 5% 수준에 해당한다.
그럼에도 멀티턴 대화 및 지시를 따르는 능력을 측정하는 ‘MT-Bench’ 평가의 △작문 △역할극 △추론 △수학 △코딩 △정보 추출 △STEM(과학·기술·공학·수학) △인문학 8개 항목에서 딥시크 R1과 대등한 점수를 기록했다. 코딩 성능은 크게 앞섰다.
‘ENT-11’모델과 매개변수가 32B로 동일한 딥시크 R1 모델보다는 평균 4.75%P 성능이 높았다.
이에 더해, 코난테크놀로지는 MT-Bench를 직접 번역 및 검수, 교정하여 평정 결과의 정확성을 증대하고, 오차를 감소시킨 ‘Konan MT-Bench’를 자체 구축해 신규 모델의 성능을 거듭 평가했다.
그 결과 ‘ENT-11’ 모델은 동일 크기의 딥시크 R1 대비 평균 5.38%P 높은 성능을 기록했다. 특히 복잡한 추론과 수학 분야에서 모두 앞섰다. 즉, 컴팩트한 모델임에도 효율적이고 정밀화된 설계를 통해 추론 성능을 극대화했음을 나타낸다. ‘ENT-11’ 모델의 일반 모드 성능 또한 이전 모델인 ‘ENT-10’ 대비 4.5%P 향상됐다.
김영섬 대표는 "LLM 모델이 늘어남에 따라 그 평가 방식도 다변화되는 가운데, 특정 평가지표에만 과도하게 피팅됐다"며 "일부 평가에서만 성능이 좋게 나타나는 모델에 대해서는 변별력이 필요하다"고 전했다.
아울러 "딥시크 R1대비 20배나 작은 모델이지만 더 나은 추론 성능을 입증한 만큼, 고품질의 한국어 데이터와 개발 인프라를 강점으로 LLM 기술이 국내 생성형 AI성능의 바로미터가 될 수 있도록 매진하겠다"고 덧붙였다.