Mistral, 새로운 플래그십 모델 Mistral Large 2 출시

 

이미지 출처: techovedas

TL; DR

Llama 3.1이 출시된 지 하루만에 소형 모델의 강자인 프랑스 기업 Mistral에서도 새 모델 Large 2를 발표했다. 
Google I/O 하루 전날 OpenAI에서 GPT-4o를 공개했던 것이 생각나는데, AI 기업 간의 신경전이 치열해 보인다.
Mistral의 새 모델은 Llama의 플래그십 모델만큼 크지는 않지만, 충분히 강력하고 실용적으로 보인다. 무엇보다, 한국어를 지원하는 것이 반갑다.
공식 홈페이지의 릴리즈 노트를 먼저 살펴보자.

 

 

* 가독성을 위해 그림 크기를 최소화 했습니다. 클릭 시 확대됩니다.

출처: https://mistral.ai/news/mistral-large-2407/

Large Enough

 

Large Enough

• Mistral AI 팀은 Mistral Large 2 모델을 발표함
• Mistral Large 2는 이전 모델에 비해 코드 생성, 수학, 추론에서 더 뛰어남
• 다중 언어 지원 및 고급 함수 호출 기능이 강화됨
• 새로운 기능은 la Plateforme에서 제공되며, 혁신적인 AI 애플리케이션 구축을 용이하게 함

 

Mistral Large 2

• Mistral Large 2는 128k 컨텍스트 윈도우를 가지고 있으며, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 아랍어, 힌디어, 러시아어, 중국어, 일본어, 한국어 등 여러 언어를 지원함
• 80개 이상의 코딩 언어도 지원하며, Python, Java, C, C++, JavaScript, Bash 등이 포함됨
• 1230억 개의 파라미터를 가지고 있어 단일 노드에서 대용량 처리 가능
• Mistral Large 2는 Mistral Research License 하에 연구 및 비상업적 사용을 위해 제공됨
• 상업적 사용을 위해서는 Mistral Commercial License를 별도로 취득해야 함

 

 

일반 성능

• Mistral Large 2는 성능/비용 효율 면에서 새로운 기준을 세움
• MMLU 평가에서 사전 학습된 버전이 84.0%의 정확도를 달성함
• 성능/비용의 Pareto front에서 오픈 모델의 새로운 지점을 기록함

 

 

코드 작성 & 추론 능력

• Mistral Large 2는 Codestral 22B와 Codestral Mamba의 경험을 바탕으로 많은 양의 코드 데이터로 학습됨
• Mistral Large 2는 이전 모델보다 훨씬 뛰어난 성능을 보이며, GPT-4o, Claude 3 Opus, Llama 3 405B와 같은 선도 모델들과 동등한 성능을 발휘함

 

• 모델의 추론 능력 향상에도 큰 노력을 기울였으며, "환각"이나 사실적으로 틀리거나 관련 없는 정보를 생성하는 경향을 최소화하는 데 중점을 둠
• 모델의 응답이 더 신중하고 분별력 있게 되도록 미세 조정하여 신뢰할 수 있고 정확한 출력을 제공함
• Mistral Large 2는 답을 찾을 수 없거나 충분한 정보가 없을 때 이를 인정하도록 학습됨
• 이 정확성에 대한 노력은 수학 관련 벤치마크에서 향상된 성능으로 나타나며, 강화된 추론 및 문제 해결 능력을 보여줌

 

 

 

지시 준수 & 정렬

• Mistral Large 2의 지시 사항 준수 및 대화 능력을 크게 개선함
• 정확한 지시를 따르고 긴 멀티 턴(multi turn) 대화를 처리하는 능력이 향상됨
• MT-Bench, Wild Bench, Arena Hard 벤치마크에서의 성능 보고:

 

• 일부 벤치마크에서는 긴 응답을 생성하는 것이 점수 향상에 도움이 됨
• 많은 비즈니스 애플리케이션에서는 간결함이 중요하며, 짧은 길이의 답변 생성은 빠른 상호작용과 비용 효율성을 제공함
• 가능한 한 간결하고 요점에 맞춘 생성을 유지하도록 많은 노력을 기울임
• 아래 그래프는 MT Bench 벤치마크 질문에 대한 모델별 평균 생성 길이를 보고함

 

 

언어적 다양성

• 현재 많은 비즈니스 사용 사례가 다국어 문서 작업을 포함함
• 대부분의 모델이 영어 중심인 반면, Mistral Large 2는 다국어 데이터로 대규모 학습됨
• 특히 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 네덜란드어, 러시아어, 중국어, 일본어, 한국어, 아랍어, 힌디어에서 뛰어난 성능을 보임
• 아래는 다국어 MMLU 벤치마크에서 Mistral Large 2의 성능 결과로, 이전 Mistral Large, Llama 3.1 모델, Cohere의 Command R+와 비교한 결과임

 

 

도구 사용 & 함수 호출

• Mistral Large 2는 향상된 함수 호출(function calling) 및 검색 기능을 갖춤
• 병렬 및 순차 함수 호출을 능숙하게 실행하도록 학습됨
• 복잡한 비즈니스 애플리케이션의 강력한 엔진 역할을 할 수 있음

 

 

 

la Plateforme에서 Mistral Large 2 사용하기

• Mistral Large 2를 la Plateforme에서 mistral-large-2407 모델명으로 사용 가능
• le Chat에서 테스트 가능
• 버전 24.07 (YY.MM 버전 시스템 적용)으로 제공되며, API 이름은 mistral-large-2407
• instruct 모델의 가중치는 HuggingFace에서도 호스팅됨
• la Plateforme는 두 가지 범용 모델(Mistral Nemo, Mistral Large)과 두 가지 전문 모델(Codestral, Embed)을 중심으로 제공
• la Plateforme의 이전 모델은 점진적으로 폐기될 예정이지만, Apache 모델(Mistral 7B, Mixtral 8x7B 및 8x22B, Codestral Mamba, Mathstral)은 SDK(mistral-inference 및 mistral-finetune)를 사용해 배포 및 미세 조정 가능
• 오늘부터 Mistral Large, Mistral Nemo 및 Codestral에 대한 미세 조정 기능이 la Plateforme에서 가능하도록 확장됨

 

클라우드 서비스를 이용하여 Mistral 사용하기

• 주요 클라우드 서비스 제공업체와의 파트너십을 통해 Mistral Large 2를 전 세계 사용자에게 제공
• Google Cloud Platform과의 파트너십을 확장하여 Vertex AI를 통해 Mistral AI 모델을 Managed API로 제공
• Mistral AI의 최고의 모델들이 이제 Vertex AI뿐만 아니라 Azure AI Studio, Amazon Bedrock, IBM watsonx.ai에서도 사용 가능

 

 

Mistral AI 모델 사용 가능 시기 타임라인: