Mistral

개발사	Mistral AI
설립	2023년 4월 (파리)
최신 모델	Mistral Large 2 (2024)
유형	[[대규모 언어 모델]]
라이선스	Apache 2.0 (일부 모델)
웹사이트	[https://mistral.ai mistral.ai]

'''Mistral'''(미스트랄)은 프랑스 AI 스타트업 Mistral AI에서 개발한 [[대규모 언어 모델]] 시리즈입니다. 효율성과 성능의 균형으로 주목받고 있습니다. [[youtube:c8dKhCuU5ao|Mistral AI 소개]] == 개요 == Mistral AI는 2023년 4월 전 Meta와 구글 DeepMind 연구원들이 설립했습니다. 유럽 AI 스타트업 중 가장 높은 기업가치를 기록했으며, 효율적인 오픈소스 모델로 유명합니다. == 주요 모델 == === Mistral 7B (2023년 9월) === * 7B 파라미터로 13B 모델 수준 성능 * Apache 2.0 라이선스 (완전 오픈소스) * Sliding Window Attention 도입 === Mixtral 8x7B (2023년 12월) === * Mixture of Experts (MoE) 아키텍처 * 46.7B 파라미터 (활성 12.9B) * [[GPT]]-3.5 수준 성능 === Mistral Large (2024년 2월) === * 클로즈드 소스 플래그십 모델 * 다국어 지원 강화 * 복잡한 추론 능력 === Codestral (2024년 5월) === * 코딩 특화 모델 * 80개 이상 프로그래밍 언어 === Mistral Large 2 (2024년 7월) === * 128K 컨텍스트 윈도우 * [[GPT]]-4 수준 성능 == 기술적 특징 == === Sliding Window Attention === 긴 시퀀스를 효율적으로 처리하는 어텐션 메커니즘. === Mixture of Experts === Mixtral에서 사용하는 아키텍처로, 더 적은 연산으로 큰 모델 효과. === 그룹 쿼리 어텐션 === 메모리 효율성을 높이는 기법. == 사용 방법 == === API === * La Plateforme (Mistral 공식 API) * Amazon Bedrock * Google Cloud Vertex AI * Azure === 로컬 실행 === * Ollama * llama.cpp * vLLM == Le Chat === Mistral AI의 공식 챗봇 서비스. 무료로 사용 가능합니다. == 경쟁 모델 == * [[Llama]] (Meta) * [[Claude]] (Anthropic) * [[GPT]] (OpenAI) == 관련 문서 == * [[대규모 언어 모델]] * [[Llama]] * [[ChatGPT]] [[분류:인공지능]] [[분류:대규모 언어 모델]] [[분류:오픈소스]]