7:null 1d:T6df,

Groq

설립	2016년
본사	미국 캘리포니아
특징	LPU (초고속 추론)
속도	500+ 토큰/초
웹사이트	https://groq.com

Groq(그로크)는 초고속 AI 추론을 위한 LPU(Language Processing Unit) 칩을 개발하는 회사입니다. [[LLM]] 추론 속도에서 혁신적인 성능을 보여줍니다. [[youtube:GhWoJNrT5pA|Groq LPU 설명]] == 개요 == Groq는 Google TPU 설계자 출신이 설립한 AI 칩 스타트업입니다. 자체 개발한 LPU 칩으로 기존 [[GPU]] 대비 10배 이상 빠른 추론 속도를 제공합니다. == LPU 기술 == === Language Processing Unit === 언어 모델 추론 전용 칩: * 결정론적 실행 * 배치 불필요 * 초저지연 === 성능 === * 500+ 토큰/초 생성 * 밀리초 단위 지연 * GPU 대비 10배 빠름 === 아키텍처 === * 텐서 스트리밍 프로세서 * 소프트웨어 정의 하드웨어 * 예측 가능한 성능 == Groq Cloud == === 제공 모델 === * LLaMA 2/3 * Mixtral * Gemma * 오픈소스 모델 === API 서비스 === * 빠른 추론 API * OpenAI 호환 인터페이스 * 저렴한 가격 == 활용 사례 == * 실시간 대화 AI * 음성 비서 * 라이브 번역 * 코딩 어시스턴트 == GPU와 비교 == {| ! 항목 !! GPU !! Groq LPU |- | 속도 || 50-100 토큰/초 || 500+ 토큰/초 |- | 지연 || 변동적 || 일정 |- | 배치 || 필요 || 불필요 |} == 관련 문서 == * [[GPU]] * [[LLM]] * [[NVIDIA]] * [[LLaMA]] [[분류:인공지능]] [[분류:하드웨어]] [[분류:AI 기업]]