모델 압축

영어	Model Compression
분류	모델 최적화
기법	양자화, 프루닝, 증류
목적	크기 감소, 속도 향상

'''모델 압축'''(Model Compression)은 딥러닝 모델의 크기를 줄이고 추론 속도를 높이는 최적화 기술입니다. == 개요 == 현대 AI 모델은 수십억 개의 파라미터를 가져 배포와 실행에 많은 자원이 필요합니다. 모델 압축은 성능을 유지하면서 모델을 경량화하여 [[에지 AI]], 모바일, 실시간 응용에 적합하게 만듭니다. == 주요 기법 == === 양자화 (Quantization) === * FP32 -> FP16/INT8/INT4 * 메모리 2-8배 감소 * 속도 향상 * 약간의 정확도 손실 === 프루닝 (Pruning) === * 중요하지 않은 가중치 제거 * 구조적/비구조적 * 희소 모델 생성 === 지식 증류 (Knowledge Distillation) === * Teacher -> Student * 큰 모델 지식 전달 * 작은 모델로 성능 유지 === 가중치 공유 === * 유사 가중치 클러스터링 * 저장 공간 절약 * 코드북 활용 === 저랭크 분해 === * 행렬 분해 * 파라미터 감소 * LoRA 기반 == 양자화 유형 == === Post-Training Quantization === * 학습 후 적용 * 간단한 구현 * 일부 정확도 손실 === Quantization-Aware Training === * 학습 중 양자화 시뮬레이션 * 더 나은 정확도 * 추가 학습 필요 == LLM 압축 == === GPTQ === * 사후 학습 양자화 * 4bit 양자화 * 인기 기법 === GGML/GGUF === * llama.cpp 포맷 * CPU 실행 최적화 * 다양한 양자화 === AWQ === * Activation-aware * 높은 정확도 유지 == 효과 == {| ! 기법 !! 크기 감소 !! 속도 향상 |- | INT8 양자화 || 4x || 2-4x |- | 프루닝 90% || 10x || 3-5x |- | 지식 증류 || 다양 || 다양 |} == 도구 == * TensorRT (NVIDIA) * TensorFlow Lite * ONNX Runtime * llama.cpp * bitsandbytes == 관련 문서 == * [[에지 AI]] * [[딥러닝]] * [[GPU]] * [[LLM]] [[분류:인공지능]] [[분류:딥러닝]] [[분류:최적화]]