LLM

영어	Large Language Model
한국어	대규모 언어 모델
분류	인공지능 모델
대표 모델	GPT-4, Claude, Gemini, LLaMA
기반 기술	트랜스포머

'''LLM'''(Large Language Model, 대규모 언어 모델)은 수십억~수조 개의 파라미터를 가진 대규모 [[언어 모델]]입니다. [[youtube:zizonToFXDs|LLM이란?]] == 개요 == LLM은 방대한 텍스트 데이터로 학습되어 인간 수준의 텍스트 생성, 이해, 추론 능력을 갖춘 AI 모델입니다. [[ChatGPT]], [[Claude]], [[Gemini]] 등이 LLM 기반 서비스입니다. == 특징 == === 규모 === * 수십억~수조 파라미터 * 테라바이트 학습 데이터 * 대규모 컴퓨팅 필요 === 창발적 능력 === * 규모가 커지면서 새로운 능력 발현 * 퓨샷 학습 * 복잡한 추론 === 범용성 === * 다양한 작업 수행 * 번역, 요약, 코딩, 분석 * 프롬프트로 작업 지정 == 대표 모델 == === 폐쇄형 (Closed-source) === * [[GPT-4]]: OpenAI * [[Claude]]: Anthropic * [[Gemini]]: Google === 개방형 (Open-source) === * LLaMA 3: Meta * Mistral: Mistral AI * Qwen: Alibaba == 학습 과정 == === 사전 훈련 (Pre-training) === * 웹 텍스트, 책, 코드 학습 * 다음 토큰 예측 * 자기지도 학습 === 지시 튜닝 (Instruction Tuning) === * 지시-응답 쌍 학습 * 작업 수행 능력 향상 === RLHF === * 인간 피드백 강화학습 * 안전성, 유용성 향상 * 선호도 학습 == 활용 분야 == === [[챗봇]] === * 대화형 AI * 고객 서비스 * 개인 비서 === 코드 생성 === * [[GitHub Copilot]] * 코드 작성, 리뷰 * 디버깅 === 콘텐츠 생성 === * 글쓰기, 요약 * 마케팅 콘텐츠 * 창작 === 분석 === * 문서 분석 * 데이터 해석 * 연구 보조 == 한계 == === 환각 (Hallucination) === * 사실이 아닌 정보 생성 * 자신감 있게 틀림 * 검증 필요 === 지식 한계 === * 학습 데이터 기준점 * 최신 정보 부족 * RAG로 보완 === 편향 === * 학습 데이터의 편향 반영 * 윤리적 문제 * 지속적 개선 필요 == 미래 전망 == * 멀티모달 통합 * 더 긴 컨텍스트 * 에이전트 능력 강화 * 효율성 개선 == 관련 문서 == * [[언어 모델]] * [[ChatGPT]] * [[Claude]] * [[트랜스포머]] [[분류:인공지능]] [[분류:딥러닝]] [[분류:자연어 처리]]