7:null 1d:T6b9,

어텐션 메커니즘

영문명	Attention Mechanism
분야	딥러닝
도입	2014년 (Bahdanau et al.)
응용	Transformer, GPT, BERT

어텐션 메커니즘(Attention Mechanism)은 입력의 중요한 부분에 집중하는 딥러닝 기술입니다. [[트랜스포머]]와 [[GPT-4]]의 핵심입니다. [[youtube:yGTUuEx3GkA|어텐션 메커니즘 설명]] == 개요 == 어텐션은 입력 시퀀스에서 현재 출력과 관련 있는 부분에 가중치를 부여합니다. 2017년 트랜스포머 논문 "Attention Is All You Need"로 AI 패러다임이 바뀌었습니다. == 작동 원리 == === Query, Key, Value === * Query (Q): 찾고자 하는 것 * Key (K): 검색 대상 * Value (V): 실제 정보 * Attention = softmax(QK^T/√d) × V === 가중치 계산 === # Query와 Key 유사도 계산 # Softmax로 가중치 정규화 # Value에 가중치 적용 # 가중합으로 출력 생성 == 종류 == === Self-Attention === 같은 시퀀스 내 관계 학습: * 문장 내 단어 관계 * [[BERT]], [[GPT-4]] === Cross-Attention === 서로 다른 시퀀스 간 관계: * 번역 (소스-타겟) * 이미지-텍스트 === Multi-Head Attention === 여러 어텐션 병렬 수행: * 다양한 관계 패턴 포착 * 트랜스포머 표준 == 장점 == * 장거리 의존성 학습 * 병렬 처리 가능 * 해석 가능성 (어텐션 맵) == 관련 문서 == * [[트랜스포머]] * [[BERT]] * [[GPT-4]] * [[LLM]] [[분류:인공지능]] [[분류:딥러닝]] [[분류:자연어 처리]]