RNN

영어	Recurrent Neural Network
한국어	순환 신경망
분류	신경망 아키텍처
특징	시퀀스 데이터 처리
변형	LSTM, GRU

'''RNN'''(Recurrent Neural Network, 순환 신경망)은 시퀀스 데이터를 처리하기 위한 [[딥러닝]] 아키텍처입니다. == 개요 == RNN은 이전 단계의 출력을 다음 단계의 입력으로 사용하는 순환 구조를 가집니다. 텍스트, 음성, 시계열 데이터처럼 순서가 중요한 데이터를 처리할 수 있습니다. [[트랜스포머]] 등장 전까지 NLP의 핵심 기술이었습니다. == 작동 원리 == === 순환 구조 === * 은닉 상태 (Hidden State) * 이전 정보 유지 * 시간 단계별 처리 === 수식 === * h_t = f(W_h * h_{t-1} + W_x * x_t) * 가중치 공유 * 시퀀스 길이 독립 == 문제점 == === 기울기 소실 === * 긴 시퀀스에서 정보 손실 * 장기 의존성 학습 어려움 * 역전파 시 기울기 감소 === 기울기 폭발 === * 기울기가 너무 커짐 * 불안정한 학습 * Gradient Clipping으로 완화 == RNN 변형 == === LSTM === * Long Short-Term Memory * 게이트 메커니즘 * 장기 의존성 해결 * 1997년 제안 === GRU === * Gated Recurrent Unit * LSTM 간소화 * 더 적은 파라미터 * 2014년 제안 === Bidirectional RNN === * 양방향 처리 * 전후 문맥 모두 활용 * 분류 작업에 유용 == 활용 분야 == === 자연어 처리 === * 기계 번역 * 감정 분석 * 텍스트 생성 === 음성 === * 음성 인식 * 음성 합성 === 시계열 === * 주가 예측 * 날씨 예측 * 센서 데이터 == RNN vs Transformer == {| ! 항목 !! RNN !! Transformer |- | 처리 || 순차적 || 병렬 |- | 장기 의존성 || LSTM으로 개선 || Attention으로 해결 |- | 속도 || 느림 || 빠름 |- | 현재 || 레거시 || 주류 |} == 관련 문서 == * [[딥러닝]] * [[트랜스포머]] * [[자연어 처리]] * [[신경망]] [[분류:인공지능]] [[분류:딥러닝]] [[분류:신경망]]