토큰 (AI)

영어	Token
분류	자연어 처리
용도	텍스트 처리 단위
관련 개념	토큰화, BPE, 임베딩

'''토큰'''(Token)은 언어 모델이 텍스트를 처리하는 기본 단위입니다. 단어, 부분 단어, 또는 문자가 토큰이 될 수 있습니다. == 개요 == 언어 모델은 텍스트를 직접 처리할 수 없으므로, 토큰이라는 숫자 ID로 변환합니다. 토큰화(Tokenization) 과정을 통해 텍스트가 토큰 시퀀스로 분할되며, 각 토큰은 모델의 어휘(Vocabulary)에 매핑됩니다. == 토큰화 방식 == === 단어 기반 === * 공백/구두점으로 분리 * 어휘 크기 매우 큼 * OOV(Out-of-Vocabulary) 문제 === 문자 기반 === * 개별 문자가 토큰 * 어휘 크기 작음 * 시퀀스 길이 증가 === 서브워드 기반 === * 자주 나오는 부분 문자열 * BPE, WordPiece, SentencePiece * 현재 주류 방식 == BPE (Byte Pair Encoding) == GPT 시리즈에서 사용하는 토큰화 방식: # 개별 문자로 시작 # 가장 빈번한 쌍을 병합 # 반복하여 어휘 구축 # 희귀 단어도 표현 가능 == 토큰 수 계산 == === 영어 === * 평균 1 토큰 = 4 문자 * 1 토큰 = 약 0.75 단어 === 한국어 === * 한글은 더 많은 토큰 소모 * 1 음절 = 1~2 토큰 * 영어보다 비효율적 == 모델별 컨텍스트 길이 == {| ! 모델 !! 최대 토큰 |- | GPT-3.5 || 16,385 |- | GPT-4 || 128,000 |- | Claude 3 || 200,000 |- | Gemini 1.5 || 1,000,000 |} == 토큰 비용 == API 사용 시 토큰 수에 따라 비용 청구: * 입력 토큰: 프롬프트 * 출력 토큰: 응답 * 출력이 더 비쌈 == 최적화 팁 == * 간결한 프롬프트 작성 * 불필요한 설명 제거 * 영어가 한국어보다 효율적 * 시스템 프롬프트 재사용 == 관련 문서 == * [[언어 모델]] * [[자연어 처리]] * [[임베딩]] * [[ChatGPT]] [[분류:인공지능]] [[분류:자연어 처리]] [[분류:기계학습]]