임베딩

영어	Embedding
분류	표현 학습
용도	의미적 표현, 유사도 계산
대표 모델	Word2Vec, OpenAI Ada

'''임베딩'''(Embedding)은 단어, 문장, 이미지 등을 고차원 벡터 공간에서 표현하는 기법입니다. 유사한 의미를 가진 항목은 벡터 공간에서 가깝게 위치합니다. [[youtube:viZrOnJclY0|임베딩이란?]] == 개요 == 임베딩은 텍스트나 데이터를 숫자 벡터로 변환하여 컴퓨터가 의미적 관계를 이해할 수 있게 합니다. 현대 AI 시스템에서 검색, 추천, 클러스터링 등 다양한 작업의 기반이 됩니다. == 단어 임베딩 == === Word2Vec === * Google에서 개발 (2013) * CBOW, Skip-gram 방식 * 단어 간 관계 학습 === GloVe === * Stanford에서 개발 * 전역 통계 활용 * 단어 동시 출현 분석 === FastText === * Facebook/Meta 개발 * 서브워드 임베딩 * OOV 단어 처리 가능 == 문장/문서 임베딩 == === OpenAI Embeddings === * text-embedding-3-large * 3,072 차원 * API로 제공 === Sentence-BERT === * 문장 단위 임베딩 * 의미적 유사도 * 오픈소스 === Cohere Embed === * 다국어 지원 * 검색 최적화 * 상업용 API == 활용 분야 == === 의미 검색 === * 키워드가 아닌 의미 기반 * RAG 시스템의 핵심 * 벡터 데이터베이스 활용 === 추천 시스템 === * 유사 아이템 추천 * 사용자 선호 분석 * 콘텐츠 기반 필터링 === 클러스터링 === * 문서 그룹화 * 토픽 모델링 * 이상 탐지 === RAG (검색 증강 생성) === * 지식 베이스 검색 * LLM 응답 향상 * [[ChatGPT]] 커스텀 지식 == 벡터 데이터베이스 == 임베딩 저장 및 검색 전용 DB: * Pinecone * Weaviate * Milvus * Chroma * pgvector (PostgreSQL) == 유사도 측정 == * 코사인 유사도: 방향 기반 * 유클리드 거리: 절대 거리 * 내적: 크기와 방향 == 관련 문서 == * [[토큰]] * [[자연어 처리]] * [[언어 모델]] * [[추천 시스템]] [[분류:인공지능]] [[분류:기계학습]] [[분류:자연어 처리]]