707d99d.js","832","static/chunks/832-433212fc0faa6b60.js","489","static/chunks/489-a5b84db177ed4a3f.js","430","static/chunks/app/%5Blocale%5D/w/%5Bkeyword%5D/page-7e0f5d54d5ece173.js"],"default"] 20:T777,

빅데이터

영문명	Big Data
특성	3V: Volume, Velocity, Variety
기술	Hadoop, Spark, NoSQL
활용	비즈니스 인텔리전스, AI 학습

빅데이터(Big Data)는 기존 도구로 처리하기 어려운 대규모 데이터를 의미합니다. [[인공지능]]과 [[기계학습]]의 핵심 자원입니다. [[youtube:bAyrObl7TYE|빅데이터란 무엇인가?]] == 개요 == 빅데이터는 단순히 큰 데이터가 아니라 기존 방식으로 수집, 저장, 분석이 어려운 데이터를 말합니다. AI 모델 학습, 비즈니스 의사결정에 활용됩니다. == 특성 (3V) == === Volume (규모) === * 테라바이트, 페타바이트 단위 * 지속적인 데이터 증가 === Velocity (속도) === * 실시간 데이터 생성 * 스트리밍 데이터 * 빠른 처리 필요 === Variety (다양성) === * 정형 데이터 (DB) * 비정형 데이터 (텍스트, 이미지) * 반정형 데이터 (JSON, XML) === 추가 특성 === * Veracity (정확성) * Value (가치) == 핵심 기술 == === 분산 처리 === * Hadoop: 분산 파일 시스템 * Spark: 인메모리 처리 * MapReduce: 분산 연산 === 저장소 === * HDFS: 분산 파일 시스템 * NoSQL: MongoDB, Cassandra * 데이터 레이크 === 실시간 처리 === * Kafka: 스트리밍 플랫폼 * Flink: 스트림 처리 * Storm: 실시간 연산 == 활용 분야 == * [[기계학습]] 학습 데이터 * 비즈니스 인텔리전스 * 고객 행동 분석 * IoT 데이터 처리 * 의료 데이터 분석 == 관련 문서 == * [[데이터 사이언스]] * [[기계학습]] * [[MLOps]] * [[데이터 라벨링]] [[분류:데