반응형 Data/책1 [빅데이터를 지탱하는 기술] 데이터 파이프라인이란? 책 Chapter1-2 : 빅데이터 분석 기반의 내용을 기반으로 정리한 글입니다.데이터 파이프라인의 구성요소데이터 파이프라인은 다양한 소스에서 데이터를 수집하고, 이를 처리 및 저장한 후 분석하는 과정을 말한다. 데이터 파이프라인의 주요 구성 요소와 각각의 기능을 살펴보자.1. 데이터 수집데이터 파이프라인의 시작은 데이터를 수집하는 것부터 시작된다. 외부 소스, 로그, 센서, API 등 다양한 소스에서 데이터를 수집한다.데이터 전송 방법- 벌크형(Bulk) : 이미 존재하는 데이터를 정리해 추출하는 방법으로, 보통 정기적으로 데이터를 수집할 때 사용된다. - 스트리밍형(Streaming) : 생성되는 데이터를 계속해서 전송하는 방법으로, 모바일 어플리케이션과 임베디드 장비 등에서 데이터를 수집할 때 사.. 2023. 11. 23. 이전 1 다음 반응형
