Kafka 101
·
Management/일 잘하기
1. Kafka란 무엇인가?Apache Kafka는 분산 이벤트 저장소이자 스트리밍 플랫폼입니다. 원래는 LinkedIn 내부 프로젝트로 시작했으며, 현재는 Netflix, Uber 같은 글로벌 기업들의 대규모 데이터 파이프라인을 구동하는 핵심 기술로 자리 잡았습니다.Kafka의 핵심은 실시간 데이터 스트리밍 처리와 대규모 데이터 이벤트 저장 및 전달에 있습니다. 기존의 메시징 큐보다 확장성과 안정성이 뛰어나 빅데이터 및 실시간 처리 환경에서 널리 사용됩니다.2. Kafka 메시지 (Kafka Messages)Kafka에서 가장 기본적인 데이터 단위는 메시지(Message)입니다.메시지는 보통 다음과 같은 구조를 가집니다.헤더(Headers): 메시지의 메타데이터(추가 속성, 라우팅 정보 등)키(Key)..