ramramg 님의 블로그

이전글: 2025.05.16 - [기술노트/Apach Kafka] - Kafka 기초4 - 컨슈머 그룹지난 글에서는 카프카에서 데이터 소비의 확장성과 안정성을 책임지는 컨슈머 그룹과 메시지 전달 의미론에 대해 자세히 알아보았다. 컨슈머가 메시지를 잘 소비하기 위해서는, 그 메시지를 어딘가에 안전하게 보관하고 있다가 요청에 맞춰 전달하는 역할이 필수적이다. 바로 카프카 브로커(Kafka Broker) 가 그 중요한 임무를 수행하는 주체이다. 이번 글에서는 카프카 시스템의 핵심 구성원이자 데이터 저장과 전송의 실무를 담당하는 브로커에 대해 좀 더 구체적으로 파고들어 보고자 한다. 브로커가 무엇이고, 데이터는 어떻게 관리하며, 클라이언트와는 어떻게 소통하는지 설명하도록 하겠다. 브로커(Broker)란? 브로..

이전글: 2025.05.02 - [기술노트/Apach Kafka] - Kafka 기초3 - 컨슈머이번 글에서는 여러 컨슈머가 협력하여 데이터를 병렬적으로 처리하는 강력한 기능인 컨슈머 그룹(Consumer Group) 에 대해 심도 있게 다뤄보겠다. 컨슈머 그룹(Consumer Group)이란?카프카에서 컨슈머 그룹(Consumer Group) 이란 여러 컨슈머가 하나의 논리적인 그룹으로 묶여,특정 토픽의 데이터를 분담해서 읽어오는 구조를 말한다. 컨슈머 그룹을 사용하면 메시지 처리량을 확장하고, 시스템 장애 발생 시에도 안정적으로 데이터를 소비할 수 있다. 컨슈머 그룹의 가장 중요한 특징은 같은 그룹 내의 컨슈머들은 동일한 파티션의 데이터를 중복으로 소비하지 않는다는 점이다. 즉, 하나의 파티션은 해당..

이전글:2025.05.02 - [기술노트/Apach Kafka] - Kafka 기초1 - 토픽, 파티션, 오프셋카프카에서 프로듀서(Producer)는 끊임없이 생성되는 데이터를 카프카의 토픽에 흘려보내는 역할을 한다.이번 글에서는 카프카 프로듀서가 무엇이며, 어떻게 동작하여 데이터를 안정적으로 전송하는 지에 대해 자세히 알아본다.프로듀서(Producer)란?프로듀서(Producer)란 카프카의 토픽(Topic)으로 데이터를 전송하는 역할을 담당하는 애플리케이션 또는 컴포넌트를 의미한다. 프로듀서는 생성된 메시지를 특정 토픽의 특정 파티션(Partition)으로 보내는 주체이다. 프로듀서는 카프카 서버(Broker)와 연결하여, 토픽을 기준으로 메세지를 발행하는데 이때, 토픽은 내부적으로 어러 파티션으로 ..

이전글: 2025.05.02 - [기술노트/Apach Kafka] - Kafka 기초0 - Apach Kafka란이번 글에서는 카프카의 내부 동작 원리를 이해하는 데 있어 가장 기본적이면서도 핵심적인 세 가지 구성 요소, 바로 토픽(Topic), 파티션(Partition), 그리고 오프셋(Offset) 에 대해 자세히 알아본다. 이들은 카프카가 어떻게 데이터를 조직하고, 저장하며, 소비할 수 있게 하는지의 근간을 이룬다.토픽(Topic)이란?카프카에서 토픽은 데이터가 흘러가는 논리적인 통로이자 분류 단위다.특정 종류의 메시지들을 그룹화하는 이름표라고 생각할 수 있다. 예를 들어, 쇼핑몰과 같은 이커머스 시스템이라면주문 생성은 order 토픽,결제 완료는 payment 토픽,배송 시작은 shipment 토..

Apache Kafka란?Apache Kafka는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 수천 개의 회사에서 사용하는 오픈 소스 분산 이벤트 스트리밍 플랫폼이다.왜 사용할까?회사 시스템을 들여다보면 한숨부터 나온다. 데이터베이스(DB)에서 데이터를 뽑아 분석 도구로 보내고,또 다른 데이터를 가공해 이메일 시스템으로도 보내야 한다. 늘어나는 서비스만큼 소스 시스템과 타겟 시스템은 거미줄처럼 얽혀만 간다.단순히 계산해 봐도 그렇다.소스가 4개, 데이터를 받아야 할 타겟이 6개라고 치자. 점대점으로 연결한다면 최대 24개의 통합 파이프라인이 필요하다.상상만 해도 머리가 지끈거린다. 이게 다가 아니다. 어떤 놈은 REST로 데이터를 던지고, 다른 놈은 FTP..