[Apache Kafka] 카프카로 대용량 트래픽을 다루는 비결

현대의 데이터 처리 환경에서 정보의 양은 기하급수적으로 증가하고 있습니다. 특히 실시간 데이터 스트리밍이 중요해지면서, 기업들은 데이터의 흐름을 효과적으로 관리할 수 있는 혁신적인 솔루션을 찾고 있습니다. 

이 과정에서 Apache Kafka가 주목받고 있는 이유는 무엇일까요? 바로 ‘대용량 트래픽을 처리하는 뛰어난 성능’입니다.

예를 들어, 소셜 미디어 플랫폼에서는 수천만 명의 사용자가 생성하는 데이터를 실시간으로 수집하고 분석해야 합니다. 이러한 환경에서 전통적인 데이터 처리 방식은 한계에 부딪힐 수밖에 없습니다. Kafka는 이러한 문제를 해결하기 위해 설계된 분산형 메시지 시스템으로, 높은 처리량과 확장성을 제공합니다.

이 글에서는 대량의 데이터를 효율적으로 처리할 방법을 찾고 있는 분들을 위해 Kafka의 특징과 장점, 다양한 사용 사례, 그리고 사용 시 주의해야 할 사항에 대해 알려드리겠습니다.

카프카(Kafka)란?

‘Apache Kafka’는 고성능 분산 메시지 스트리밍 플랫폼으로, 대량의 데이터를 실시간으로 처리하고 전송하기 위해 설계되었습니다. LinkedIn에서 개발된 카프카(Kafka)는 2011년 오픈 소스로 공개되었으며, 현재 여러 기업과 개발자들 사이에서 널리 사용되고 있습니다.

카프카(Kafka)가 개발된 주된 이유는 데이터의 흐름을 효율적으로 관리하고, 다양한 시스템 간의 데이터 통신을 원활하게 하기 위함입니다. 특히 대규모 데이터 환경에서 발생할 수 있는 문제, 예를 들어 데이터 손실, 지연, 복잡한 데이터 파이프라인 구축 등을 해결하기 위해 고안되었습니다. Kafka는 이러한 요구에 부응하여 높은 처리량과 확장성을 제공합니다.

카프카(Kafka)는 어떻게 동작하는가

Kafka의 동작 원리를 이해하기 위해서는 먼저 ‘메시지 큐’와 ‘Pub/Sub 모델’이 무엇인지 알아야 합니다. 

이 두 구조는 데이터 흐름의 효율성을 높이고, 시스템 간의 결합도를 낮춰 각 시스템이 독립적으로 작동할 수 있도록 돕습니다. 

이를 통해 대규모 시스템에서 데이터 전송과 처리의 복잡성을 줄일 수 있습니다.

Kafka도 이러한 원리를 기반으로 작동하기 때문에, Kafka의 동작 원리를 이해하려면 메시지 큐와 Pub/Sub 모델을 제대로 파악하는 것이 중요합니다.

• 메시지 큐(Message Queue)

메시지 큐(Message Queue)는 분산 환경에서 시스템 간 데이터를 교환하기 위해 사용되는 통신 기법입니다. 데이터의 생산자와 소비자 간의 비동기적 통신을 가능하게 하는 시스템입니다.

메시지는 Queue에 저장되며, 소비자는 필요할 때 이 메시지를 읽어들여 처리할 수 있습니다. 카프카(Kafka)는 이러한 메시지 큐의 기능을 강화하여 수많은 소비자가 동시에 데이터를 소비할 수 있도록 설계되었습니다.

메시지 큐의 한계는 Producer(또는 Publisher)가 발행한 메시지를 보관하고 있는 큐에서 소비자가 메시지를 사용했을 때 다른 소비자는 해당 메시지를 재사용 할 수 없다는 것입니다. 이러한 한계를 해결하기 위해 카프카(Kafka)는 Pub/Sub 모델을 활용했습니다.

• Pub/Sub 모델

Pub/Sub 모델은 메시지 큐에서 제한된 메시지 재사용의 한계점을 해결해 주는 모델입니다. 데이터 생산자와 소비자 간의 느슨한 결합을 가능하게 해주며, 메시지를 1:1로 직접 송수신하지 않고 중앙 중계 시스템을 통해 전달됩니다. 

발행자는 데이터(Message)를 특정 주제(Topic)에 발행하고, 주제(Topic)를 구독한 구독자에게 메시지를 전파해 줍니다. Pub/Sub 모델을 통해 구독자는 관심 있는 주제만 구독하여 필요한 데이터를 수신할 수 있습니다. 

카프카(Kafka)는 이러한 Pub/Sub 모델을 활용하여 다양한 데이터 소스와 소비자가 상호작용할 수 있도록 합니다.

카프카(Kafka)의 동작 방식과 구조 설명

일반적인 메시지 큐는 Broker가 특정 큐에 저장한 메시지를 소비자가 읽는 구조입니다. 반면 Kafka는 분산 아키텍처를 기반으로 하며, 각 Broker가 메시지를 저장하고 클러스터가 전체 메시지를 처리합니다. 데이터는 Topic 별로 분류되고, 여러 파티션에 분산 저장된다는 점이 다릅니다.

일반적인 메시지 큐에서는 데이터를 처리할 때 큐에 쌓인 메시지를 1명의 소비자가 처리하게 되어있습니다. 하지만 분산 아키텍처(Partition)에서의 메시지 처리는 여러 명의 소비자가 병렬로 처리할 수 있기 때문에 트래픽을 유동적으로 빠르게 처리 할 수 있습니다.

소셜 미디어 플랫폼에서 사용자가 좋아요를 누르거나 댓글을 달면 활동 로그를 추적해 알고리즘을 업데이트한다고 가정해 보겠습니다. 이때 Kafka가 어떻게 동작하는지 살펴보겠습니다.

• Producer: 사용자가 게시물에 좋아요를 클릭하거나 댓글을 달면 해당 이벤트가 Producer에 의해 생성됩니다. 이 이벤트 정보는 “활동 로그”라는 Topic에 발행됩니다.

• Broker: Broker는 이 이벤트 정보를 받아 “활동 로그” Topic의 파티션에 저장합니다. 여러 사용자로부터 발생하는 이벤트가 동시에 처리되므로 높은 처리량을 유지합니다.

• Consumer: “활동 로그” Topic을 구독하는 실시간 분석 시스템이나 추천 알고리즘을 실행하는 Consumer가 사용자 활동 데이터를 실시간으로 읽고, 이를 기반으로 추천 콘텐츠를 업데이트하거나 통계를 생성합니다.

이러한 방식으로 Kafka는 실시간 스트리밍 애플리케이션에서 데이터 흐름을 효율적으로 관리합니다. 각 구성 요소가 독립적으로 동작하기 때문에 확장성도 매우 높습니다.

카프카(Kafka)를 사용해 

대량의 데이터 처리 문제를 해결한 기업의 사례

 

# 링크드인(LinkedIn)

(이미지 출처: LinkedIn 홈페이지)

구 LinkedIn의 시스템 아키텍처는 ‘엔드 투 엔드 방식’으로, 서비스 간의 의존도가 높고 시스템이 복잡했습니다. 이러한 복잡성을 해결하기 위해 중앙에서 이벤트(데이터)를 송수신하고, 서비스들은 이를 가져다 쓰는 이벤트 기반 아키텍처(Event Driven Architecture)로 변경했습니다.

(카프카 사용 전 링크드인의 시스템 아키텍처 처리 방식)

(카프카 사용 전 링크드인의 시스템 아키텍처 처리 방식)

그림에서 볼 수 있듯이, Kafka 클러스터는 이벤트 송수신의 역할만 하게 되고, 각 서비스는 서로 어떤 기능을 하는지, 어떤 데이터를 쓸 건지 알 필요가 없게 됩니다. 이렇게 중앙 집중형 클러스터가 도입되면서 서비스 간의 의존도가 감소하고 시스템이 더욱 유연해졌습니다.

#잘난도(Zalando)

(이미지 출처: Zalando 홈페이지)

Zalando라는 해외 온라인 쇼핑몰의 Kafka 도입 사례를 살펴보겠습니다. Zalando는 2015년 이후 꾸준한 노력을 통해, 2020년 기준으로 월간 활성 사용자 3,100만 명, 연간 주문 1억 5천만 건이라는 엄청난 성장을 이루었습니다. 하지만 급격히 증가하는 트래픽에 기존의 API 기반 데이터베이스 CRUD 방식으로는 데이터 처리에 한계를 느끼기 시작했습니다.

Zalando는 기존의 동기 처리 방식에서 이벤트 기반(Event-Driven) 아키텍처로 전환하면서, 카프카(Kafka)라는 대표적인 비동기 스트리밍 플랫폼을 도입하게 됩니다. 

카프카(Kafka)는 데이터의 순서를 보장하고, 대량의 데이터를 비동기 방식으로 빠르고 병렬적으로 처리할 수 있어, 기존 CRUD 방식에서 트래픽이 많아질 경우 과부하가 걸리던 문제를 해결할 수 있었습니다.

* CRUD 방식의 데이터 처리 방법이 궁금한 분들은 아래 링크를 통해 확인할 수 있습니다.

▶️ Prisma란? 기업들의 사용 사례부터 적용 방법까지의 사용 종합 가이드

Kafka 사용법

간단한 설정으로 Kafka의 메시지가 어떻게 송, 수신 되는지 알아보겠습니다. 이를 위해 먼저 docker-compose를 이용해 Kafka 서버를 구동하겠습니다. 아래 서비스들은 하나의 Kafka 클러스터가 됩니다.

위 도커파일 작성 후 docker-compose up -d –build 명령어로 구동합니다. 이후 localhost:8989 에 접속하면 아래와 같은 화면이 나타납니다. Kafka의 구성 요소인 Topic, Producer, Consumer, Broker 의 정보를 ui로 볼 수 있습니다.

Java 코드로 Kafka를 연동하는 방법

Kakfa서버를 실무에서 어떻게 연동하고 이용하는지도 함께 살펴보겠습니다. 먼저 필요한 라이브러리를 주입 받습니다.

implementation 'org.springframework.kafka:spring-kafka'

Producer 설정을 빈으로 등록해줍니다. 메시지를 발행하는 Producer의 설정입니다. 메시지의 크기, 컨버팅 방식 등을 설정 할 수 있습니다.

@Configuration public class KafkaProducerConfig {    private static final String END_POINT = "127.0.0.1:9092"; // Kafka host      @Bean    public ProducerFactory<String, Object> producerFactory() {        Map<String, Object> configProps = new HashMap<>();        configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, END_POINT);        configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);        configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, JsonSerializer.class);          return new DefaultKafkaProducerFactory<>(configProps);    }      @Bean    public KafkaTemplate<String, Object> kafkaTemplate() {        return new KafkaTemplate<>(producerFactory());    } }

그 다음 Consumer 설정입니다. Producer가 발행한 메시지를 수신받는 소비자의 설정이며, 메시지의 수신 주기, 사이즈 등을 설정 할 수 있습니다.

@EnableKafka @Configuration public class  KafkaConsumerConfig {    private static final String END_POINT = "127.0.0.1:9092"; // Kafka host      // default    @Bean    public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() {        ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>();          factory.setConsumerFactory(new DefaultKafkaConsumerFactory<>(getDefaultConfigProps()));        return factory;    }      private Map<String, Object> getDefaultConfigProps() {        Map<String, Object> defaultConfigProps = new HashMap<>();        defaultConfigProps.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, END_POINT);        defaultConfigProps.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);        defaultConfigProps.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);          return defaultConfigProps;    } }

메시지를 수신 받을 listener 설정입니다. 위 Consumer 설정으로 등록한 Container를 기반으로 메시지를 수신 받습니다.

@Component public class KafkaListener {    @KafkaListener(topics = "test-topic", groupId = "test-topic-group-01")    public void sendTest(ConsumerRecord<String, Object> record) {        System.out.println("send message : " + record.value());    } }

메시지를 송수신 하는 과정입니다. 메시지가 저장 될 토픽을 생성 후 Hello world 메시지를 보내주세요.

#작동 결과

 

 

Kafka 사용 시 주의사항

Kafka 사용 시 알아야할 3가지

• Kafka의 병렬 처리

Kafka의 큰 장점 중 하나는 병렬 처리 능력입니다. Kafka의 파티션 구조 덕분에, 하나의 Consumer 그룹 내에서 여러 Consumer들이 데이터를 병렬로 빠르게 처리할 수 있습니다. 이 설명을 들으면 “Consumer를 많이 늘리면 더 빨리 처리되지 않을까?“라고 생각할 수 있습니다. 그러나 Consumer를 무작정 늘리기만 해서는 효과적이지 않습니다.

Kafka에서는 하나의 파티션을 오직 하나의 Consumer만 읽을 수 있기 때문에, 파티션보다 많은 Consumer를 추가하면 나머지 Consumer들은 대기 상태에 들어갑니다. 이는 불필요한 자원 낭비로 이어집니다. 

또한 파티션과 Consumer를 비례해 무한정 늘리면 파일 핸들러와 같은 리소스가 과도하게 사용되어 시스템에 부하가 발생할 수 있습니다. 따라서 애플리케이션에 적합한 파티션과 Consumer 수를 적절히 설정하는 것이 중요합니다.

• 예외 처리와 메시지 유실 문제

Kafka는 메시지를 처리하는 중에 예외가 발생할 경우 ‘자동 재처리 기능’을 제공합니다. 이는 Consumer가 메시지를 처리하는 도중 장애가 발생하면, 해당 메시지를 다시 수신할 수 있도록 대기열에 넣어주는 기능입니다. 

그러나 모든 예외를 예측할 수 없는 것처럼, Kafka도 완벽하지는 않습니다. 예를 들어, Kafka에서 offset(Consumer가 메시지를 어디까지 읽었는지를 기록하는 값)을 업데이트하는 옵션을 설정하면, 예외가 발생했음에도 메시지가 정상 처리된 것으로 간주되어 메시지가 유실될 수 있습니다. 

따라서 이러한 상황을 방지하기 위해서는 별도의 예외 처리 핸들링을 구현해 유실되는 메시지가 없도록 주의해야 합니다.

• 적절한 도구 선택의 중요성

모든 기술은 애플리케이션의 데이터 종류, 양, 현재 아키텍처 등을 고려해 적절하게 사용해야 합니다. Kafka도 결국 하나의 메시지 큐일 뿐입니다. 메시지 큐의 목적은 메시지를 발행하고, 그 메시지를 필요한 주체가 가져다 소비하는 것입니다.

 잘못하면 오버 엔지니어링이 될 수 있기 때문에, 무조건 Kafka를 도입하기보다는 애플리케이션에 맞는 기술을 선택하는 것이 중요합니다. 

Kafka는 대규모 메시지를 저장하고 분산하는 데 적합하며, 대용량 데이터 처리가 아닌 경우에는 RabbitMQ와 같은 다른 메시지 큐가 더 적합할 수 있습니다.

Kafka를 사용하면서 어떤 옵션을 설정할지, 몇 개의 파티션과 Consumer 그룹으로 나눌지, 메시지 수신과 offset 처리는 어떻게 할지를 결정하는 것이 성능에 큰 영향을 미칩니다. 따라서 Kafka에 대한 전반적인 이해와 실무 경험이 있는 전문가를 두는 것이 매우 중요합니다.

이랜서 추천, 데이터 처리 효율을 높여주는 데이터베이스 효율 콘텐츠

▶️ 오라클 RAC를 활용한 다중 서버에서 데이터베이스 관리 방법!

▶️ GraphQL이란? 개념부터 사용법, 주의사항까지 종합 가이드

▶️ Prisma란? 기업들의 사용 사례부터 적용 방법까지의 사용 종합 가이드

이랜서 추천, 고객을 사로잡기 위한 서비스 전략 콘텐츠

▶️ 다크 모드 UI 디자인, 현직 디자이너는 ‘이것‘을 합니다.

▶️ UX 디자인의 일관성을 높이는 디자인 시스템 가이드 작성 비법과 사례

▶️ AI 챗봇, Chat GPT API를 활용하여 서비스 특화 AI 챗봇을 만드는 방법

카프카(Kafka)를 활용해 대용량 데이터를 

효율적으로 처리하는 DevOps 전문가가 필요하신가요?

숙련된 DevOps 전문가는 프로젝트의 트래픽 상태와 데이터 특성을 면밀히 분석해, 적합한 옵션과 아키텍처를 설계합니다. 

또한, 실패한 메시지를 재처리해 데이터 유실을 방지하며, 토픽의 파티션 수, 컨슈머 설정, 폴링 주기 등을 최적화해 시스템의 성능과 안정성을 극대화하여 시스템 운영의 효율성을 높이고, 잠재적인 장애를 사전에 예방하는데 도움을 줍니다.

안정적이고 효율적인 시스템 운영을 구축을 원하신다면 숙련된 DevOps 전문가를 채용하세요. 

프로젝트가 성공적으로 진행되도록 아키텍쳐를 설계하여 비용 절감과 함께 운영 효율성의 향상을 경험하게 될 것입니다.

일 잘하고 숙련된 

DevOps 전문가를 찾으신다면?

복잡한 시스템? 걱정 마세요!

대한민국 No.1 IT 인재 매칭 플랫폼 이랜서

이랜서는 대한민국 최대 IT 프리랜서 매칭 플랫폼입니다. 프로젝트의 가장 적합한 IT 프리랜서를 매칭하기 위해 25년의 노하우와 데이터를 활용하여 검증된 IT 프리랜서를 매칭합니다. 

현장에 바로 투입 가능한 IT 프리랜서를 데이터로 검증하여 매칭하는 프로젝트 맞춤형  IT 프리랜서 매칭 서비스로 지금까지 약 80,000건 이상의 프로젝트에 IT 프리랜서를 매칭하여 프로젝트 재의뢰율 98%를 달성하고 있습니다.

“수천장의 경력 기술서와 이력서, 포트폴리오의 서류 검토부터 

지원자 면접까지, IT 전문가 한 명을 채용하기 위해 

몇 일째 아무 것도 못하고 있습니다.”

‘인사는 만사(人事萬事)’라는 말이 있듯이 IT 전문가 채용은 매우 중요합니다. 프로젝트 경쟁력을 높이기 위해 수 천장의 경력 기술서와 이력서, 포트폴리오를 검토해 IT 전문가를  채용하지만, 수 천장의 서류를 검토해도 IT 인재 채용은 쉽게 해결되지 않습니다.

경쟁이 치열할수록 IT 전문가를 채용하는 것이 더욱 어려워지고 있습니다. 프로젝트 경쟁력을 높이기 위해 모든 기업이 실력있는 IT 전문가 채용에 열을 올리고 있습니다. 

프로젝트 비용 및 경쟁력을 높이기 위해서는 단 한 명의 IT 전문가라도 제대로 뽑아야합니다. 그래서 많은 인사 담당자들이 IT 전문가 채용에 많은 리소스를 할애하고 있습니다.

특수 툴의 사용이 가능해야 하는 여건상

상당한 기간이 걸릴 것이라는 예상과 다르게 

훨씬 빠른 기간 내에 프리랜서 구인이 완료됐습니다.

오셨던 분들의 실력도 매니저님이 잘 선별해 주셔서 
무사히 프로젝트를 마치게 되었습니다.

ㅡ 수** 기업 인사 담당자 ㅡ

IT 프로젝트는 다수의 부서가 협동해서 진행됩니다. 단순히 경력 기술서와 이력서, 포트폴리오만 확인해서는 프로젝트에 적합한 IT 전문가를 채용하기 어렵습니다.

정규 표현식부터 Javascript 문법, 문자열, 딕셔너리, 연산자, 리스트 등을 활용한 깔끔한 코딩 실력부터 CSS, Styled Components, Tailwind CSS, 부트스트랩 등을 활용한 최신 퍼블리싱 기술까지. 웹 애플리케이션 개발을 위한 Java 개발자, Gradle과 Maven을 활용한 빌드 전문가, Prisma, GraphQL, React Query, React Suspense, 파이썬 리스트,  파이썬 딕셔너리, 정규 표현식과 정규식, Spring과 Spring Boot, Kotlin, Flutter, .Net, Swift,Dart 언어, R 언어, 알고리즘과 머신, 딥 러닝을 활용할 AI 전문가와 Chat GPT를 활용한 AI 챗봇, 빅 데이터를 활용해 소비자의 마음을 관통하는 서비스를 개발하는 빅 데이터 전문가까지. 전자적 자원 관리 프로그램 관리를 위한 ERP와 SAP, RPA 전문가와 SI 업체, 아웃소싱, IT 외주 업체를 위한 전문 개발자와 QA까지 IT 전문 기술과 스텟만 수 백개에 달합니다.

“다수의 부서가 함께 모여 진행하는 IT 프로젝트

IT 전문가의 인성(협업 능력)은 확인 하셨나요?”

이랜서는 IT 인재 채용에 어려움을 겪는 기업의 문제를 해결하기 위해 25년 동안 데이터를 축적해왔습니다. 

IT 인재 채용에 어려움을 겪는 기업에 문제를 해결하기 위해 기업들과 함께 고민하며 이랜서는 깨달았습니다. 

기업들에게 필요한 IT 전문가는 

‘인성(협업 능력)’을 갖춘 전문가라는 것을.

대부분의 기업들이 경쟁력 있는 IT 전문가를 채용하기 위해 경력 기술서부터 이력서, 포트폴리오까지 수 천장의 서류는 확인하지만 정작 인성(협업 능력)은 제대로 확인하지 않았습니다.

이랜서는 기업들의 어려움을 해결하기 위해 25년 동안 노하우와 데이터를 축적했습니다.

25년동안 축적된 DB를 활용하여 전문성부터 인성(협업 능력)까지 검증된 IT 프리랜서를 매칭합니다. 전문성부터 인성(협업 능력)까지 25년의 데이터로 철저하게 검증했기에 프로젝트에 가장 적합한 IT 프리랜서를 매칭합니다.

“IT 전문가 채용에 너무 많은 시간을 쓰지 마세요!”

필요한 인력을 원하는 시기에 이랜서가 찾아드립니다.

이랜서는 약 41만 명의 IT 파트너쉽 중 25년의 데이터로 프로젝트에 가장 적합한 IT 프리랜서를 검증하여 프로젝트 등록 24시간 이내에 매칭합니다. 

경쟁력 있는 IT 인재 확보를 원하신다면, 프로젝트에 가장 적합한 IT 전문가의 채용을 원하신다면,  이랜서에서 최적합 IT 인재 매칭 서비스를 경험해 보세요.

25년의 데이터로 검증된 데이터 전문가를 찾으시나요?

대한민국 No.1 IT 인재 매칭 플랫폼 이랜서에

-> 회원 가입만 하세요.

-> 24시간 안에 전담 매니저가 연락을 드립니다.

-> 끝입니다. 이게 다냐구요? 네, 이게 다입니다.

-> 급하시다고요? 전화 주세요. 02-545-0042

25년의 노하우와 데이터를 바탕으로 검증된 IT 프리랜서를 매칭해 드립니다.