The Data Streaming Platform Confluent

데이터 스트리밍의 선구자가 제공하는 올인원 실시간 플랫폼으로데이터를 스트리밍, 연결 , 처리 및 관리하세요. 시장을 선도하는 데이터 스트리밍 플랫폼으로 더 빠르고 스마트하게 구축하고, 데이터 혼란을 즉시 액세스하고 사용할 수 있는 데이터 제품으로 전환하세요.

What Does Kafka Do?

  • 결제, 주문 및 데이터베이스 변경과 같은 이벤트 스트림을 밀리초 단위로 생성, 가져오기, 공유
  • 필요한 만큼 보관
  • 타임머신처럼 기록 데이터를 재생하고 재처리

  • 이벤트에 즉시 대응하고 실시간 작업 중에 확장할 수 있는 가볍고 탄력적인 애플리케이션 및 마이크로 서비스를 구축
  • 실시간으로 데이터 스트림과 테이블을 24×7로 처리, 결합 및 분석 가능

  • 단일 플랫폼을 사용하여 전사적으로 데이터를 이동 가능
  • 신뢰할 수 있는 동일한 기술로 시스템, 데이터 센터 및 클라우드를 연결
  • 최대 규모의 프로덕션 구현은 하루에 수조개의 이벤트를 처리

Overview of Kafka Architecture

  • 개발자가 실시간으로 발생하는 새로운 이벤트에 반응할 수 있게 해주는 데이터 스트리밍 시스템

  • 스토리지 계층
  • 컴퓨팅 계층

  • 데이터를 효율적으로 저장하도록 설계되었으며 시간이 지남에 따라 스토리지 요구 사항이 증가하는 경우 확장을 수용하기위해 시스템을 쉽게 확장할 수 있는 분산 시스템

  • Kafka가 분산 시스템 전체에서 애플리케이션을 확장할 수 있도록 하는 Producer, Consumer, Stream 및Connector API의 네 가지 핵심 구성 요소로 구성

  • Kafka의 강력한 애플리케이션계층의 기반은 스토리지에 액세스하기 위한 두 가지 기본 API
  • 이벤트를 작성하기 위한Producer API와 이를 읽기 위한 Consumer API

  • Producer 및 Consumer API 위에 구축된 Kafka Connect는 Kafka 및 외부 시스템에서 데이터를 통합하는 간단한 방법을 제공
  • 소스 커넥터는 외부시스템에서 데이터를 가져와 Kafka 토픽에 생성
  • 싱크 커넥터는 Kafka 토픽에서 데이터를 가져와 외부 시스템에 기록

  • 도착하는 이벤트를 처리하기 위해 Producer 및 Consumer API 위에 구축된Java 라이브러리인 Kafka  Streams가존재
  • Kafka Streams를 사용하면 실시간 스트림 처리, 강력한 변환 및 이벤트 데이터 집계를 수행 할 수 있음

  • Kafka Streams를 기반으로 구축된 ksqlDB는 유사한처리를 허용하지만 선언적 SQL과 유사한 구문을 사용하는 스트리밍 데이터베이스

Kafka Topic과 Topic Partitions

Topic (Kafka의 핵심 개념)

  • Kafka 내부에이벤트(데이터) 저장소

  • 추가전용의 불변의 이벤트 로그

  • 토픽에서 이벤트의 저장 및 처리를 분산하기 위해 파티션 개념을 사용

  • 토픽은 파티션들로 구성되어 Kafka  브로커에 있는 여러 “Buckets”에 분산됨

Partition (Commit Log)

  • Kafka 이벤트의 기본 스토리지 단위이며 병렬 처리의 기본단위

  • 하나의 Topic은 하나 이상의 Partition으로 구성됨

  • 이벤트에는 Offset이라는 유니크한 고유 식별자가 지정됨

  • 병렬처리 (Throughput 향상)를 위해서 다수의 Partition 사용하며 클러스터 노드에 분산됨

  • 데이터의 분산 배치로 다수의 Client가 여러 브로커에 동시에 데이터를Read/Write 가능

  • 분산 클러스터 구조로 고가용성과 뛰어난 확장성 제공

Confluent : Data Governance/Hub를 위한 Enterprise Kafka

Confluent는 Enterprise 환경에서 조직의 Data Governance 및 Data Hub로 Kafka를 사용함에 있어 필요로 하는 다양한 기술 요구사항과 보안, 안정성, 무중단 업그레이드 및 Best Practice와 수준 높은 컨설팅 서비스를 제공합니다.

Confluent Platform – Reference Architecture

Confluent Platform – Reference Architecture

Confluent Platform 권장 및 최소 사양

Confluent는 Apache Kafka 그 이상입니다.

Complete : 완전한 데이터 스트리밍 플랫폼을 위한 모든 필수 도구를 사용하여 Apache Kafka를 넘어서십시오.