PRDEN

1. 설치 https://www.popit.kr/%ec%b9%b4%ed%94%84%ec%b9%b4-%ec%84%a4%ec%b9%98-%ec%8b%9c-%ea%b0%80%ec%9e%a5-%ec%a4%91%ec%9a%94%ed%95%9c-%ec%84%a4%ec%a0%95-4%ea%b0%80%ec%a7%80/ 카프카 설치 시 가장 중요한 설정 4가지 | Popit 카프카 보안과 커버로스(Kerberos)를 이용해 구성하는 방법에 대해 다루는 글을 쓰려다가, 현재 제가 구성한 보안 클러스터 구성환경에 접속할 수도 없고 새로 구성하기도 어려운 상황이라, 평소 www.popit.kr

1.카프카 브로커 https://devbksheen.tistory.com/entry/Kafka-Broker-Zookeeper Kafka Broker & Zookeeper란? Kafka Broker & Zookeeper란? 브로커(broker)는 실행된 Kafka application 서버를 뜻한다. 주키퍼(zookeeper)는 이러한 분산 메세지 큐의 정보를 관리해 주는 역할을 한다. kafka를 띄우기 위해서는 주키퍼가 반드시 devbksheen.tistory.com 2. 프로듀서 컨슈머 https://devbksheen.tistory.com/entry/Kafka-Producer-Consumer Kafka Producer & Consumer란? Producer & Consumer란? 프로듀서(produ..

1. 카프카의 탄생 배경 파편화된 데이터 수집 및 분배 아키텍처를 운영하는데 큰 어려움을 겪던 링크드인이 개발했다. 카프카는 각각의 애플리케이션끼리 연결하여 데이터를 처리하는 것이 아닌, 한 곳에 모아 처리할 수 있도록 중앙집중화했다. 즉, 카프카는 기업의 대용량 데이터를 수집하고 이를 사용자들이 실시간 스트림으로 소비할 수 있도록 만들어주는 일종의 중추 신경으로 동작한다고 볼 수 있다. 카프카를 중앙에 배치하면서 소스애플리케이션과 타깃 애플리케이션 사이의 의존도를 최소화하여 커플링을 완화하였다. 카프카 내부에 데이터가 저장되는 파티션의 동작은 FIFO 방식의 큐 자료구조와 유사하다. 큐에 데이터를 보내는 것이 프로듀서이고 큐에서 데이터를 가져가는 것이 컨슈머이다. 상용 환경에서 카프카는 최소 3대 이상..