첸첸's devlog

offset 을 리셋하면 데이터를 처음부터 다시 읽을 수 있다. 1️⃣ consumer-group 상세보기 kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group consumer-group LOG-END-OFFSET을 보면, 마지막으로 읽은 offset을 확인 할 수 있다. 2️⃣ offset 리셋하기 - reset시에는 모든 consumer group이 비활성화 상태여야한다. 아니면 아래와 같은 에러가 난다. `Assignments can only be reset if the group consumer-group is inactive, but the current state is Stable` kafka-consumer..

아래의 그림처럼 consumer-group이라는 #컨슈머그룹을 만들고 여러 컨슈머를 생성하는 방법을 알아보자. 1️⃣ topic 생성하기 kafka-topics.sh --bootstrap-server localhost:9092 --topic test_topic --create --partitions 5 2️⃣ 하나의 consumer로 시작하기 - #옵션 : --group kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test_topic --group consumer-group 3️⃣ 하나의 producer 시작 # kafka-console-producer.sh --bootstrap-server localhost:9092 --pro..

1️⃣ topic 생성 kafka-topics.sh --bootstrap-server localhost:9092 --topic test_topic --create --partitions 3 2️⃣ #producing / 데이터 쓰기 1) key없이 데이터 쓰기 - 키를 입력하지 않은 경우 key는 Null이다 kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test_topic 위 명령어를 입력하면, 데이터를 쓸 수 있게 터미널이 변경 된다. 쓰고 싶은 데이터를 입력 후 프로듀서를 빠지나오고 싶으면 ctrl+C를 눌러주면 된다. 2) key 데이터 쓰기 - : 로 key와 값을 구분한다. - 동일한 키는 동일한 파티션에 데이터가 쓰..

1️⃣ #토픽 만들기 - first_topic 이라는 이름을 가진 토픽 만들기 kafka-topics.sh --bootstrap-server localhost:9092 --topic first_topic --create 2️⃣ topic 리스트 확인하기 kafka-topics.sh --bootstrap-server localhost:9092 --list 3️⃣ #partition 을 가진 토픽 만들기 - 3개의 파티션을 가진 second_topic 이라는 이름을 가진 토픽 만들기 kafka-topics.sh --bootstrap-server localhost:9092 --topic second_topic --create --partitions 3 4️⃣ #복제계수 - 복제계수 : 재해 복구의 목적과 고가..