Java實(shí)現(xiàn)Kafka生產(chǎn)者消費(fèi)者代碼實(shí)例
Kafka的結(jié)構(gòu)與RabbitMQ類(lèi)似,消息生產(chǎn)者向Kafka服務(wù)器發(fā)送消息,Kafka接收消息后,再投遞給消費(fèi)者。生產(chǎn)者的消費(fèi)會(huì)被發(fā)送到Topic中,Topic中保存著各類(lèi)數(shù)據(jù),每一條數(shù)據(jù)都使用鍵、值進(jìn)行保存。每一個(gè)Topic中都包含一個(gè)或多個(gè)物理分區(qū)(Partition),分區(qū)維護(hù)著消息的內(nèi)容和索引,它們有可能被保存在不同服務(wù)器。
新建一個(gè)Maven項(xiàng)目,pom.xml 加入依賴(lài):
<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.3.0</version> </dependency>
1、編寫(xiě)生產(chǎn)者
將消息投遞到Kafka服務(wù)器的名稱(chēng)為“topic1”的Topic中
package com.example.kafkatest;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.common.serialization.StringSerializer;import java.util.Properties;public class Producer { public static void main(String[] args) { //配置信息 Properties props = new Properties(); //kafka服務(wù)器地址 props.put('bootstrap.servers', 'localhost:9092'); //設(shè)置數(shù)據(jù)key和value的序列化處理類(lèi) props.put('key.serializer', StringSerializer.class); props.put('value.serializer', StringSerializer.class); //創(chuàng)建生產(chǎn)者實(shí)例 KafkaProducer<String,String> producer = new KafkaProducer<>(props); ProducerRecord record = new ProducerRecord<String, String>('topic1', 'userName', 'lc'); //發(fā)送記錄 producer.send(record); producer.close(); }}
運(yùn)行后,可打開(kāi)命令行工具,進(jìn)入Kafka目錄,執(zhí)行命令查詢(xún)服務(wù)器的Topic:
binwindowskafka-topics.bat --list --zookeeper localhost:2181
結(jié)果如下:
2、編寫(xiě)消費(fèi)者
本例中,消費(fèi)者和生產(chǎn)者在同一個(gè)項(xiàng)目中,只是使用不同的啟動(dòng)類(lèi)。
消費(fèi)者會(huì)為自已指定一個(gè)消費(fèi)者組的標(biāo)識(shí),每一條發(fā)布到Topic的記錄,都會(huì)被交付給消費(fèi)者組的一個(gè)消費(fèi)者實(shí)例。
如果多個(gè)消費(fèi)者實(shí)例有相同的消費(fèi)者組,則這些記錄會(huì)分配到各個(gè)消費(fèi)者實(shí)例上,以達(dá)到負(fù)載均衡的目錄。
如果所有的消費(fèi)者有不同的消費(fèi)者組,則每一條記錄都會(huì)廣播到全部的消費(fèi)者進(jìn)行處理。
package com.example.rabbittest;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.apache.kafka.common.serialization.StringDeserializer;import java.time.Duration;import java.util.Arrays;import java.util.Properties;public class Consumer { public static void main(String[] args) { //配置信息 Properties props = new Properties(); //kafka服務(wù)器地址 props.put('bootstrap.servers', 'localhost:9092'); //必須指定消費(fèi)者組 props.put('group.id', 'test'); //設(shè)置數(shù)據(jù)key和value的序列化處理類(lèi) props.put('key.deserializer', StringDeserializer.class); props.put('value.deserializer', StringDeserializer.class); //創(chuàng)建消息者實(shí)例 KafkaConsumer<String,String> consumer = new KafkaConsumer<>(props); //訂閱topic1的消息 consumer.subscribe(Arrays.asList('topic1')); //到服務(wù)器中讀取記錄 while (true){ ConsumerRecords<String,String> records = consumer.poll(Duration.ofMillis(100)); for(ConsumerRecord<String,String> record : records){System.out.println('key:' + record.key() + '' + ',value:' + record.value()); } } }}
運(yùn)行后,IDEA控制臺(tái)其中輸出如下:
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. jsp文件下載功能實(shí)現(xiàn)代碼2. phpstudy apache開(kāi)啟ssi使用詳解3. jsp實(shí)現(xiàn)登錄驗(yàn)證的過(guò)濾器4. Xml簡(jiǎn)介_(kāi)動(dòng)力節(jié)點(diǎn)Java學(xué)院整理5. 詳解瀏覽器的緩存機(jī)制6. .Net加密神器Eazfuscator.NET?2023.2?最新版使用教程7. 如何在jsp界面中插入圖片8. JSP之表單提交get和post的區(qū)別詳解及實(shí)例9. ASP動(dòng)態(tài)網(wǎng)頁(yè)制作技術(shù)經(jīng)驗(yàn)分享10. .Net Core和RabbitMQ限制循環(huán)消費(fèi)的方法
