getMessages()
下面的方法有时会获取 kafka 主题的所有消息。此代码在页面加载时在 Web 应用程序中执行。有时没有消息返回,有时所有消息都返回。
有没有办法设置属性和/或更改代码,以便每次都返回所有消息?
public List<String> getMessages() {
List<String> messages = new ArrayList<>();
try {
ConnectionKafka connection = ConstantsHome.connectionManager.getConnectionDef(getGuid(), ConnectionKafka.class);
Properties props = new Properties();
props.put("bootstrap.servers", connection.getProps().get("bootstrapServers"));
props.put("group.id", getName());
props.put("auto.offset.reset", "earliest");
props.put("enable.auto.commit", "true");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Collections.singleton(getName()));
consumer.poll(0);
consumer.seekToBeginning(consumer.assignment());
ConsumerRecords<String, String> records = consumer.poll(0);
for (ConsumerRecord<String, String> record : records) {
messages.add(
String.format("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value())
);
}
consumer.close(0, TimeUnit.MILLISECONDS);
} catch (Exception e) {
Utils.writeToLog(e, getClass().getName(), "", IErrorManager.ERROR);
}
Collections.sort(messages, new Comparator<String>() {
@Override
public int compare(String o1, String o2) {
return Integer.valueOf(o1.substring("offset = ".length(), o1.indexOf(","))) -
Integer.valueOf(o2.substring("offset = ".length(), o2.indexOf(",")));
}
});
return messages;
}
如果您期望获得每次通话的所有消息,您应该正确设置以下内容
enable.auto.commit = false
另一个选项是为每次迭代创建一个动态组 ID,考虑到组元数据存储在 kafka 端,我会避免使用此选项。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句