我正在尝试找到在Kafka Streams中对第n个事件执行操作的最佳方法。
我的情况:我有一个带有一些Events的输入流。我必须通过eventType == login过滤它们,并在每次第n次登录(假设是第五次)时将同一accountId将此Event发送到输出流。
经过一些调查和不同的尝试,我有了下面的代码版本(我使用的是Kotlin)。
data class Event(
val payload: Any = {},
val accountId: String,
val eventType: String = ""
)
// intermediate class to keep the key and value of the original event
data class LoginEvent(
val eventKey: String,
val eventValue: Event
)
fun process() {
val userLoginsStoreBuilder = Stores.keyValueStoreBuilder(
Stores.persistentKeyValueStore("logins"),
Serdes.String(),
Serdes.Integer()
)
val streamsBuilder = StreamsBuilder().addStateStore(userCheckInsStoreBuilder)
val inputStream = streamsBuilder.stream<String, String>(inputTopic)
inputStream.map { key, event ->
KeyValue(key, json.readValue<Event>(event))
}.filter { _, event -> event.eventType == "login" }
.map { key, event -> KeyValue(event.accountId, LoginEvent(key, event)) }
.transform(
UserLoginsTransformer("logins", 5),
"logins"
)
.filter { _, value -> value }
.map { key, _ -> KeyValue(key.eventKey, json.writeValueAsString(key.eventValue)) }
.to("fifth_login", Produced.with(Serdes.String(), Serdes.String()))
...
}
class UserLoginsTransformer(private val storeName: String, private val loginsThreshold: Int = 5) :
TransformerSupplier<String, CheckInEvent, KeyValue< LoginEvent, Boolean>> {
override fun get(): Transformer<String, LoginEvent, KeyValue< LoginEvent, Boolean>> {
return object : Transformer<String, LoginEvent, KeyValue< LoginEvent, Boolean>> {
private lateinit var store: KeyValueStore<String, Int>
@Suppress("UNCHECKED_CAST")
override fun init(context: ProcessorContext) {
store = context.getStateStore(storeName) as KeyValueStore<String, Int>
}
override fun transform(key: String, value: LoginEvent): KeyValue< LoginEvent, Boolean> {
val counter = (store.get(key) ?: 0) + 1
return if (counter == loginsThreshold) {
store.delete(key)
KeyValue(value, true)
} else {
store.put(key, counter)
KeyValue(value, false)
}
}
override fun close() {
}
}
}
}
我最大的担心是transform
我的情况下函数不是线程安全的。我已经检查了我的案例中使用的KV存储的实现,这是RocksDB存储(非事务性),因此该值可能会在读取和比较之间更新,并且错误的事件将发送到输出。
我的其他想法:
还有一点要注意:我正在使用Spring Cloud Stream,所以也许该框架针对我的情况有一个内置的解决方案,但是我没有找到它。
我将不胜感激任何建议。提前致谢。
我最大的担心是在我的情况下,转换函数不是线程安全的。我已经检查了我的案例中使用的KV存储的实现,这是RocksDB存储(非事务性),因此该值可能会在读取和比较之间更新,并且错误的事件将发送到输出。
没有理由要担心。如果使用多个线程运行,则每个线程将拥有自己的RocksDB,该RocksDB存储整个数据中的一个分片(请注意,总体状态是基于输入主题分区进行分片的,并且单个分片永远不会由不同的线程处理)。因此,您的代码将正常工作。您唯一需要确保的是,数据是by的分区accountId
,因此单个帐户的登录事件将进入同一分片。
如果accountId
在输入主题中输入的数据已经按进行分区,则无需执行任何操作。如果没有,则可以控制上游应用程序,最简单的方法是在上游的应用程序生产者中使用自定义分区程序来获取所需的分区。如果您不能更改上游应用程序,则需要在将accountId
as设置为新键之后对数据进行重新分区,即,through()
在调用之前进行操作transform()
。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句