• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

设置不同的线程用于内卡夫卡不同操作行旅

apache-kafka 来源:rishi007bansod 5次浏览

我已经定义以下在卡夫卡拓扑流设置不同的线程用于内卡夫卡不同操作行旅

Operation 1 : input_stream ----> filter ----> window_processing ----> write_to_topic 
Operation 2 : input_stream ----> write_to_topic 

我观察到,这两个操作正在由同一线程(即使我增加线程StreamsConfig.NUM_STREAM_THREADS_CONFIG因子)来执行。但是现在我希望他们能够通过不同的线程进行处理,因为Operation 1正在减速Operation 2。有没有办法为不同的操作设置不同的线程。如上面的情况Operation 1正在阻止并放慢Operation 2

===========解决方案如下:

卡夫卡流通过分区和子拓扑/任务并行化。在你的情况下,只有一个子拓扑,因此你只能通过分区并行化。因此,您可以运行尽可能多的线程,因为您可以并行输入主题分区,并且每个线程处理一个分区(或者多个分区的线程少于分区)。

如果您确实想将两个“操作分支”拆分为独立的线程,则需要编写两个应用程序而不是一个应用程序。


版权声明:本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。
喜欢 (0)