• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:apache-kafka-connect

apache-kafka

在Java中使用Kafka文件连接器读取文件

在Java中使用Kafka文件连接器读取文件
我已经用Java编写了一个非常简单的代码来读取文件并将这些记录发送给Kafka主题。一切都按预期进行。但是,我不想使用file而是使用Kafka文件连接器。我过去使用REST proxy(curl)命令做到了,但是从未在Java中尝试过。我需要一些帮助。 我可以看到Maven存储库中有Kafka-connect api,可以将其添加到我的pom.xml文件中……继续阅读 »

apache-kafka-connect

Kafka连接自定义timestamp.extractor

Kafka连接自定义timestamp.extractor
我试图从卡夫卡读取消息到S3,有问题添加jar到Kafka连接类路径。Kafka连接自定义timestamp.extractor 目标是根据时间戳在分区中写入消息,该时间戳是卡夫卡消息中密钥的一部分。 为了使故事简短,我必须提供自定义时间戳提取器。在文档here之后创建了一个类,该类实现TimestampExtractor接口并将一个JAR位置添加到plug……继续阅读 »

apache-kafka

Kafka-connect登录Docker容器

Kafka-connect登录Docker容器
我有一个kafka connect jar,它需要作为docker容器运行。我需要在容器中的日志文件中捕获所有连接日志(最好是在目录/文件-/ etc / kafka / kafka-connect-logs中),然后可以使用以下命令将其推送到localhost(运行docker引擎的主机) docker 中的卷。当我将connect-log4j.prope……继续阅读 »