• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

消息队列的消费幂等性如何保证

消息队列的消费幂等性如何保证
什么是幂等? 任意多次执行所产生的影响均与一次执行的影响相同就可以称为幂等 什么是消息幂等? 当出现消费者对某条消息重复消费的情况时,重复消费的结果与消费一次的结果是相同的,并且多次消费并未对业务系统产生任何负面影响 为什么我们要保证幂等性,不保证幂等性,会不会有问题? 这个问题其实没法准确回答。回答这个问题的根源得从业务场景上进行分析。比如正常业务情况下,……继续阅读 »

kafka 系列 — 1、基本概念

kafka 系列 — 1、基本概念
前言 思考的过程往往比直接得到结论更加重要 kafka 应用场景 应用监控 网站用户行为追踪 流数据 持久性日志 基本概念 在说基本概念前,先看一下 kafka 的系统架构 Broker 一般而言,一台机器就是一个 broker,当然 1 台机器上可以部署多个 broker Producer 消息的生产者 Consumer 消息的消费者 Consume……继续阅读 »

搭建-kafka-测试集群

搭建-kafka-测试集群
申请机器 联系OP同学申请机器,Linux服务器一台、三台、五台、(2*n+1),Zookeeper集群的工作是超过半数才能对外提供服务,3台中超过两台超过半数,允许1台挂掉 ,是否可用偶数,其实没必要。如果有四台那么挂掉一台还剩下三台服务器,如果在挂掉一个就不行了,这里记住是超过半数。找到如下 3 台机器: 10.159.1.40 10.159.1……继续阅读 »

KoP 正式开源:在 Apache Pulsar 上支持原生 Kafka 协议

KoP 正式开源:在 Apache Pulsar 上支持原生 Kafka 协议
我们很高兴地宣布 StreamNative 和 OVHcloud 开源了 “KoP“(Kafka on Pulsar)。KoP 将 Kafka 协议处理插件引入 Pulsar broker。这样一来,Apache Pulsar 就支持原生 Apache Kafka 协议。将 KoP 协议处理插件添加到现有 Pulsar 集群后,用户不用修改代码就可以将现有……继续阅读 »

Springboot系列之kafka操作

Springboot系列之kafka操作
Springboot系列之kafka操作 kafka简介 ApacheKafka®是一个分布式流媒体平台。有三个关键功能: 发布和订阅记录流,类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 记录发生时处理流。 Kafka通常用于两大类应用: 构建可在系统或应用程序之间可靠获取数据的实时流数据管道 构建转换或响应数据流的实时流应用程序 ……继续阅读 »

Springboot集成Kafka

Springboot集成Kafka
Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。 Springboot的基本搭建和配置我在之……继续阅读 »

慕课网_《Kafka流处理平台》学习总结

慕课网_《Kafka流处理平台》学习总结
慕课网《Kafka流处理平台》学习总结 时间:2018年09月09日星期日 说明:本文部分内容均来自慕课网。@慕课网:https://www.imooc.com 教学源码:无 学习源码:https://github.com/zccodere/s… 第一章:课程介绍 1-1 课程介绍 课程介绍 Kafka概念解析 Kafka结构……继续阅读 »

kafka stream word count实例

kafka stream word count实例
序 kafka呢其实正道不是消息队列,本质是日志存储系统,而stream processing是其最近大力推广的特性,本文简单介绍下word count的实例。 maven <dependency> <groupId>org.apache.kafka</groupId> ……继续阅读 »

Kafka到底有几个Offset?——Kafka核心之偏移量机制

Kafka到底有几个Offset?——Kafka核心之偏移量机制
​ Kafka是由LinkIn开源的实时数据处理框架,目前已经更新到2.3版本。不同于一般的消息中间件,Kafka通过数据持久化和磁盘读写获得了极高的吞吐量,并可以不依赖Storm,SparkStreaming的流处理平台,自己进行实时的流处理。 ​ Kakfa的Offset机制是其最核心机制之一,由于API对于部分功能的实现,我们有时并没有手动去设置Off……继续阅读 »

分布式消息系统:Kafka

分布式消息系统:Kafka
前言 作为消息中间件,Kafka用以服务消息的异步传输功能和JMS类似:生产者把消息放进队列中,消费者从队列中获取数据但是实现起来却是完全不一样 Kafka流程结构图 1.Producer是通过连接Broker来发送消息的2.Producer是向某个Topic来传递送消息的3.发送到Topic中的消息是可以给不同Broker处理的4.Consumer是连接……继续阅读 »