• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

kafka

kafka
kafka:replica副本同步机制 [](https://www.jianshu.com/u/897… 1 前言 Kafka的流行归功于它设计和操作简单、存储系统高效、充分利用磁盘顺序读写等特性、非常适合在线日志收集等高吞吐场景。 Kafka特性之一是它的复制协议。复制协议是保障kafka高可靠性的关键。对于单个集群中每个Broke……继续阅读 »

kafka核心原理的秘密,藏在这16张图里

kafka核心原理的秘密,藏在这16张图里
文章首发公众号:码哥字节(ID:MageByte) Kafka 是一个优秀的分布式消息中间件,许多系统中都会使用到 Kafka 来做消息通信。对分布式消息系统的了解和使用几乎成为一个后台开发人员必备的技能。今天码哥字节就从常见的 Kafka 面试题入手,和大家聊聊 Kafka 的那些事儿。 讲一讲分布式消息中间件 问题 什么是分布式消息中间件? ……继续阅读 »

spring-boot-route(十四)整合Kafka

spring-boot-route(十四)整合Kafka
在上一章中SpringBoot整合RabbitMQ,已经详细介绍了消息队列的作用,这一种我们直接来学习SpringBoot如何整合kafka发送消息。 kafka简介 kafka是用Scala和Java语言开发的,高吞吐量的分布式消息中间件。高吞吐量使它在大数据领域具有天然的优势,被广泛用来记录日志。 kafka架构分析 注1:图中的红色箭头表示消息的流动……继续阅读 »

kafka 系列 — 7.1、日志存储

kafka 系列 — 7.1、日志存储
1、日志文件布局 __consumer_offset 存储着消费者提交的消费位移 2、日志存储格式 V0 消息格式 offset: 每一条消息都有一个 offset 用来标志它在分区中的偏移量,offset 是逻辑值,而非实际物理偏移量 message_size: 表示消息的大小 crc32(4B): crc32 校验值。校验范围为 magi……继续阅读 »

《我想进大厂》之MQ夺命连环11问

《我想进大厂》之MQ夺命连环11问
继之前的mysql夺命连环之后,我发现我这个标题被好多套用的,什么夺命zookeeper,夺命多线程一大堆,这一次,开始面试题系列MQ专题,消息队列作为日常常见的使用中间件,面试也是必问的点之一,一起来看看MQ的面试题。 你们为什么使用mq?具体的使用场景是什么? mq的作用很简单,削峰填谷。以电商交易下单的场景来说,正向交易的过程可能涉及到创建订单、扣减库……继续阅读 »

使用Spring Cloud Stream玩转RabbitMQ,RocketMQ和Kafka

使用Spring Cloud Stream玩转RabbitMQ,RocketMQ和Kafka
前一章我们讲了《SpringBoot RabbitMQ消息队列的重试、超时、延时、死信队列》,从代码层面引用了非常多的rabbit特征代码,如:rabbitTemplate.convertAndSend(), @RabbitListener(queues = "xxx")等,都是很简单的代码看起来一切都是合理的,但隐约感觉代码遭到了入侵。 业务的发展对MQ的……继续阅读 »

揭秘 Apache Pulsar 如何挑战 Kafka!

揭秘 Apache Pulsar 如何挑战 Kafka!
本专访对 StreamNative 联合创始人兼CTO、Apache Pulsar PMC 翟佳的采访内容。在本采访中,主要介绍了 Apache Pulsar 作为云原生流数据工具在消息处理领域的优势特性、与 Kafka 的一些对比概要以及 StreamNative 公司的介绍和发展方向。 开源流数据公司 StreamNative ……继续阅读 »

Tips | Flink sink schema 字段设计小技巧

Tips | Flink sink schema 字段设计小技巧
本系列每篇文章都比较短小,不定期更新,从一些实际的 case 出发抛砖引玉,提高小伙伴的姿势水平。本文介绍 Flink sink schema 字段设计小技巧,阅读时长大概 2 分钟,话不多说,直接进入正文! ## sink schema 中添加 version 版本字段 如 title,直接上实践案例和使用方式。 实践案例及使用方式 非故障……继续阅读 »

踩坑记 | Flink 事件时间语义下数据乱序丢数踩坑

踩坑记 | Flink 事件时间语义下数据乱序丢数踩坑
本文详细介绍了在上游使用处理时间语义的 flink 任务出现故障后,重启消费大量积压在上游的数据并产出至下游数据乱序特别严重时,下游 flink 任务使用事件时间语义时遇到的大量丢数问题以及相关的解决方案。 本文分为以下几个部分: 「1.本次踩坑的应用场景」 「2.应用场景中发生的丢数故障分析」 「3.待修复的故障点」 「4.丢数故障解决方案及原理……继续阅读 »

Kafka 为什么能那么快

Kafka 为什么能那么快
Kafka 为什么能那么快 | Kafka高效读写数据的原因 无论 kafka 作为 MQ 也好,作为存储层也罢,无非就是两个功能(好简单的样子),一是 Producer 生产的数据存到 broker,二是 Consumer 从 broker 读取数据。那 Kafka 的快也就体现在读写两个方面了,下面我们就聊聊 Kafka 快的原因。 1. 利用 Par……继续阅读 »