## 前言 现在假定这么一个业务场景，从`kafka`中的`topic`获取消息数据，经过一定加工处理后，发送到另外一个`topic`中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的`Exactly-Once`精确一次消息投递。这该如何实现呢？ 
## 前言 天下武功，唯快不破。同样的，kafka在消息队列领域，也是非常快的，这里的块指的是kafka在单位时间搬运的数据量大小，也就是吞吐量，下图是搬运网上的一个性能测试结果，在同步发送场景下，单机Kafka的吞吐量高达17.3w/s，不愧是高吞吐量消息中间件的行业老大。 
## 前言 消息的消费一般有两种模式，推模式和拉模式。推模式是服务端主动将消息推送给消费者，而拉模式是消费者主动向服务端发起请求来拉取消息。kakfa采用的是拉模式，这样可以很好的控制消费速率。那么kafka消费的具体工作流程是什么样的呢？kafka的位移管理又是怎么样的呢？ ## 消费者消费规则 阅读全文
## 前言 `kafka`集群是由多个`broker`节点组成，这里面包含了许多的知识点，以下的这些问题你都知道吗? - 你知道`topic`的分区`leader`是怎么选举的吗？ - 你知道`zookeeper`中存储了`kafka`的什么信息吗？起到什么做呢？ - 你知道`kafka`消息文件是 阅读全文
## 前言 在大学的时候，学校一般只会教你你写编程语言，比如C、C++、JAVA等编程语言。但是当你离开大学进入这个行业开始工作时，才知道编程不只是知道编程语言、语法等，要想写好代码，必须还要了解一些编程原则才行。本文主要讨论`KISS`、`DRY`和`SOLID`这些常见的编程原则，而且你会发现随 阅读全文
## 前言 kafka生产者作为消息发送中很重要的一环，这里面可是大有文章，你知道生产者消息发送的流程吗？知道消息是如何发往哪个分区的吗？如何保证生产者消息的可靠性吗？如何保证消息发送的顺序吗？如果对于这些问题还比较模糊的话，那么很有必要看看这篇文章了，本文主要是基于kafka3.x版本讲解。 ## 阅读全文
前言 工欲善其事，必先利其器。本文主要分享一下消息中间件kafka安装部署的过程，以及我平时在工作中针对kafka用的一些客户端工具和监控工具。 kafka部署架构 一个kafka集群由多个kafka broker组成，每个broker将自己的元数据信息注册到zookeeper中，通过zookeep 阅读全文
前言 kafka是目前企业中很常用的消息队列产品，可以用于削峰、解耦、异步通信。特别是在大数据领域中应用尤为广泛，主要得益于它的高吞吐量、低延迟，在我们公司的解决方案中也有用到。既然kafka在企业中如此重要，那么本文就通过几张图带大家全面认识一下kafka，现在我们不妨带入kafka设计者的角度去 阅读全文
前言 最近公司某项目上反馈mysql主从复制失败，被运维部门记了一次大过，影响到了项目的验收推进，那么究竟是什么原因导致的呢？而主从复制的原理又是什么呢？本文就对排查分析的过程做一个记录。 主从复制原理 我们先来简单了解下MySQL主从复制的原理。 主库master 服务器会将 SQL 记录通过 d 阅读全文
前言 最近项目上有一个使用事务相对复杂的业务场景报错了。在绝大多数情况下，都是风平浪静，没有问题。其实内在暗流涌动，在有些异常情况下就会报错，这种偶然性的问题很有可能就会在暴露到生产上造成事故，那究竟是怎么回事呢？ 问题描述 我们用一个简单的例子模拟下，大家也可以看看下面这段代码输出的结果是什么。 阅读全文
