Kafka（一）简介

佚名 6年前 (2019-04-23) 随笔 480人围观抢沙发百度已收录

1、Kafka简介

SRE实战互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

Kafka已经被很多公司广泛应用，一款实时流式消息组件。发送消息端称为Producer，接收端称为Consumer，Kafka集群有多个kafka实例组成，每个实例称为broker。无论是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。

2、Topics/logs

一个Topic可以认为是一类消息，每个topic将被分成多个partition，每个partition在存储层面是append log文件。任何发布到此partition的消息都会被直接追加到log文件的尾部，每条消息在文件中的位置称为offset（偏移量），offset为一个long型数字，它是唯一标记一条消息。kafka并没有提供其他额外的索引机制来存储offset，因为在kafka中几乎不允许对消息进行“随机读写”。

即时消息被消费，消息仍然不会被立即删除。日志文件将会根据broker中的配置要求，保留一定的时间之后删除；比如log文件保留两天，那么两天后，文件会被清除，无论其中的消息是否被消费。

对于consumer而言，它需要保存消费消息的offset，对于offset的保存和使用，有consumer来控制，当consumer正常消费消息时，offset将会“线性”的向前驱动，即消息将依次顺序被消费。事实上，consumer可以使用任意顺序消费消息，它只需要将offset重置为任意值。

kafka集群几乎不需要维护任何consumer和producer状态信息，这些信息有zookeeper保存；因此producer和consumer的客户端非常轻量级。它们可以随意离开，而不会对集群造成额外的影响。

partitions的设计目的有多个，最根本的原因是kafka基于文件存储。通过分区，可以将日志内容分散到多个server上，来避免文件尺寸达到单机磁盘的上限。每个partition都会被当前server（kafka实例）保存；可以将一个topic切分任意多个partitions，来消息保存/消费的效率。此外越多的partitions意味着可以容纳更多的consumer，有效提升并发消费的能力。

3、Distribution

一个Topic的多个partitions，被分布在kafka集群中的多个server上，每个server（kafka实例）负责partitions中消息的读写操作；此外kafka还可以配置partitions需要备份的个数（replicas），每个partition将会被备份到多台机器上，以提高可用性

基于replicated方案，那么就意味着有多少个“leader”，kafka会将“leader”均衡的分散在每个实例上，来确保整体的性能稳定。

4、Producers

Producers将消息发布到指定的Topic中，同时Producer也能决定将此消息归属于哪个partition，比如基于“round-robin”方式或者通过其他的一些算法等。

5、Consumers

本质上kafka只支持Topic。每个consumer属于一个consumer group，反过来说，每个group中可以有多个consumer。发送到Topic的消息，只会被订阅此Topic的每个group中的一个consumer消费。

如果所有的consumer都具有相同的group，这种情况和queue模式很像，消息将会在consumers之间负载均衡。如果所有的consumer都具有不同的group，那这就是“发布-订阅”；消息将会广播所有的消费者

在kafka中，一个partiton中的消息只会被group中的一个consumer消费，每个group中consumer消息消费相互独立；我们可以认为一个group是一个“订阅”者，一个Topic中的每个partitions，只会被一个“订阅者”中的一个consumer消费，不过一个consumer可以消费多个partitions中的消息，kafka只能保证一个partition中的消息被某个consumer消费时，消息是顺序的。实时上，从Topic角度来说，消息仍不是有序的。

Kafka的设计原理，对于一个topic，同一个group中不能有多于partitions个数的consumer同时消费，否则将意味着默写consumer将无法得到消息。