kafka实践

6.消息投递 我们已经了解了一些生产者和消费者是如何工作的，现在让我们讨论在生产者和消费者之间，kafka提供的语义上的保证，显然kafka提供了多种可能的消息投递保证： At m…

1.动机 kafka被设计为能扮演一个大公司可能需要的处理所有实时数据流的统一平台。为了达成这个目的，我们必须考虑相当广泛的用例。 它必须有很高的吞吐量，以便能支持高容量的事件流，…

这篇文章是关于LinkedIn如何用kafka作为一个中央发布-订阅日志，在应用程序，流处理，hadoop数据提取之间集成数据。无论如何，kafka日志一个好处就是廉价。百万级别的…

kafka是一个分布式发布订阅消息系统。由LinkedIn开发并已经在2011年7月成为apache顶级项目。kafka在LinkedIn, Twitte等许多公司都得到广泛使用，…

消费者如何分配分区就是指某个topic，其N个分区和消费该topic的若干消费者群组下M个消费者的关系。如下图所示，C0和C1两个消费者如何分配N个分区： 消费者&分区.p…

kafka安装目录下的bin目录包含了很多运维可操作的shell脚本，列举如下： 脚本名称 用途描述 connect-distributed.sh 连接kafka集群模式 conn…

分区策略 构造KafkaProducer代码如下： Properties props = new Properties(); props.put("bootstrap.s…

序列化 kafka序列化消息是在生产端，序列化后，消息才能网络传输。而构造KafkaProducer代码如下： Properties props = new Properties(…

拦截器定义 拦截器参数命名为：interceptor.classes。官方文档解析如下： A list of classes to use as interceptors. Imp…

直入主题，不讨论为什么迁移，直接谈迁移方案。 既然是从AMQ（AtiveMQ的简称）迁移到kafka，那么迁移过程中肯定需要做到平滑迁移：对于业务没有影响，对于上下游系统没有依赖。…

这篇文章主要讲解kafka单机安装，以及集群安装。kafka的单机安装非常简单，只需按照下一段落提到的几步操作即可。 单机安装 下载 首先从官方下载安装包，官方地址：http://…

定义 一千个人眼里有一千个哈姆雷特。如果说谁最有资格定义kafka是什么，那么肯定是官方文档： Apache Kafka® is a distributed streaming p…