论坛元老
- 威望
- 194
- 贡献
- 282
- 热心值
- 21
- 金币
- 83434
- 注册时间
- 2020-8-31
|
课程介绍：
本课程首先从磁盘随机和顺序读讲解 kafka 消息写入、删除的原理，然后会重点讲解 kafka 消息的检索（kafka consumer 定点消费原理），在之后会讲解 kafka 集群的维护，主要包括 kafka 集群的分区 leader 平衡，kafka 集群日志文件 broker 迁移等，最后会通过 Kafka Offset Monitor 和 Kafka Manager 两个 kafka 集群的监控工具对 kafka 集群进行监控。
课程背景：
前面两节课我们搭建了 kafka 集群，也能够使用 Python 和 Java 两种常用的服务器端语言编写 kafka producer 和 kafka consumer，这节课首先从 kafka 消息组织原理和检索原理方面对 kafka 的架构进行深入和详细的剖析。其次在生产环境中需要服务的高可用性，那么就不可避免的需要对 kafka 集群进行监控，本课程会介绍两种目前常用的 kafka 集群监控工具。最后当生产环境出现功能和性能上的问题时，需要立刻解决，本课程也讲解了 kafka 集群的维护和优化。
核心内容：
1、kafka server 消息的写入原理；
2、kafka server 消息的删除原理；
3、kafka 消息的检索原理；
4、kafka 集群的维护；
5、kafka 集群的监控
软件环境：Linux服务器至少一台；zookeeper-3.4.6；kafka_2.9.2-0.8.1.1
课程等级：高级
适合人群：
需要进行大量日志传输；有kafka基础知识；需要更近一步了解原理的大数据爱好者
课程目录：
1 kafka 消息组织原理 28:26
本课时首先讲解磁盘顺序写和随机写性能上的差别，然后讲解kafka 消息的写入（利用磁盘顺序写性能高）原理，最后会结合kafka 集群配置参数对 kafka 消息的删除原理进行详细的介绍
2 kafka 消息检索原理 13:16
本课时首先会讲解 kafka 消息 segment file 的组成和物理结构，然后会讲解 kafka 消息的 index file 的组成和物理结构，最后会详细讲解 kafka 通过 segment file 和 index file 检索某条特定消息的过程
3 kafka集群维护 25:07
本课时首先会讲解如何通过集群脚本动态的更新集群的配置、动态的查看集群的状态，其次会详细介绍 kafka 集群的 leader 平衡机制和动态进行集群的 leader平衡，最后对已存在 kafka 集群磁盘日志文件 broker 迁移过程进行讲解
4 kafka集群监控 17:07
本课时首先会对 Kafka 集群的两种监控工具 Kafka Offset Monitor 和Kafka Manager 进行介绍，然后会分别利用两种监控工具对 kafka集群进行监控做详细的讲解
|
|
发表于 2019-3-22 15:34
