|
【中级】Storm实时大数据平台Storm实战进阶DataOptTopology实例视频教程附源码讲义 4课
课程介绍：
本课程为 Storm 应用开发实战的进阶，结合消息队列MQ，为大家呈现一个相对比较完整的 Storm 开发过程。其中涉及了 Metaq 集群的部署、Storm 与 Metaq 的结合、与 Mysql 的结合使用等。
课程背景：
我们在充分理解了Storm理论知识以及在已经搭建了Storm集群环境的基础上，并且对Storm的编程模式有了一定了解前提下，进一步深入学习Storm的复杂应用编程，包括了Storm的常用的数据复杂接入形式，复杂的数据落地形式等方面。
核心内容：
1.项目实例需求分析及设计
2.上下级依赖系统的介绍及搭建
3.实例代码结构讲解
4.实例演示及总结
软件环境：Linux，Eclipse，IDEA
课程等级：中级
适合人群：
数据工程师，对数据处理实时性要求比较高的开发工程师。
课程目录：
1 项目实例需求分析及设计 12:06
本课时主要从项目实例的需求分析出发，以 WordCount 实例为基础，进行复杂性扩展，扩展方面包括了数据接入的形式，实时处理的形式，以及数据落地的形式。最后设计出一个方案，并且根据方案设计拓扑。
2 Storm上下级依赖系统的介绍及搭建 17:49
本课时主要介绍拓扑设计中，Storm 依赖的上下级系统的介绍，主要是数据接入的上级依赖系统，比如 Metaq；以及 Storm 数据落地的下级依赖系统MySQL的安装部署。其中以MQ消息队列为主要内容，并且着重讲解 MQ 中的Metaq 安装部署。
3 实例代码结构讲解 15:39
本课时主要讲解项目实例代码的结构，大致从三方面进行讲述：数据的消费，即 Metaq 的数据消费 Spout ；数据多重过滤逻辑，包括字段范围过滤、正则过滤以及普通字符串过滤多种模式；最后是数据落地的形式，包括MySQL 入库以及消息队列的回写等。
4 实例演示及总结 13:00
本课时主要从效果演示的角度进行讲解，先做数据落地前的准备工作，进行 MySQL 的建表；然后模拟最原始的数据源，即 Metaq 的数据生产模拟；准备工作做好后进行本地模式的效果演示；最后对实例做一个总结。
| 
发表于 2019-3-23 22:52
