assfang 发表于 2019-3-23 22:52

【中级】Storm实时大数据平台Storm实战进阶DataOptTopology实例视频教程附源码讲义...

【中级】Storm实时大数据平台Storm实战进阶DataOptTopology实例视频教程附源码讲义 4课


课程介绍:

本课程为 Storm 应用开发实战的进阶,结合消息队列MQ,为大家呈现一个相对比较完整的 Storm 开发过程。其中涉及了 Metaq 集群的部署、Storm 与 Metaq 的结合、与 Mysql 的结合使用等。

课程背景:

我们在充分理解了Storm理论知识以及在已经搭建了Storm集群环境的基础上,并且对Storm的编程模式有了一定了解前提下,进一步深入学习Storm的复杂应用编程,包括了Storm的常用的数据复杂接入形式,复杂的数据落地形式等方面。

核心内容:

1.项目实例需求分析及设计
2.上下级依赖系统的介绍及搭建
3.实例代码结构讲解
4.实例演示及总结

软件环境:Linux,Eclipse,IDEA

课程等级:中级

适合人群:

数据工程师,对数据处理实时性要求比较高的开发工程师。

课程目录:

1 项目实例需求分析及设计 12:06
本课时主要从项目实例的需求分析出发,以 WordCount 实例为基础,进行复杂性扩展,扩展方面包括了数据接入的形式,实时处理的形式,以及数据落地的形式。最后设计出一个方案,并且根据方案设计拓扑。
2 Storm上下级依赖系统的介绍及搭建 17:49
本课时主要介绍拓扑设计中,Storm 依赖的上下级系统的介绍,主要是数据接入的上级依赖系统,比如 Metaq;以及 Storm 数据落地的下级依赖系统MySQL的安装部署。其中以MQ消息队列为主要内容,并且着重讲解 MQ 中的Metaq 安装部署。
3 实例代码结构讲解 15:39
本课时主要讲解项目实例代码的结构,大致从三方面进行讲述:数据的消费,即 Metaq 的数据消费 Spout ;数据多重过滤逻辑,包括字段范围过滤、正则过滤以及普通字符串过滤多种模式;最后是数据落地的形式,包括MySQL 入库以及消息队列的回写等。
4 实例演示及总结 13:00
本课时主要从效果演示的角度进行讲解,先做数据落地前的准备工作,进行 MySQL 的建表;然后模拟最原始的数据源,即 Metaq 的数据生产模拟;准备工作做好后进行本地模式的效果演示;最后对实例做一个总结。


**** Hidden Message *****

miles 发表于 2020-3-5 22:23

谢谢分享。。。。。。。。
页: [1]
查看完整版本: 【中级】Storm实时大数据平台Storm实战进阶DataOptTopology实例视频教程附源码讲义...