基于Flume+Kafka+Spark Streaming打造企业大数据流处理平台
课程目录：3 p# N6 p& o4 k; h/ v) r1 H2第1章 课程介绍- V4 a8 h( e* S4 |
课程介绍- d- H8 C( W- e& J
1-1 -导学-
1-2 -授课习惯和学习建议3 r$ Z. @7 o1 g, \* d- i( m6 x
1-3 -OOTB环境使用演示' \* f3 S( G% z' U2 f1 SO
1-4 -Linux环境及软件版本介绍
1-5 -Spark版本升级
第2章 初识实时流处理
本章节将从一个业务场景分析出发引出实时流处理的产生背景，对比离线处理和实时处理的区别，了解常用的实时流处理框架有哪些，实时流处理在企业级应用中各个环节的架构以及技术选型6 ?: U. K! ^%
2-1 -课程目录
2-2 -业务现状分析
2-3 -实时流处理产生背景6 Z7 c) {% B4 q1 i) b
2-4 -实时流处理概述
2-5 -离线计算和实时计算对比
2-6 -实时流处理框架对比
2-7 -实时流处理架构及技术选型
2-8 -实时流处理在企业中的应用5 `; V# b! N3 _1 X
: W8 j* d; t4 Y8 ], T
第3章 分布式日志收集框架Flume9 \z3 f- m* Q7 z8 f6 X% E- V
本章节将从通过一个业务场景出发引出Flume的产生背景，将讲解Flume的架构及核心组件，Flume环境部署以及Flume Agent开发实战让大家学会如何使用Flume来进行日志的采集
3-1 -课程目录4 f; d8 z- T- D& W3 g. oa
3-2 -业务现状分析
3-3 -Flume概述' I' X9 }) VJ# q
3-4 -Flume架构及核心组件! A" Z" Il; G2 I+ I
3-5 -Flume&JDK环境部署: C6 {5 o7 f3 O4 Ay
3-6 -Flume实战案例一5 S- q( P7 X1 H) u{4 C1 E" d1 S
3-7 -Flume实战案例二4 yj" k6 x7 V. V6 i
3-8 -Flume实战案例三(重点掌握)
% D, u& v& z5 I0 i' I" v5 D2 F
第4章 分布式发布订阅消息系统Kafka
本章节将讲解Kafka的架构以及核心概念，Kafka环境的部署及脚本的使用，Kafka API编程，并通过Kafka容错性测试让大家体会到Kakfa的高可用性，并将Flume和Kafka整合起来开发一个功能
4-1 -课程目录
4-2 -Kafka概述
4-3 -Kafka架构及核心概念$ d- t" Z{( x: D7 n$ K
4-4 -Kafka单节点单Broker部署之Zookeeper安装
4-5 -Kafka单节点单broker的部署及使用
4-6 -Kafka单节点多broker部署及使用' td8 N" [[
4-7 -Kafka容错性测试8 Z5 ^5 _5 O$ \2 q- s4 S
4-8 -使用IDEA+Maven构建开发环境
4-9 -Kafka Producer Java API编程0 A0 ~4 o+ a& }5 @. m" t8 ?
4-10 -Kafka Consumer Java API编程
4-11 -Kafka实战之整合Flume和Kafka完成实时数据采集" |3 ~4 U0 c6 Z1 U" B1 I
8 c' a+ g9 |5 r# C
第5章 实战环境搭建
工欲善其事必先利其器，本章将讲解Hadoop、ZooKeeper、HBase、Spark的安装，以及如何使用IDEA整合Maven/Spark/HBase/Hadoop来搭建我们的开发环境- z+ T9 v; E2 K9 ^( {* [
5-1 -课程目录3 N2 ~; Y, |: z- M* e# a" j; q
5-2 -Scala安装5 v4 P, C) o- n/ {- P
5-3 -Maven安装/ Z1 }, O9 u* h3 k) g3 W5 v
5-4 -Hadoop环境搭建% s( O# }7 Q5 y. E3 t9 d$ b
5-5 -HBase安装) }6 }+ S2 ^4 y! n" ^4 y. Y
5-6 -Spark环境搭建
5-7 -开发环境搭建
第6章 Spark Streaming入门
本章节将讲解Spark Streaming是什么，了解Spark Streaming的应用场景及发展史，并从词频统计案例入手带大家了解Spark Streaming的工作原理
6-1 -课程目录
6-2 -Spark Streaming概述5 I# j, e5 v' c. |
6-3 -Spark Streaming应用场景
6-4 -Spark Streaming集成Spark生态系统的使用
6-5 -Spark Streaming发展史! f( r3 h; F1 C4 g6 ^e+ Y
6-6 -从词频统计功能着手入门Spark Streaming* W! f4 O/ z/ s2 A' B( E
6-7 -Spark Streaming工作原理(粗粒度)
6-8 -Spark Streaming工作原理(细粒度)
D9 s; u% z! U6 }. W; |0 o! Z
第7章 Spark Streaming核心概念与编程
本章节将讲解Spark Streaming中的核心概念、常用操作，通过Spark Streaming如何操作socket以及HDFS上的数据让大家进一步了解Spark Streaming的编程& _) o$ n8 ~2 X- Q
7-1 -课程目录" \- {3 D, I6 }R
7-2 -核心概念之StreamingContext; s1 D* {2 M: K
7-3 -核心概念之DStream3 s( A, t% }9 {
7-4 -核心概念之Input DStreams和Receivers/ q5 K8 O0 i7 |7 y+ J7 W0 c
7-5 -核心概念之Transformation和Output Operations
7-6 -案例实战之Spark Streaming处理socket数据
7-7 -案例实战之Spark Streaming处理文件系统数据+ y& L) L3 }; ~) ^
- P+ T- L/ ^7 O! L9 d
第8章 Spark Streaming进阶与案例实战
本章节将讲解Spark Streaming如何处理带状态的数据，通过案例让大家知道Spark Streaming如何写数据到MySQL，Spark Streaming如何整合Spark SQL进行操作1 k, U3 a! P" a+ c
8-1 -课程目录
8-2 -实战之updateStateByKey算子的使用
8-3 -实战之将统计结果写入到MySQL数据库中8 Z/ Y+ U! C1 B" M
8-4 -实战之窗口函数的使用, g5 j) B2 t9 Y" g( u8 S" u
8-5 -实战之黑名单过滤
8-6 -实战之Spark Streaming整合Spark SQL操作
8 o% X% y. g) s
第9章 Spark Streaming整合Flume; e/ W1 x8 u( ^$ |. `
本章节将讲解Spark Streaming整合Flume的两种方式，讲解如何在本地进行开发测试，如何在服务器上进行测试
9-1 -课程目录0 q4 P/ }1 V2 a! W9 j8 M- p- q' ]
9-2 -Push方式整合之概述* Q% x( ^T9 H; J2 z* j# n6 F4 D
9-3 -Push方式整合之Flume Agent配置开发/ h( q* T2 m! H8 T3 c4 j
9-4 -Push方式整合之Spark Streaming应用开发: Z! u- Q8 \9 j" k1 u
9-5 -Push方式整合之本地环境联调2 r/ C" D+ @5 X& m( `
9-6 -Push方式整合之服务器环境联调* B+ n0 @5 {7 k+ v4 b. M' `
9-7 -Pull方式整合之概述# c. X1 I7 k2 _& L" l
9-8 -Pull方式整合之Flume Agent配置开发3 @1 I- F# t% }, O6 T3 V
9-9 -Pull方式整合之Spark Streaming应用开发5 l* y: j3 }9 S/ s8 m
9-10 -Pull方式整合之本地环境联调& ]/ ~% Q- g* }+ G: p# _7 }
9-11 -Pull方式整合之服务器环境联调
2 o7 P6 L6 Y& H2 l
第10章 Spark Streaming整合Kafka( C4 u; s, Y! G
本章节将讲解Spark Streaming整合Kafka的两种方式，讲解如何在本地进行开发测试，如何在服务器上进行测试' P$ u0 |; d1 d" t6 z- R+ e5 b9 K
10-1 -课程目录2 ^# Y4 X7 o6 W- I0 u8 u* L9 ~
10-2 -Spark Streaming整合Kafka的版本选择详解
10-3 -Receiver方式整合之概述
10-4 -Receiver方式整合之Kafka测试
10-5 -Receiver方式整合之Spark Streaming应用开发
10-6 -Receiver方式整合之本地环境联调
10-7 -Receiver方式整合之服务器环境联调及Streaming UI讲解4 [+ X) k" K) ~& ]
10-8 -Direct方式整合之概述
10-9 -Direct方式整合之Spark Streaming应用开发及本地环境测试
10-10 -Direct方式整合之服务器环境联调
, X/ E+ w"
第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础( f8 Q5 C$ \0 l/ @* a" o6 ?
本章节将通过实战案例彻底打通Spark Streaming和Flume以及Kafka的综合使用，为后续项目实战打下坚实的基础# LC. c# e/ k
11-1 -课程目录
11-2 -处理流程画图剖析
11-3 -日志产生器开发并结合log4j完成日志的输出
11-4 -使用Flume采集Log4j产生的日志
11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka
11-6 -Spark Streaming消费Kafka的数据进行统计
11-7 -本地测试和生产环境使用的拓展
' S, U% O& k1 {6 L9 i+ L
第12章 Spark Streaming项目实战
本章节将通过一个完整的项目实战让大家学会大数据实时流处理的各个环境的整合，如何根据业务需要来设计HBase的rowkey
12-1 -课程目录
12-2 -需求说明
12-3 -用户行为日志介绍
12-4 -Python日志产生器开发之产生访问url和ip信息8 o! g; g; d+ C; _! h6 g. C
12-5 -Python日志产生器开发之产生referer和状态码信息6 Y9 D* S/ c' D% `% m0 Y
12-6 -Python日志产生器开发之产生日志访问时间
12-7 -Python日志产生器服务器测试并将日志写入到文件中
12-8 -通过定时调度工具每一分钟产生一批数据# {/ A9 Y8 a" z3 B
12-9 -使用Flume实时收集日志信息
12-10 -对接实时日志数据到Kafka并输出到控制台测试
12-11 -Spark Streaming对接Kafka的数据进行消费
12-12 -使用Spark Streaming完成数据清洗操作
12-13 -功能一之需求分析及存储结果技术选型分析
12-14 -功能一之数据库访问DAO层方法定义
12-15 -功能一之HBase操作工具类开发
12-16 -功能一之数据库访问DAO层方法实现5 z- o7 V' m: q
12-17 -功能一之将Spark Streaming的处理结果写入到HBase中
12-18 -功能二之需求分析及HBase设计&HBase数据访问层开发# q- P* r2 K' _9 T$ L& h' s7 [* L& ]
12-19 -功能二之功能实现及本地测试/ [* A; \/ T; x, k% |3 Y6 K
12-20 -将项目运行在服务器环境中
第13章 可视化实战
本章节将通过两种方式来实现实时流处理结果的可视化操作，一是使用Spring Boot整合Echarts实现，二是使用更加炫酷的阿里云产品DataV来实现" d( m4 }& b7 T
13-1 -课程目录. P/ I, T: d( {) S" I% |
13-2 -为什么需要可视化
13-3 -构建Spring Boot项目
13-4 -Echarts概述
13-5 -Spring Boot整合Echarts绘制静态数据柱状图( R. @, m( ^v- a+ U5 m: W
13-6 -Spring Boot整合Echarts绘制静态数据饼图
13-7 -项目目录调整
13-8 -根据天来获取HBase表中的实战课程访问次数
13-9 -实战课程访问量domain以及dao开发" ]+ g' A& ]; `/ i
13-10 -实战课程访问量Web层开发
13-11 -实战课程访问量实时查询展示功能实现及扩展
13-12 -Spring Boot项目部署到服务器上运行
13-13 -阿里云DataV数据可视化介绍
13-14 -DataV展示统计结果功能实现) e8 Z2 [! X: Y0 ^* e0 f% l1 h' N
6 H. w) ?# n" O# ]5 S/ z$ \9 W8 W
第14章 Java拓展h: |$ J6 h3 J% Ef" P" X4 u
本章节作为扩展内容，将带领大家使用Java来开始Spark应用程序，使得大家对于使用Scala以及Java来开发Spark应用程序都有很好的认识
14-1 -课程目录- d- S, ?n! {
14-2 -使用Java开发Spark应用程序0 v; R7 Z0 ?* X
14-3 -使用Java开发Spark Streaming应用程序
**** Hidden Message *****
RE: 基于Flume+Kafka+Spark Streaming打造企业大数据流处理平台 [修改]
11111111111111111 感谢楼主分享！！！ 666666666666666 基于Flume+Kafka+Spark Streaming打造企业大数据流处理平台 基于Flume+Kafka+Spark Streaming打造企业大数据流处理平台 Juggler 发表于 2019-7-9 13:27
RE: 基于Flume+Kafka+Spark Streaming打造企业大数据流处理平台 [修改]
基于Flume+Kafka+Spark Streaming打造企业大数据流处理平台 已经过期了 您保存了吗 能否私信共享呢 aaaaaaaaaaaaaaaaaaaaa