金牌会员
- 威望
- 0
- 贡献
- 12
- 热心值
- 1
- 金币
- 2701
- 注册时间
- 2020-8-31
|
课程介绍
Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
7 K1 }( ?" S% q
课程目录* n/ _/ i& s/ x7 |# G
day01
01_Spark初始1 a2 ~3 }) [8 M" M
02_RDD+Spark部分算子. C9 M& i. ]% G" x6 n
03_Spark部分算子1
04_WordCount
05_持久化& g$ k8 p2 i H& p
06_Spark集群搭建
6 O- o# t4 s# F
day02
01_Spark on Standalone,Yarn) f; M' u N; y7 U
02_资源调度源码2 J: M X0 w+ r
03_RDD的宽窄依赖
04_Spark任务调度8 S8 k8 }! {6 u( l
05_Spark任务调度源码分析+ yarn
6 t6 ^4 J. G3 q" m, j: e- p
day03& r! j. B9 G+ x0 [. K& [' P
01_广播变量
02_累加器、分组取TOPN、 二次排序* Q1 n% R$ Y5 f' R9 C, @# J. Z
03_Spark HA& M5 m$ t( r/ V7 S0 s
04_Spark shuffle, s1 {. Z8 s" ~* f3 |
05_Spark案例PV UV [# a6 f; t( i/ N
06_Spark总结
day04
01_自定义分区
02_Spark Demo
03_SparkSQL
04_Spark SQL连接MySQL
05_Spark on Hive整合+ i; M/ g n1 x
06_UDF UDAF开窗函数
day053 C- y7 D% V2 c
01_SparkStreaming初始
02_Driver HA
03_SparkStraming有状态算子
04_Kafka
05_SparkStreaing 整合kafka7 C' C; G& O( j& l1 y" x
06_SparkStreaming动态改变广播变量的值
|
|