瑞客论坛

 找回密码
 立即注册
查看: 2493|回复: 12

厦门大学林子雨Spark编程基础

[复制链接]

金币4689  第299名

213

主题

-3

回帖

4723

积分

论坛元老

Rank: 8Rank: 8

威望
0
贡献
34
热心值
0
金币
4689
注册时间
2020-8-31
发表于 2019-5-23 12:04 | 显示全部楼层 |阅读模式
〖课程介绍〗:
        本课程由国内高校知名大数据教师厦门大学林子雨老师主讲,由厦门大学数据库实验室团队提供配套课程服务。课程教材是林子雨老师编著的《Spark编程基础》(人民邮电出版社,ISBN:978-7-115-47598-5)。本课程属于“进阶级”大数据课程,需要读者已经学习过大数据导论课程,了解Hadoop、MapReduce、HDFS、HBase等大数据基础知识。如果没有学习过大数据导论课程,建议读者先在网易云课堂学习林子雨老师主讲的大数据入门课程《大数据技术原理与应用》,该课程的两个版本在网易云课堂和中国大学MOOC学习人数超过8万人,99%网友给予了五星级最高评价。本课程以Scala作为开发Spark应用程序的编程语言,系统介绍了Spark编程的基础知识。课程共8章,每周一更新1章。  n* H/ w) ?: n1 p- ^

〖课程目录〗:0 E  i! v: n. s( Y5 \# ]
        章节1:大数据技术概述
        课时1大数据时代11:12. l+ G* D1 P( f, L9 D8 U) s
        课时2大数据概念08:28
        课时3大数据的影响04:56
        课时4大数据关键技术05:28" h% o2 `6 e, z
        课时5大数据计算模式06:00! t/ G7 z2 n2 a! _/ N
        课时6代表性大数据技术之Hadoop24:18
        课时7代表性大数据技术之Spark08:48! |0 y$ n. S9 |
        课时8代表性大数据技术之Flink和Beam05:40
        课时9本章配套讲义PPT-第1章-大数据技术概述
        章节2:Scala语言基础
        课时10计算机的缘起07:019 r: ^; B7 C% s' \2 P( W. t
        课时11编程范式08:18
        课时12Scala简介05:06
        课时13Scala的安装和使用方法10:02
        课时14基本语法25:51
        课时15控制结构10:21
        课时16数据结构(容器、列表、集合、映射)25:15+ P1 w  P7 E1 \3 c
        课时17数据结构(迭代器、数组、元组)17:08$ g8 D$ r6 B, H# D& i* `
        课时18类(类的定义和创建对象)08:43
        课时19类(编译和执行)14:38" d& M7 v$ M, i2 N' |6 X8 @
        课时20类(getter和setter方法)12:04
        课时21类(构造器)15:01
        课时22对象(单例对象和伴生对象)18:10' [5 I3 ^: {0 L
        课时23对象(apply方法和update方法)16:11. J" @/ C. z0 n1 O
        课时24继承07:09
        课时25特质11:12
        课时26模式匹配21:04
        课时27函数定义(函数的类型和值)10:00. f5 ^4 S5 _( `
        课时28函数定义(匿名函数和闭包)11:02
        课时29函数定义(占位符语法)04:03& l: U7 q# X7 ~' h5 p2 r1 c( d
        课时30针对集合的操作16:20
        课时31函数式编程实例13:16
        课时32本章配套讲义PPT-第2章-Scala语言基础
        章节3:Spark的设计与运行原理
        课时33Spark简介14:47+ T0 _9 e  K( C+ T) W) z
        课时34Scala简介03:56
        课时35Spark与Hadoop的对比14:02
        课时36Spark生态系统15:59
        课时37基本概念和架构设计11:03
        课时38Spark运行基本流程12:16" j! Y" D3 q/ |( b% N& w6 }
        课时39RDD概念06:33% K/ Y! p9 E$ ^( v* `
        课时40RDD操作03:45& T" l: W$ e7 g0 e5 K) f) _) ?
        课时41RDD执行过程07:19
        课时42RDD特性05:494 i4 c- @) e. g1 ?6 z
        课时43RDD依赖关系和运行过程14:27
        课时44Spark的部署和应用方式17:49
        课时45本章配套讲义PPT-第3章-Spark的设计与运行原理  `. h0 \* Y% _: g' E
        章节4:Spark安装和使用方法
        课时46安装Spark11:156 i/ k4 `+ ]  r  G
        课时47在Spark Shell中运行代码13:25
        课时48编写Spark独立应用程序21:07; m. H- |3 f2 x; u' j" N
        课时49第一个Spark应用程序:WordCount13:227 I1 W3 u* x$ P% j
        课时50使用IntelliJ IDEA编写Spark应用程序02:037 I0 v+ U% f# b
        课时51Spark集群环境搭建15:25. k; ^  s( h) O% X  ]& |
        课时52在集群上运行Spark应用程序09:52
        课时53本章配套讲义PPT-第4章-Spark安装和使用方法
        章节5:RDD编程9 S2 X" o9 U2 o3 J! \$ \  E
        课时54RDD创建12:05
        课时55RDD操作16:299 E! f% J2 y* T5 m
        课时56RDD持久化07:24
        课时57RDD分区27:50
        课时58键值对RDD的创建06:21
        课时59常用的键值对 RDD转换操作(reduceByKey)05:239 X1 ~& Q2 Q4 P( i
        课时60常用的键值对RDD转换操作(groupByKey)04:30, ~. y6 j" M1 p1 d3 G) L, V. I
        课时61常用的键值对RDD转换操作(reduceByKey和groupByKey的区别)14:20) B2 c3 Y, J8 H/ d
        课时62常用的键值对RDD转换操作(keys、values和sortByKey)18:51
        课时63常用的键值对RDD转换操作(mapValues和join)05:18" a( S$ s# A2 Z: V* t6 B
        课时64常用的键值对RDD转换操作(一个综合实例)07:36) c) m  y6 b6 i) w
        课时65共享变量14:04" h# _4 n6 G# y9 J+ r9 q
        课时66文件数据读写(文件系统数据读写)11:32
        课时67文件数据读写(JSON文件数据读写)10:31
        课时68读写HBase数据(HBase简介)11:26
        课时69读写HBase数据(创建一个HBase表)06:30- _* S8 O$ [- d; l: H$ P
        课时70读写HBase数据(配置Spark并编写程序读取HBase数据)12:45
        课时71读写HBase数据(编写程序向HBase写入数据)13:28& o- `# p4 z+ i% v6 f* E6 O
        课时72案例1:求TOP值12:43% f# z; y& z2 P/ P5 I5 v- ?
        课时73案例2:求最大最小值10:44
        课时74案例3:文件排序12:50
        课时75案例4:二次排序21:247 l- Z7 N! k: e: i* L9 e
        课时76案例5:连接操作27:28
        课时77本章配套讲义PPT-第5章 RDD编程. q2 d9 a$ F6 i! i3 Z
        章节6:Spark SQL9 q2 X0 M% ]  T, W& k7 L7 z
        课时78Spark SQL简介19:36
        课时79DataFrame与RDD的区别05:25& t( E. Z0 z4 Y* p
        课时80DataFrame的创建10:41
        课时81利用反射机制推断RDD模式12:04
        课时82使用编程方式定义RDD模式18:32
        课时83把RDD保存成文件02:536 W' ^7 z* t+ ~/ P* s" k9 Z8 P
        课时84读写Parquet02:56
        课时85通过JDBC连接数据库16:50. W2 i# M+ M2 G
        课时86本章配套讲义PPT-第6章-Spark SQL
        章节7:Spark Streaming  ?- p3 r4 w' n' t. f
        课时87流计算概述17:27  p6 K% h- I% i& z7 M: j0 f
        课时88Spark Streaming简介08:14
        课时89DStream操作概述09:216 K, r& Y7 V8 ^; L2 `/ `, n
        课时90文件流13:49# Y" t- J& `! L) K6 {
        课时91套接字流22:33# \2 }. M. g4 p
        课时92RDD队列流10:45
        课时93使用 Kafka作为数据源(Kafka的安装和准备工作)14:29
        课时94使用 Kafka作为数据源(编程方法)33:17
        课时95DStream无状态转换操作06:50$ c$ }* `+ ~; D" f# p4 |
        课时96DStream有状态转换操作26:239 [2 `9 D- [' f" ~4 i6 ^: @
        课时97输出操作09:226 P5 u0 m8 ^8 j& i. |
        课时98本章配套讲义PPT-第7章-Spark Streaming
        章节8:Spark MLlib5 i3 Q& V/ _% L/ m: r
        课时99Spark MLlib简介21:31
        课时100机器学习工作流概念12:48$ x* h- J7 u  U0 s
        课时101构建一个机器学习工作流20:41  R- R0 X" Z- m! p& a% r" _8 [- g( i
        课时102特征抽取:TF-IDF18:59, e( s# U/ C) l
        课时103特征抽取:Word2Vec06:38: X) g# M* {6 J7 \( s+ W3 I% f$ y
        课时104特征抽取:CountVectorizer05:288 x6 J- U: v4 ~
        课时105逻辑斯蒂回归分类器21:19. e% S/ }* A% v7 V+ ~: i
        课时106决策树分类器11:52" ~3 E  C& U2 l3 d: h/ ?) z
        课时107本章配套讲义PPT-第8章-Spark MLlib



游客,如果您要查看本帖隐藏内容请回复

回复

使用道具 举报

金币2143  第818名

0

主题

6212

回帖

1万

积分

论坛元老

Rank: 8Rank: 8

威望
7765
贡献
6104
热心值
0
金币
2143
注册时间
2019-4-11
发表于 2019-5-23 18:59 | 显示全部楼层
厦门大学林子雨Spark编程基础
回复

使用道具 举报

金币1834  第955名

0

主题

1882

回帖

1万

积分

论坛元老

Rank: 8Rank: 8

威望
4256
贡献
4501
热心值
0
金币
1834
注册时间
2019-7-27
发表于 2019-11-15 13:12 | 显示全部楼层
666666666666666
回复

使用道具 举报

金币27  第15009名

0

主题

56

回帖

284

积分

中级会员

Rank: 3Rank: 3

威望
108
贡献
149
热心值
0
金币
27
注册时间
2019-7-1
发表于 2019-12-5 14:06 | 显示全部楼层
66666666666666666666666
回复

使用道具 举报

金币262  第4879名

0

主题

245

回帖

488

积分

中级会员

Rank: 3Rank: 3

威望
94
贡献
132
热心值
0
金币
262
注册时间
2019-11-28
发表于 2019-12-5 14:12 | 显示全部楼层
厦门大学林子雨Spark编程基础
回复

使用道具 举报

金币1398  第1250名

0

主题

511

回帖

3180

积分

论坛元老

Rank: 8Rank: 8

威望
793
贡献
989
热心值
0
金币
1398
注册时间
2019-5-24
发表于 2019-12-11 08:46 | 显示全部楼层
厦门大学林子雨Spark编程基础
回复

使用道具 举报

金币343  第4065名

24

主题

9648

回帖

1万

积分

论坛元老

Rank: 8Rank: 8

威望
6491
贡献
6233
热心值
7
金币
343
注册时间
2019-7-22
发表于 2019-12-11 08:57 | 显示全部楼层
学习一下感谢楼主分享谢谢了
回复

使用道具 举报

金币1103  第1554名

1

主题

683

回帖

4946

积分

论坛元老

Rank: 8Rank: 8

威望
1797
贡献
2046
热心值
0
金币
1103
注册时间
2019-12-11
发表于 2019-12-11 09:31 | 显示全部楼层
感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享感谢分享
回复

使用道具 举报

金币4418  第331名

0

主题

1462

回帖

1万

积分

论坛元老

Rank: 8Rank: 8

威望
3238
贡献
3781
热心值
0
金币
4418
注册时间
2019-6-24
发表于 2019-12-11 09:47 | 显示全部楼层
thanks for share  ,  


回复

使用道具 举报

金币557  第2892名

0

主题

3543

回帖

1万

积分

论坛元老

Rank: 8Rank: 8

威望
7073
贡献
5601
热心值
0
金币
557
注册时间
2019-6-10
发表于 2020-1-3 19:32 | 显示全部楼层
不错的资源
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|瑞客论坛 |网站地图

GMT+8, 2024-12-23 15:59

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表