瑞客论坛

 找回密码
 立即注册
查看: 3065|回复: 68

Spark性能调优实战|JK

[复制链接]

金币939  第1766名

16

主题

373

回帖

3569

积分

论坛元老

Rank: 8Rank: 8

威望
1315
贡献
1314
热心值
1
金币
939
注册时间
2019-11-17
发表于 2023-9-28 23:09 | 显示全部楼层 |阅读模式
开篇词  Spark性能调优,你该掌握这些“套路”

01 性能调优的必要性:Spark本身就很快,为啥还需要我调优?
02 性能调优的本质:调优的手段五花八门,该从哪里入手?
03 RDD:为什么你必须要理解弹性分布式数据集?
04 DAG与流水线:到底啥叫“内存计算”?
05 调度系统:“数据不动代码动”到底是什么意思?
06 存储系统:空间换时间,还是时间换空间?
07 内存管理基础:Spark如何高效利用有限的内存空间?
08 应用开发三原则:如何拓展自己的开发边界?
09 调优一筹莫展,配置项速查手册让你事半功倍!(上)
10 调优一筹莫展,配置项速查手册让你事半功倍!(下)
11 Shuffle的工作原理:为什么说Shuffle是一时无两的性能杀手?
12 广播变量(一):克制Shuffle,如何一招制胜!
13 广播变量(二):有哪些途径让Spark SQL选择Broadcast Joins?
14 CPU视角:如何高效地利用CPU?
15 内存视角(一):如何最大化内存的使用效率?
16 内存视角(二):如何有效避免Cache滥用?
17 内存视角(三):OOM都是谁的锅?怎么破?
18 磁盘视角:如果内存无限大,磁盘还有用武之地吗?
19 网络视角:如何有效降低网络开销?
20 RDD和DataFrame:既生瑜、何生亮
21 Catalyst逻辑计划:你的SQL语句是怎么被优化的?(上)
22 Catalyst物理计划:你的SQL语句是怎么被优化的(下)?
23 钨丝计划:Tungsten给开发者带来了哪些福报?
24 Spark 3.0(一):AQE的3个特性怎么才能用好阿
25 Spark 3.0(二):DPP特性该怎么用?
26 Join Hints指南:不同场景下,如何选择Join策略?
27 大表Join小表:广播变量容不下小表怎么办?
28 大表Join大表(一):什么是“分而治之”的调优思路?
29 大表Join大表(二):什么是负隅顽抗的调优思路?
30 应用开发:北京市小客车(汽油车)摇号趋势分析
31 性能调优:手把手带你提升应用的执行性能
结束语  在时间面前,做一个笃定学习的人


游客,本付费内容需要支付 30金币 才能浏览, 赞助VIP全站免费下载支付

回复

使用道具 举报

金币3714  第412名

0

主题

3509

回帖

1万

积分

论坛元老

Rank: 8Rank: 8

威望
8176
贡献
6409
热心值
0
金币
3714
注册时间
2020-4-26
QQ
发表于 2023-9-30 01:28 | 显示全部楼层
看到这帖子真是高兴!
回复

使用道具 举报

金币1330  第1274名

0

主题

1200

回帖

7887

积分

论坛元老

Rank: 8Rank: 8

威望
3533
贡献
3024
热心值
0
金币
1330
注册时间
2020-2-23
发表于 2023-9-30 01:36 | 显示全部楼层
强烈支持楼主ing……
回复

使用道具 举报

金币752  第2174名

0

主题

1210

回帖

6312

积分

论坛元老

Rank: 8Rank: 8

威望
3344
贡献
2216
热心值
0
金币
752
注册时间
2022-12-6
发表于 2023-9-30 05:07 | 显示全部楼层
强烈支持楼主ing……
回复

使用道具 举报

金币991  第1679名

0

主题

1294

回帖

7142

积分

论坛元老

Rank: 8Rank: 8

威望
3623
贡献
2528
热心值
0
金币
991
注册时间
2022-11-26
发表于 2023-9-30 05:08 | 显示全部楼层
强烈支持楼主ing……
回复

使用道具 举报

金币786  第2068名

0

主题

2437

回帖

1万

积分

论坛元老

Rank: 8Rank: 8

威望
6580
贡献
5040
热心值
0
金币
786
注册时间
2021-3-21
发表于 2023-9-30 05:09 | 显示全部楼层
强烈支持楼主ing……
回复

使用道具 举报

金币1505  第1135名

0

主题

1985

回帖

1万

积分

论坛元老

Rank: 8Rank: 8

威望
5962
贡献
4584
热心值
0
金币
1505
注册时间
2021-10-18
发表于 2023-9-30 05:10 | 显示全部楼层
强烈支持楼主ing……
回复

使用道具 举报

金币1415  第1212名

0

主题

1654

回帖

9427

积分

论坛元老

Rank: 8Rank: 8

威望
4715
贡献
3297
热心值
0
金币
1415
注册时间
2022-5-12
发表于 2023-9-30 05:10 | 显示全部楼层
强烈支持楼主ing……
回复

使用道具 举报

金币2241  第762名

16

主题

2600

回帖

1万

积分

论坛元老

Rank: 8Rank: 8

威望
6813
贡献
3922
热心值
2
金币
2241
注册时间
2022-7-9

灌水之王活跃会员一年荣誉奖章最佳新人

发表于 2023-9-30 05:36 | 显示全部楼层
强烈支持楼主ing……
回复

使用道具 举报

金币800  第2030名

0

主题

662

回帖

4300

积分

论坛元老

Rank: 8Rank: 8

威望
1984
贡献
1516
热心值
0
金币
800
注册时间
2023-6-9
QQ
发表于 2023-9-30 07:55 | 显示全部楼层
强烈支持楼主ing……
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|瑞客论坛 |网站地图

GMT+8, 2024-11-24 22:46

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表