论坛元老
- 威望
- 130
- 贡献
- 244
- 热心值
- 2
- 金币
- 21375
- 注册时间
- 2020-8-31
|
课程目录：
第1章：hadoop
000-徐培成大数据课程大纲
001.Hadoop介绍
002.VMware安装
003.Ubuntu下载与虚拟机下安装
004.Ubuntu常用命令
005.Ubuntu目录和权限
006.Ubuntu软件包桌面程序以及增强工具
007.Ubuntu本地软件源与ISO制作
008.Ubuntu克隆与Mac生成-网络连接方式
009.Hadoop在Ubuntu下安装JDK
010.Hadoop在Ubuntu下安装Hadoop
011.Hadoop配置独立模式
012.Hadoop配置伪分布模式
013.Hadoop配置完全分布模式之修改虚拟机名称和目录
014.Hadoop配置完全分布模式之修改登录提示和主机名
015.Hadoop配置完全分布模式之使用符号链接实现配置分离
016.Hadoop配置完全分布模式之克隆客户机与交互模式切换与hosts文件修改与ssh远程无密登录
017.Hadoop配置完全分布模式之IP设置与远程拷贝与格式化启动
018.Hadoop在Win7下免Cygwin环境安装伪分布式与第三方增强软件介入
019.Hadoop在Win7下免Cygwin环境安装NativeBug解决与dexpot多桌面应用
020.Hadoop架构分析之单节点体系
021.Hadoop架构分析之集群结构分析
022.Hadoop架构分析之HDFS架构分析
023.Hadoop架构分析之NN和DN原生文档解读
024.Hadoop架构分析之启动脚本分析（集群id的兼容处理与start-allcmd解析与批处理命令讲解）
025.Hadoop架构分析之启动脚本分析（start-dfs.cmd与hadoop-conf.cmd）
026.Hadoop架构分析之启动脚本分析（hadoop.cmd命令）
027.Hadoop架构分析之启动脚本分析（数据格式化与hdfs.cmd命令）
028.Hadoop架构分析之启动脚本分析（mapred.cmd和虚拟机参数设置）
029.Hadoop架构分析之启动脚本分析（start-yarn.cmd命令）
030.Hadoop架构分析之启动脚本分析（yarn.cmd与yarn-evn.cmd命令）
031.Hadoop架构分析之启动脚本分析终极hdsfs部分
032.Hadoop架构分析之启动脚本分析终极yarn部分
033.HadoopMapReduce初识
034.HadoopMapReduce编写Mapper类
035.HadoopMapReduce编写Reducer类
036.HadoopMapReduce编写主函数类类
037.HadoopMapReduce独立模式运行程序
038.HadoopMapReduce集群模式下运行程序(1)
039.HadoopMapReduce集群模式调整配置与shell脚本处理
040.HadoopMapReduce集群模式调整配置最小块设置与web访问
041.HadoopMapReduce集群模式调整配置考查数据分布
042.HadoopMapReduce集群模式深入定制切割与副本数以及块大小定制
043.HadoopMapReduce集群模式深入定制切割与切割法则考查
044.HadoopMapReducewin7下配置networks文件映射主机名和端口号利于网络访问
045.HadoopMapReduce原理之物理导航-eclipse安装-后台启动-命令化
046.HadoopMapReduce原理之Hadoop插件安装-配置-验证
047.HadoopMapReduce原理之与大象装进冰箱的相似点
048.HadoopMapReduce原理之与进入流程图
049.HadoopMapReduce原理之核心类Job和ResourceManager解读
050.HadoopMapReduce原理之核心类NodeManager和MRAppMaster解读
051.HadoopMapReduce原理代码实战之Job提交推演心类Yarn与MapTask与ReduceTask解读
052.HadoopMapReduce原理之核心类RM与NM与AM的体系结构分析
053.HadoopMapReduce原理代码实战之ClassNotFound错误信息展现与分析
054.HadoopMapReduce原理代码实战之Ant使用
055.HadoopMapReduce原理代码实战之Job提交推演
056.HadoopMapReduce原理代码实战之Job初始化分析
057.HadoopMapReduce原理代码实战之ResourceManager远程调试
058.HadoopYarn框架底层事件分发机制概述
059.HadoopYarn框架底层事件分发调试准备
060.HadoopYarn框架底层事件分发调试Async分发器调试
061.HadoopYarn框架底层事件分发调试RMAppImpl事件处理调试-状态机模型变换
062.HadoopYarn框架底层事件分发调试之状态机事件触发原理
063.Hadoop底层IPC和RPC通信原理解析
064.Hadoop运行参数与Driver之数据环境处理与编程式
065.Hadoop运行参数与Driver之配置文件方式
066.Hadoop运行参数与Driver之参数指定方式与Driver
067.HadoopMapReduce类型之组合函数
068.HadoopMapReduce类型之分区函数以及自定义与注意事项
第2章：HBase
01.HBase介绍
02.HBase安装、体验
03.HBase完全分布式配置、启动与shell命令查看
04.HBase使用客户端API动态创建Hbase数据表并在Hbase下导出执行
05.HBase使用客户端API完成数据库CRUD操作
06.HBase使用新型API类库进行数据访问操作
07.HBase使用新型API类实现大数据量插入以及hbase表结构与Hadoop文件系统的对应关系
08.HBase与ZooKeeper组合应用以及在shell下操纵namespace
09.HBaseshell下常用操作
10.HBase内部Meta表分析以及设计原理
11.HBaseTable的拆分合并原理与实践
12.HBase编程实现table和Region的拆分合并
第3章：ZooKeeper
01.ZooKeeper简介
02.ZooKeeper下载与安装
03.ZooKeeper分布式集群配制与Leader宕机测试
04.ZooKeeper分布式集群配制与ncLinux命令的网络通信利器
05.ZooKeeper分布式集群配制与zk四字符客户端指令
06.ZooKeeper分布式集群配制与zkCli.sh客户端程序使用
07.ZooKeeper分布式集群协同之客户端API调用
08.ZooKeeper分布式集群协同之客户端API创建和删除path
09.ZooKeeper分布式集群协同之客户端API观察者模式与事件回调处理
第4章：Spark
01.Spark简介
02.Spark预编译版本下载安装与启动
03.Spark体验shell操作与wc操作与RDD介绍
04.Spark通过Maven进行源码编译安装
05.Spark搭建Maven本地仓库服务器
06.Spark通过本地Maven仓库服务器进行编译以及进行描述文件的设置
07.Spark官方doc的宏观描述和优势说明
08.Spark独立集群模式部署和启动
09.SparkMaster和Worker的webui查看以及FIFO作业调度讲解
10.Spark独立集群模式端口修改
11.Sparkshell应用于addFile
12.Spark程序build的宏观介绍
13.通过交互模式初始化Maven项目
14.通过参数指定方式直接初始化Maven项目
15.准备java源文件到自己的源码包中
16.设置pom.xml文件依赖插件以及与自由仓库目录树的对应关系
17.使用mvnpackage指令进行编译并进行打包与自由仓库目录树的对应关系1
18.使用java指令添加spark类库运行Spark程序
19.使用maven的exec执行插件运行java程序
20.配置eclipse的maven插件使用本地maven仓库服务器
21.eclipse之下maven项目的配置编译运行
22.eclipse之Scala插件的卸载与安装
23.eclipse下构建Scala程序以及运行
24.通过Scalac命令手动编译scala程序并执行
25.命令行下通过maven编译运行Scala程序
26.eclipse下通过maven-scala插件进行Spark（Scala版）应用的开发
27.创建SparkContext简介与环境准备
28.使用Scala创建SparkContext对象以及conf配置和调试
29.使用Java创建SparkContext对象以及元数据介绍
30.使用Java创建Rdd对象并在eclipse运行
31.使用Scala创建Rdd对象并在eclipse调试分布式应用
32.addFile方法的使用与常见错误
33.flatMap函数处理csv文件进行扁平化RDD处理
第5章：Kafka
1-Kafka概述
2-Kafka术语与JMS模型抽象
3-Kafka体验消息发送和消费
4-Kafka考查在zk的组件与分布情况
5-Kafka部署多broker集群以及考查容错性
第6章：Scala
01.Scala介绍与安装
02.Scala基础
03.Scala操作符重载与Apply与包导入
04.Scala控制结构与函数
05.Scala异常处理与过程与延迟初始化
06.Scala数组与多维数组
07.Scala数组缓冲区
08.Scala数组缓冲区操做符重载全解析
09.Scala Eclipse插件卸载与安装以及Scala工程创建源代码查看
10.Scala 与Java的互操作
11.Scala 与Java的互操作之双向处理
第7章：Ambari
001.Ambari Hadoop集群管理软件之介绍
002.Ambari Hadoop集群管理软件之下载安装配置启动登录
003.Ambari Hadoop集群管理软件之疑难问题解决与Root账户无密登录处理
004.Ambari Hadoop集群管理软件之HDP软件栈本地仓库搭建
005.Ambari Hadoop集群管理软件之AmbariServer通过本地仓库安装
006.Ambari Hadoop集群管理软件之Hadoop集群本地化安装
|
|
发表于 2019-3-22 16:14
