qq62323217 发表于 2019-3-22 16:14

【脱产学习】2016徐老师大数据培训视频教程

课程目录:

第1章:hadoop

000-徐培成大数据课程大纲
001.Hadoop介绍
002.VMware安装
003.Ubuntu下载与虚拟机下安装
004.Ubuntu常用命令
005.Ubuntu目录和权限
006.Ubuntu软件包桌面程序以及增强工具
007.Ubuntu本地软件源与ISO制作
008.Ubuntu克隆与Mac生成-网络连接方式
009.Hadoop在Ubuntu下安装JDK
010.Hadoop在Ubuntu下安装Hadoop
011.Hadoop配置独立模式
012.Hadoop配置伪分布模式
013.Hadoop配置完全分布模式之修改虚拟机名称和目录
014.Hadoop配置完全分布模式之修改登录提示和主机名
015.Hadoop配置完全分布模式之使用符号链接实现配置分离
016.Hadoop配置完全分布模式之克隆客户机与交互模式切换与hosts文件修改与ssh远程无密登录
017.Hadoop配置完全分布模式之IP设置与远程拷贝与格式化启动
018.Hadoop在Win7下免Cygwin环境安装伪分布式与第三方增强软件介入
019.Hadoop在Win7下免Cygwin环境安装NativeBug解决与dexpot多桌面应用
020.Hadoop架构分析之单节点体系
021.Hadoop架构分析之集群结构分析
022.Hadoop架构分析之HDFS架构分析
023.Hadoop架构分析之NN和DN原生文档解读
024.Hadoop架构分析之启动脚本分析(集群id的兼容处理与start-allcmd解析与批处理命令讲解)
025.Hadoop架构分析之启动脚本分析(start-dfs.cmd与hadoop-conf.cmd)
026.Hadoop架构分析之启动脚本分析(hadoop.cmd命令)
027.Hadoop架构分析之启动脚本分析(数据格式化与hdfs.cmd命令)
028.Hadoop架构分析之启动脚本分析(mapred.cmd和虚拟机参数设置)
029.Hadoop架构分析之启动脚本分析(start-yarn.cmd命令)
030.Hadoop架构分析之启动脚本分析(yarn.cmd与yarn-evn.cmd命令)
031.Hadoop架构分析之启动脚本分析终极hdsfs部分
032.Hadoop架构分析之启动脚本分析终极yarn部分
033.HadoopMapReduce初识
034.HadoopMapReduce编写Mapper类
035.HadoopMapReduce编写Reducer类
036.HadoopMapReduce编写主函数类类
037.HadoopMapReduce独立模式运行程序
038.HadoopMapReduce集群模式下运行程序(1)
039.HadoopMapReduce集群模式调整配置与shell脚本处理
040.HadoopMapReduce集群模式调整配置最小块设置与web访问
041.HadoopMapReduce集群模式调整配置考查数据分布
042.HadoopMapReduce集群模式深入定制切割与副本数以及块大小定制
043.HadoopMapReduce集群模式深入定制切割与切割法则考查
044.HadoopMapReducewin7下配置networks文件映射主机名和端口号利于网络访问
045.HadoopMapReduce原理之物理导航-eclipse安装-后台启动-命令化
046.HadoopMapReduce原理之Hadoop插件安装-配置-验证
047.HadoopMapReduce原理之与大象装进冰箱的相似点
048.HadoopMapReduce原理之与进入流程图
049.HadoopMapReduce原理之核心类Job和ResourceManager解读
050.HadoopMapReduce原理之核心类NodeManager和MRAppMaster解读
051.HadoopMapReduce原理代码实战之Job提交推演心类Yarn与MapTask与ReduceTask解读
052.HadoopMapReduce原理之核心类RM与NM与AM的体系结构分析
053.HadoopMapReduce原理代码实战之ClassNotFound错误信息展现与分析
054.HadoopMapReduce原理代码实战之Ant使用
055.HadoopMapReduce原理代码实战之Job提交推演
056.HadoopMapReduce原理代码实战之Job初始化分析
057.HadoopMapReduce原理代码实战之ResourceManager远程调试
058.HadoopYarn框架底层事件分发机制概述
059.HadoopYarn框架底层事件分发调试准备
060.HadoopYarn框架底层事件分发调试Async分发器调试
061.HadoopYarn框架底层事件分发调试RMAppImpl事件处理调试-状态机模型变换
062.HadoopYarn框架底层事件分发调试之状态机事件触发原理
063.Hadoop底层IPC和RPC通信原理解析
064.Hadoop运行参数与Driver之数据环境处理与编程式
065.Hadoop运行参数与Driver之配置文件方式
066.Hadoop运行参数与Driver之参数指定方式与Driver
067.HadoopMapReduce类型之组合函数
068.HadoopMapReduce类型之分区函数以及自定义与注意事项

第2章:HBase

01.HBase介绍
02.HBase安装、体验
03.HBase完全分布式配置、启动与shell命令查看
04.HBase使用客户端API动态创建Hbase数据表并在Hbase下导出执行
05.HBase使用客户端API完成数据库CRUD操作
06.HBase使用新型API类库进行数据访问操作
07.HBase使用新型API类实现大数据量插入以及hbase表结构与Hadoop文件系统的对应关系
08.HBase与ZooKeeper组合应用以及在shell下操纵namespace
09.HBaseshell下常用操作
10.HBase内部Meta表分析以及设计原理
11.HBaseTable的拆分合并原理与实践
12.HBase编程实现table和Region的拆分合并

第3章:ZooKeeper

01.ZooKeeper简介
02.ZooKeeper下载与安装
03.ZooKeeper分布式集群配制与Leader宕机测试
04.ZooKeeper分布式集群配制与ncLinux命令的网络通信利器
05.ZooKeeper分布式集群配制与zk四字符客户端指令
06.ZooKeeper分布式集群配制与zkCli.sh客户端程序使用
07.ZooKeeper分布式集群协同之客户端API调用
08.ZooKeeper分布式集群协同之客户端API创建和删除path
09.ZooKeeper分布式集群协同之客户端API观察者模式与事件回调处理

第4章:Spark

01.Spark简介
02.Spark预编译版本下载安装与启动
03.Spark体验shell操作与wc操作与RDD介绍
04.Spark通过Maven进行源码编译安装
05.Spark搭建Maven本地仓库服务器
06.Spark通过本地Maven仓库服务器进行编译以及进行描述文件的设置
07.Spark官方doc的宏观描述和优势说明
08.Spark独立集群模式部署和启动
09.SparkMaster和Worker的webui查看以及FIFO作业调度讲解
10.Spark独立集群模式端口修改
11.Sparkshell应用于addFile
12.Spark程序build的宏观介绍
13.通过交互模式初始化Maven项目
14.通过参数指定方式直接初始化Maven项目
15.准备java源文件到自己的源码包中
16.设置pom.xml文件依赖插件以及与自由仓库目录树的对应关系
17.使用mvnpackage指令进行编译并进行打包与自由仓库目录树的对应关系1
18.使用java指令添加spark类库运行Spark程序
19.使用maven的exec执行插件运行java程序
20.配置eclipse的maven插件使用本地maven仓库服务器
21.eclipse之下maven项目的配置编译运行
22.eclipse之Scala插件的卸载与安装
23.eclipse下构建Scala程序以及运行
24.通过Scalac命令手动编译scala程序并执行
25.命令行下通过maven编译运行Scala程序
26.eclipse下通过maven-scala插件进行Spark(Scala版)应用的开发
27.创建SparkContext简介与环境准备
28.使用Scala创建SparkContext对象以及conf配置和调试
29.使用Java创建SparkContext对象以及元数据介绍
30.使用Java创建Rdd对象并在eclipse运行
31.使用Scala创建Rdd对象并在eclipse调试分布式应用
32.addFile方法的使用与常见错误
33.flatMap函数处理csv文件进行扁平化RDD处理

第5章:Kafka

1-Kafka概述
2-Kafka术语与JMS模型抽象
3-Kafka体验消息发送和消费
4-Kafka考查在zk的组件与分布情况
5-Kafka部署多broker集群以及考查容错性

第6章:Scala

01.Scala介绍与安装
02.Scala基础
03.Scala操作符重载与Apply与包导入
04.Scala控制结构与函数
05.Scala异常处理与过程与延迟初始化
06.Scala数组与多维数组
07.Scala数组缓冲区
08.Scala数组缓冲区操做符重载全解析
09.Scala Eclipse插件卸载与安装以及Scala工程创建源代码查看
10.Scala 与Java的互操作
11.Scala 与Java的互操作之双向处理

第7章:Ambari

001.Ambari Hadoop集群管理软件之介绍
002.Ambari Hadoop集群管理软件之下载安装配置启动登录
003.Ambari Hadoop集群管理软件之疑难问题解决与Root账户无密登录处理
004.Ambari Hadoop集群管理软件之HDP软件栈本地仓库搭建
005.Ambari Hadoop集群管理软件之AmbariServer通过本地仓库安装
006.Ambari Hadoop集群管理软件之Hadoop集群本地化安装






**** Hidden Message *****

hnfjj 发表于 2020-7-14 11:30

【脱产学习】2016徐老师大数据培训视频教程

追风 发表于 2020-9-18 16:39

准备java源文件到自己的源码包中
16.设置pom.xml文件依赖插件以及与自由仓库目录树的对应关系
17.使用mvnpackage指令进行编译并进行打包与自由仓库目录树的对应关系1
18.使用java指令添加spark类库运行Spark程序
19.使用maven的exec执行插件运行java程序
20.配置eclipse的maven插件使用本地maven仓库服务器
21.eclipse之下maven项目的配置编译运行
22.eclipse之Scala插件的卸载与安装
23.eclipse下构建Scala程序以及运行
24.通过Scalac命令手动编译scala程序并执行
25.命令行下通过maven编译运行Scala程序
26.eclipse下通过maven-scala插件进行Spark(Scala版)应用的开发
27.创建SparkContext简介与环境准备
28.使用Scala创建SparkContext对象以及conf配置和调试
29.使用Java创建SparkContext对象以及元数据介绍
30.使用Java创建Rdd对象并在eclipse运行
31.使用Scala创建Rdd对象并在eclipse调试分布式应用

sfy394953843 发表于 2021-7-1 11:22

【脱产学习】2016徐老师大数据培训视频教程

wandingyu90 发表于 2021-11-29 09:58

真是被感动的痛哭流涕……
页: [1]
查看完整版本: 【脱产学习】2016徐老师大数据培训视频教程