最新大数据24期 共十天高清视频教程 附课件源码

一颗火热的心

最新大数据24期 共十天高清视频教程 附课件源码（JavaSE SpringMVC Linux Hadoop Hive Hbase Flume Sqoop ）
课程目录：

大数据24期-01-JavaSE基础-15天

第一天：

01.什么是计算机软件
02.什么数据软件开发--利用编程语言来写剧本
03.什么是jdk--怎么安装jdk
03.什么是jdk--怎么安装jdk
04.安装启动eclipse
04.安装启动eclipse
05.配置eclipse的字体和布局
06.新建一个java的类的步骤
07.第一个java编程作品--HelloWorld
08.java中的变量定义和变量赋值语法
09.第一个java程序中的知识点梳理--终端输入--终端输出
10.第二个java编程作品--数字运算
11.第二个java作品所涉及的知识点--string转int--数字运算符
12.第二个java作品的扩展--加减乘除--float和double类型
13.逻辑判断控制语法--if-else的结构--字符串是否相等的比较方法equals
14.if语句中的条件其实是一个布尔值--或者布尔运算表达式的结果

第二天：

01.内容复习--作业题讲解
02.循环控制语法示例--将猜数字游戏改造成可以连续猜
03.循环控制语法--for循环
04.数组的应用案例--多门课程的总成绩和平均成绩计算
05.数组遍历案例--求最大值最小值
06.冒泡排序算法在数组上的实现
07.java的面相对象编程--类和对象的概念及基本使用
08.类和对象的基本使用演示
09.类和对象的使用示例2--商品类和商品信息管理

第三天：

01.变量定义重新梳理
02.数组中数据的操作方法
03.类和对象的梳理
04.java编程逻辑控制语法精髓
05.类中的构造方法定义及在创建对象时的使用方法
06.类和数组的综合练习--字符串切割

第四天：

01.集合数据类型arraylist的基本使用示例
02.关于导包的注意事项
03.关于arraylist和数组之间的区别
04.arraylist的脚标越界演示
05.arraylist中装自定义类型的数据演示
06.arraylist求最大值-排名前n个-以及方法的定义和使用
07.方法定义和使用的再次演示
08.各种方法的定义--方法参数--方法重载
09.排序和打印list的方法演示
10.排序方法练习错误解析--关于返回值
12.排序方法练习错误解析--关于如何调用方法
13.关于静态方法（类的方法）和成员方法（对象方法）
14.工具方法定义和使用练习讲解
15.订单类的模拟设计和订单对象创建测试
16.今日知识总复习梳理

第五天：

01.大型面向对象编程--LOL游戏英雄--建模需求
02.public和private的区别和深刻编程思想
03.LOL英雄面向对象建模的代码实现示范
04.自动售货系统的需求说明及菜单开发
05.tostring方法的作用和写法
06.商品管理功能类的开发--定义商品list--定义添加商品的方法--展现商品的方法
07.造商品数据-并完成商品展现功能
08.添加商品到购物车的功能类实现
09.打印购物车信息的方法实现

第六天：

01.到day05为止的所有知识总复习
02.购物系统的购物车功能完善
03.购物系统的购物车功能完善--再次补充-将查找商品信息的逻辑封装到商品管理器中
04.hashmap集合的基本特性--key--value
05.hashmap的最常用功能的使用示例
06.hashset的使用和迭代器的使用和增强for循环的使用
07.hashmap和hashset的应用练习
08.hashmap的应用练习2--找重名商品

第七天：

01.day06作业题讲解1-4
02.day06作业题讲解5
03.day06作业题讲解6
04.软件系统通用三层架构解释
05.自动售货系统的架构设计
06.面向对象编程中的--面向接口编程--接口的基本特性和使用
07.面向接口编程的示例2--用户登录注册系统开发--接口开发--界面开发
08.面向接口编程的示例2--业务层的实现--dao层的接口定义
09.面向接口编程的示例2--联调测试
10.模拟数据库Database类为何要将userMap修饰成public和static的原因
11.junit测试框架的基本使用
12.对象的构造过程--jvm先加载class--执行静态代码块--构造函数
13.day01-day07的语法知识梳理
14.考试题

第八天：

01.考试02讲解--基本题
02.考试02讲解--复杂题--service层实现
03.考试02讲解--复杂题--dao层实现
04.接口应用案例--通用排序工具开发
05.泛型参数的基本概念
06.利用泛型参数来开发一个更通用的排序工具--匿名内部类传递匿名对象的语法
07.jdk自带list排序工具Collections的用法
08.Collections排序工具的另一种用法-不传比较器而是让数据类自己实现compareTo方法
09.day08知识梳理

第九天：

01.java文件io体系之——File工具类使用
02.计算机中的信息编码机制
02.计算机中的信息编码机制
03.计算机对信息的存储机制总结梳理
03.计算机对信息的存储机制总结梳理
04.java-io体系最底层工具-字节流-FileInputStream文件输入流工具概念介绍
05.fileinputstream的最基本使用--逐个字节读取并转码
06.利用byte数组来让FileInputStream一次读取连续的多个字节
07.利用while循环和byte数组进行反复读取
08.利用FileInputStream来按行读取数据
09.利用bufferedreader来按文本数据读取文件
10.如何让bufferedreader正确读中文数据
11.课堂练习
12.课堂练习编码实现
13.阶段性知识梳理
14.fileoutputstream字节输出流的基本使用
15.bufferedwriter的基本使用--及如何指定编码集--字符串和数在写文件时的区别和联系
16.文件读写应用练习案例

第十天：

01.dataoutputstream和datainputstream的基本概念和使用
02.dataoutputstream和datainputstream的更多数据类型的读写
03.datastream的对象数据存取练习
04.序列化和反序列化的概念
05.利用objectoutputstream和objectinputstream来直接存取对象
06.利用objectstream来存取list-map等复杂类型对象
07.利用objectstream来模拟商品-订单数据管理练习
08.java中的异常处理基本概念
09.java中的异常处理知识点梳理和模板代码示例
10.继承语法的基本概念和使用方法
11.继承语法的基本概念之--方法重写
12.继承语法的模板代码和知识点梳理
13.抽象类的基本概念和使用
14.抽象类的知识梳理和模板代码
15.反射的基本概念和使用
16.反射结合面向接口编程实现一个简易框架

第十一天：

01.反射机制知识梳理
02.反射机制中的方法调用--方法应该在对象上调用
03.线上购物系统--概要设计--用户管理模块详细设计
04.dao层功能-添加用户实现及测试
05.用户管理模块dao层的功能全实现及测试
06.商品管理模块dao层的功能全实现
07.用户管理模块service层的功能实现实现
08.商品管理模块的交互层功能设计和service层功能设计
09.商品管理模块的service层接口定义
10.商品管理模块的dao层接口定义
11.商品管理模块的service层实现类开发
12.商品管理模块的dao层实现类开发

第十二天：

01.购物车模块的需求分析--交互层功能设计
02.购物车模块的需求分析--service层功能设计
03.购物车模块的service层--接口定义
04.购物车模块的数据模型分析设计
05.购物车模块需求分析--dao层功能设计
06.购物车模块的dao层--接口定义
07.购物车模块的service层--实现类开发
08.购物车模块的dao层和service层重构--实现了service的添加商品到购物车功能
09.购物车模块的dao层--实现类开发--添加新用户和商品项到购物车
10.购物车模块的dao层--实现类开发--根据userid和pid取购物项--以及测试

第十三天：

01.类和对象之间的关系及静态成员和非静态成员的关系
02.计算机网络通信基本概念
03.socket编程服务端程序demo编写
04.socket编程客户端程序demo编写并运行测试
05.服务端一次接收多个字节的数据改造
06.将程序改造成交互通信（只能一次交互）
07.将程序改造成多次交互通信
08.把服务端改造成可以常驻服务
09.单线程服务器的弊端
10.多线程的形象比喻解释
11.多线程的简单demo实现及相关疑问解答
12.如何向一个runnable对象中传递数据
13.利用多线程来改造上午的socket服务端程序
14.在文件中快速定位数据的设计思想--让数据有组织有规律地存储
15.写代码实现将数据按照固定长度和规则写入文件
16.在文件中快速查找数据的代码开发
17.全天知识点梳理--考试题布置

第十四天：

01.作业题讲解--根据名称查找商品的功能实现
02.作业题讲解--将数据查询功能改造成网络服务
03.作业题讲解--服务端查询数据功能测试
04.作业题讲解--服务端根据名称查询商品的功能实现和测试
05.2维数组的介绍和使用
06.2维数组的各种语法--定义--赋值--赋初值--遍历
07.三元表达式的用法
08.do-while控制语法
09.continue和break的用途区别
10.匿名内部类的使用--普通类的子类--接口的实现类
11.反射的基本语法复习
12.反射与属性配置文件的加载结合案例
13.动态代理的通俗解释和基本运作机制
14.动态代理的示例代码开发
15.RPC机制解析
16.将newBidbServer的客户端改造成rpc调用
17.day14知识梳理

第十五天：

01.动态代理和静态代理的区别联系
02.多线程的基本使用复习
03.线程安全问题出现的原因及解决思路
04.线程安全问题解决方案synchronized的使用
05.单例设计模式的两种基本写法--懒汉式--饿汉式
06.单例设计模式在考虑线程安全问题下的改造
07.json数据格式介绍
08.json解析工具gson的基本使用
09.命令行初学--javac命令--环境变量配置
10.用命令行java命令来执行一个类的main方法
11.用命令行java命令来执行一个需要用到别的类甚至别的jar包的程序
12.命令行jar命令将工程代码打成jar包

大数据24期-SpringMVC Mybatis 汽配城-8天

Mybatis第一天：

1.课程介绍
10.mybatis中类的别名定义
11.properties属性的配置
12.mapper文件的两种引入方式
2.mybatis介绍
3.原生态jdbc存在的问题
4.mybatis入门案例
5.mybatis基本增删改查案例
6.mybatis的工作原理以及开发流程
7.mybatis解决jdbc问题
8.mybatis开发原始dao和mapper代理dao
9.mapper代理开发dao的注意事项以及优势

Mybatis第二天：

1.输入映射
2.模拟用户登录案例
3.resultMap的用法
4.动态标签商品查询案例
5.动态标签模拟商品批量删除
6.商品订单模型sql
7.mybatis开发一对一查询和映射
8.mybatis开发一对多高级映射
9.mybatis逆向工程生成代码

Mybatis第三天：

1.输入映射
2.模拟用户登录案例
3.resultMap的用法
4.动态标签商品查询案例
5.动态标签模拟商品批量删除
6.商品订单模型sql
7.mybatis开发一对一查询和映射
8.mybatis开发一对多高级映射
9.mybatis逆向工程生成代码

Mybatis第四天：

1.springmvc的参数绑定
10.系统的session过滤和权限拦截的实现思路
2.get请求和post请求乱码处理
3.springmvc的高级参数绑定
4.requestmapping注解的详细使用
5.请求转发和重定向到处理器
6.图片上传的功能分析
7.springmvc实现图片上传的功能
8.json注解支持
9.Springmvc对restful的支持

Mybatis第五天：

1.springmvc拦截器的简单例子
2.springmvc做session拦截以及session的介绍
3.复习
4.spring的IOC介绍以及入门案例
5.spring的DI案例
6.bean的三种构造方式
7.spring注解开发案例
8.常用注解的使用

Mybatis第六天：

1.ssm框架整合
2.ssm框架整合
3.登录功能
4.商品查询
5.商品删除
6.商品添加
7.商品修改

Mybatis第七天：

1.动态代理
2.反射机制复习
3.springAop的原理
4.springAop进行ssm项目的事务管理

Mybatis第八天：

1.背景介绍
2.系统的功能需求介绍（注册模块）
3.系统的功能需求介绍(企业管理模块)
4.系统的功能需求介绍(员工管理模块)
5.系统的功能需求介绍(我的货架和公共货架模块)
6.系统的功能需求介绍(询价单和历史记录模块)
7.系统的功能需求介绍(首页模块)
8.系统的数据库设计

大数据24期-03-Linux基础进阶(开发人员必备)-3天(不想做Java开发的从这开始看)

第一天：

01.为什么要学习linux
02.Linux简介
03.vmware简介&软件安装
04.Linux学习方法
05.Linux目录结构
06.Linux常用命令-文件处理命令1
07.Linux常用命令-文件处理命令2
08.文件处理命令
09.Linux帮助命令
10.常用命令总结
11.复习
12.Linux查找命令
13.压缩解压缩命令
14.系统关机命令&学习技巧
15.vim工作模式&插入命令&定位命令
16.VIM复制剪切删除命令
17.vim替换取消&搜索替换&可视化模式
18.linux网络NAT配置&远程连接

第二天：

01.复习
02.常用命令作业解答
03.linux环境配置&&磁盘管理命令&&用户管理命令
04.Linux进程管理命令
05.权限理解
06.权限修改
07.复习
08.软件包管理rpm&&yum
09.本地yum源配置
10.使用minimal安装linux
11.制作模板机&拍摄快照&克隆虚拟机
12.克隆后虚拟机配置
13.scp&&ssh&&配置免密登录
14.安装jdk
15.secure常用配置&配置yum源说明

第三天：

01.复习&&免密登录原理
02.三种网络配置
03.jdk安装复习
04.shell基础知识
05.shell脚本的创建&&shell脚本执行
06.shell变量的定义&分类
07.用户自定义变量&&环境变量
08.位置参数变量&&预定义变量
09.上午复习
10.read命令
11.shell中的运算符
12.条件测试
13.shell流程控制语句if&case&for&while
14.shell自定义函数&&shell脚本调试
15.awk命令
16.sed命令
17.定时器
18.bash常用命令

大数据24期-04-Hadoop Hive Hbase Flume Sqoop-12天

第一天：Hadoop-集群安装部署

01.大数据基本概念--课程内容介绍
02.大数据应用场景介绍
03.HDFS的整体工作机制介绍
04.HDFS集群搭建--服务器-网络配置准备
05.JDK安装和基础环境配置--环境变量--域名映射
06.HDFS集群部署启动
07.HDFS的命令行客户端基本操作--DATANODE存储文件块的观察
08.HDFS的命令行客户端常用命令演示
09.业务系统中日志生成机制和代码展示
10.HDFS的java客户端api基本使用--客户端参数加载机制深入理解
11.HDFS的不同进程使用不同参数--但写在一个文件中
12.在windows环境中开发hadoop程序需要配置的本地环境
13.HDFS的java客户端API常用操作方法的使用演示

第二天：Hadoop-HDFS工作机制

01.自开发分布式数据采集系统--系统流程设计--采集任务逻辑实现
02.自开发分布式数据采集系统--备份数据清理任务实现
03.自开发分布式数据采集系统--可配置化改造--单例设计模式的运用
04.HDFS的读文件内容的输入流使用示例--顺序读取--随机读取
05.HDFS的写数据到文件的输出流使用示例
06.HDFS版wordcount程序的开发实现--框架式开发
07.HDFS工作机制--namenode元数据管理--checkpoint
08.HDFS工作机制--客户端写数据到HDFS的流程
09.HDFS工作机制--客户端从HDFS读数据的流程

第三天：Hadoop-MapReduce与Yarn详解

01.mapreduce分布式计算框架的整体工作机制
02.用mapreduce来实现wordcount的思路设计
03.mapreduce实现wordcount的逻辑代码
04.yarn集群的功能和大体机制介绍
05.yarn集群安装启动
06.在windows系统中运行job客户端来提交mapreduce程序到yarn上去执行

第四天：Hadoop-MapReduce编程案例1

01.nodemanager资源总量配置问题--maven工程插件缺失问题
02.mapreduce数据输入输出类型的序列化问题--明确jobsubmitter只是一个用于提交mr-job的客户端工具程序
03.mapreduce编程模型和具体实现框架之间的概念关系
04.mapreduce程序提交的方式2——在集群上的机器上启动提交客户端
05.mapreduce程序提交方式3--直接在windows平台上以本地模式运行mapreduce程序
06.mapreduce本地运行debug调试观察
07.mapreduce编程中自定义类型的序列化接口实现方式
08.mapreduce编程案例--流量统计求和--自定义数据类型
09.mapreduce编程案例--页面访问次数topn的编程模型设计--treemap的使用
10.mapreduce编程案例--页面访问次数topn的实现--如何向map和reduce方法中传递外部参数
11.mapreduce编程案例--页面访问总次数的全局倒序排序
12.mapreduce编程案例--流量统计按归属地输出--设计思想--控制数据分发规则--partition
13.mapreduce编程案例--流量统计安归属地输出--代码实现--自定义Partitioner的实现

第五天：Hadoop-MapReduce编程案例2

01.mr编程案例--文档索引创建--输入切片--文件切片
02.mr编程案例--求分组topn的简单实现
03.mr编程案例--高效求分组topn的原理机制解析
04.mr编程案例--高效求分组topn的代码实现
05.mr编程案例--共同好友统计案例实现
06.mapreduce框架内部核心工作机制详解
07.mr编程案例--替换默认的文本输入输出组件为sequence文件输入输出组件

第六天：Hadoop-Zookeeper详解

01.mapreduce编程模型--及hadoop中的具体实现框架--复习
02.mapreduce编程案例--join算法的代码实现
03.mapreduce数据倾斜--利用Combiner组件 maptask端局部聚合数据来减轻倾斜影响
04.mapreduce编程案例--数据倾斜的通用解决方案--打散倾斜的key
05.mapreduce程序在yarn上的运行过程实验观察
06.hadoop-HA机制整体解析--引入zookeeper
07.zookeeper快速上手--功能总结
08.zookeeper应用场景举例--服务器上下线动态感知--配置文件同步管理
09.zookeeper集群安装部署--自动批量启动脚本编写
10.zookeeper命令行客户端的功能测试
11.zookeeper的数据节点类别--短暂--持久--带序号
12.zookeeper的java客户端api基本功能操作示范
13.zookeeper的java客户端api的监听功能代码示范
14.zookeeper的客户端工作线程--sendThread--eventThread-守护线程
15.利用zookeeper开发分布式应用系统案例--服务端实现
16.利用zookeeper开发分布式应用系统案例--客户端实现--运行测试

第七天：Hadoop-HA-Hive安装部署与HQL

01.hadoop的HA机制原理解析
02.hadoop的HA集群搭建示范
03.hadoop的HA集群的客户端编程注意点
04.hive的基本功能机制和概念
05.mysql的安装详细步骤
06.hive的安装和基本使用
07.hive
08.hive的脚本化运行使用方式
09.hive的基本语法--建表语法
10.hive的基本语法--内部表和外部表
11.hive的基本语法--CTAS建表
12.hive的基本语法--数据导入--从本地--从hdfs

第八天：Hadoop-Hive函数与HQL详解

01.hive查询语法--基本查询--条件查询--关联查询
02.hive查询语法--分组聚合--groupby查询--where过滤和having过滤的区别
03.hive查询语法--子查询
04.hive数据类型--复合类型--array数组类型的使用
05.hive数据类型--复合类型--map类型的使用
06.hive数据类型--复合类型--struct结构类型的使用
07.hive内置函数--类型转换cast--数学运算函数
08.hive内置函数--时间-日期-字符串--函数
09.hive内置函数--表生成函数--行转列explode--lateral-view
10.hive-day01-作业题

第九天：Hadoop-Hbase安装部署与详解

01.hive内置函数--集合函数--条件控制函数
02.hive内置函数--窗口分析函数--row_number_over
03.hive窗口分析函数--应用场景--累积报表--用传统方法实现
04.hive窗口分析函数--累积报表--用sum-over函数实现
05.hive中如何自定义函数--json解析函数示例
06.hive中的json解析函数--json-tuple
07.日新-日活用户统计sql开发--shell脚本
08.hbase基本概念介绍--数据库--nosql数据库
09.hbase的核心特性--基于hdfs-分布式数据管理--表结构
10.hbase的整体工作机制--集群角色功能介绍--存储机制
11.hbase集群搭建--及其各种机制的观察--hdfs中的目录--zookeeper中的状态数据
12.hbase客户端读写数据时的路由流程
13.hbase的工作机制补充--regionserver数据管理--内存缓存热数据--持久化到hdfs的观察
14.hbase中判断数据是否在一个持久化文件中的机制--布隆过滤器
15.hbase的java客户端操作--表定义管理

第十天：Hadoop-Flume安装部署与Hbase结合使用案例

01.hbase客户端编程DML-数据插入
02.hbase客户端编程DML--get查询数据
03.hbase客户端编程DML--范围查询--scan
04.hbase应用综合练习题
05.flume概念介绍及工作机制解释
06.flume的安装--解压即可
07.flume采集配置案例--采集目录中的新文件到HDFS中--配置详解
08.flume采集配置案例--采集文件新增内容到HDFS
09.flume采集配置案例--多级agent串联
10.hadoop离线分析项目案例--app后台数据分析整体架构-流程-说明
11.hadoop离线分析项目案例--数据预处理需求说明

第十一天：Hadoop-App数据分析与日活跃用户统计

01.app数据分析--预处理程序开发
02.app数据分析--预处理程序继续改造
03.app数据分析--预处理程序的脚本开发和启动测试
04.app数据分析--日活用户统计开发
05.app数据分析--日新用户统计开发
06.app数据分析--日新用户维度报表统计

第十二天：Hadoop-app-sqoop

01.flume中的sink-batchsize和channel的transactionCapacity大小之间的注意点
02.app数据统计分析案例--次日留存用户统计分析
03.app数据统计分析案例--版本升级轨迹信息抽取
04.sqoop的基本概念--安装-测试
05.利用sqoop将mysql中的数据导入hdfs和hive
06.利用sqoop将hdfs和hive中的数据导出到mysql
07.app数据统计--hive报表迁移到mysql--充分注意编码统一
08.hadoop-mapreduce编程考试题需求说明
09.java基础拾遗--类的加载和对象的构造过程
10.java基础拾遗--匿名内部类的应用--实现scala中的集合map方法
11.java基础拾遗--匿名内部类语法详解

大数据24期-05-ElasticSearch-2天

第一天：

01全文检索概念
02Lucene的API介绍
03Lucene的API介绍
04Lucene的API介绍和IK分词器
05Lucene的API介绍-复杂查询
06ElasticSearch简介
07ES和Solr的对比
08CentOS7的安装
09CentOS7的特殊命令
10keepalived说明
11虚拟keepalived的ip配置
12Echarts的使用
13echart读取后端的数据
14百度地图热点图的使用

第二天：

01ES的简介
02ES集群安装
03ES的REST风格API
04ES的REST风格查询API
05ES的Head插件安装-1
06ES的Head插件安装-2
07ES的ik分词器插件安装
08ES的JavaAPI-1
09ES的JavaAPI-2
10ES的JavaAPI创建Mapping
11ES的Java聚合查询-1
12ES的Java聚合查询-2
13ES的SQL插件

大数据24期-06-Spark安装部署到高级-10天

第一天：spark-01-安装部署环境搭建

01Spark简介
02spark安装包下载
03spark集群安装-1
04spark集群安装-2
05spark高可用集群安装-1
06spark高可用集群安装-2
07提交第一个spark程序
08spark shell运行wordcount
09spark任务执行流程简介
10Yarn和spark的对比
11在idea中用scala编写WordCount
12在idea中用java编写WordCount
13在idea中用java lambda编写WordCount
14本地调试spark程序

第二天：spark-02-Rdd介绍与使用

01RDD简介
02RDD介绍
03创建RDD的方式
04RDD的Transformation-1
05RDD的Transformation-2
06RDD的分区数量
07HDFS读取数据分区的数量
08mapParitionWithIndex
09RDD的aggregate方法
10RDD的AggregateByKey方法
11collect方法执行过程说明
12foldByKey方法
13foreach和foreachPartition
14作业和总结

第三天：spark-03-TopN与WordCount执行过程详解

01RDD复习
02CombineByKey方法
03最受欢迎老师
04每个学科最受欢迎老师TopN-1
05每个学科最受欢迎老师TopN-2（过滤多次提交）
06每个学科最受欢迎老师TopN-3（自定义分区器）
07每个学科最受欢迎老师TopN-1（减少shuffle）
08WordCount执行过程详解-1
09WordCount执行过程详解-2

第四天：spark-04-Spark案例讲解

01回顾
02RDD的cache
03cache部分数据
04cache的补充说明
05RDD的checkpoint机制
06根据ip计算归属地的需求
07单机程序计算ip归属地
08广播变量
09广播变量的使用
10根据IP地址计算归属地实现-1
11根据IP地址计算归属地实现-2
12将数据写入到MySQL中

第五天：spark-05-自定义排序与切分Stage

01内容回顾
02自定义排序-1
03自定义排序-2
04自定义排序-3
05自定义排序-4
06自定义排序-5
07JDBC RDD
08JDBC RDD使用注意事项
09Spark执行过程简介
10构建DAG
11切分Stage过程-1
12切分Stage过程-2
13切分Stage过程-3
14切分Stage过程-4
15线程池介绍
16序列化复习
17Spark整体执行流程
18SparkCore阶段总结

第六天：spark-06-spark SQL简介与案例详解1

01复习
02复习
03序列化问题
04函数中引用一个Driver端的一个类的实例
05函数中引用一个Driver端的一个objec1
06在EXecutor中初始化一个object
07一个Executor中多个Task的多线程问题
08spark SQL简介~1
08spark SQL简介~2
09sparkSQL1.x案例-1~1
10sparkSQL1.x案例-2
11sparkSQL1.x案例-3
12sparkSQL2.x案例-1
13spark2.x的sql方式的wordcount
14spark2.x DataSet方式的api

第七天：spark-07-spark SQL案例详解2

01复习-01
02复习-02
03spark sql的join
04dataframe的join
06用SQL根据IP地址计算归属地
07使用广播变量实现mapsidejoin
08几何平均数说明
09自定义聚合函数
10Dataset介绍
11spark2.0的特性
12sparkSQL的JDBC数据源
13写入多种文件格式
14json数据源
15csv数据源
16parquet数据源

第八天：spark-08-SparkStraming简介与kafka0.8集群安装

01sparkSQL补充
02sparkSQL的join-1
03sparkSQL的join-2
04spark整合hive
05spark整合hive
06实时计算介绍
07SparkStraming简介
08实时计算架构简介
09kafka相关概念介绍
10kafka0.8集群安装
11kafka的java api

第九天：spark-09-Kafka分区、DStream与直连方式实现

01复习0
02Kafka分区的相关知识
03sparksteaming原理简介
04DSteam简介
05第一个sparkSteaming程序
06sparkSteaming程序整合kafka
07可以更新状态累加的WordCount
08深入理解DStream
09DStream深入理解
10Receiver方式和直连方式介绍
11直连方式实现-1
12直连方式实现-2
13直连方式实现-3

第十天：spark-10-Redis与SparkSteaming

01复习
02Redis介绍
03Redis基本使用
04Redis连接池
05sparkSteaming程序计算多个指标
06sparkSteaming执行过程说明
07计算省份成交量
08sparkSteaming程序综合测试
09spark-on-yarn-01
10spark-on-yarn-02

大数据24期-07-Scala基础到高级-共5天

第一天：day01-Scala简介与基本语法

01.Scala语言的特点
02.Scala SDK的安装说明
03.Windows下安装Scala SDK
04.Idea中创建一个Scala工程
05.Scala 函数编程---wordCount
06.变量定义及条件表达式
07. 回顾及补充if会返回值问题
08.循环语句for及yield关键字
09.运算符重载成方法
10.Scala中定义方法和函数
11.传值调用和传名调用

第二天：参数、函数、集合、数组

01.回顾
02.可变参数
03.参数的默认值
04.高阶函数
05.部分参数应用函数
06.柯里化函数
07.偏函数
08.数组的map-flatten-flatMap-foreach操作及wordCount
09.下午回顾
10.集合的常用操作
11.Set Map 元组的使用

第三天：类的成员详解

01.回顾
02.Scala中的object对象及apply方法
03.Scala中类的定义及构造器的使用
04.Scala类的构造器访问权限
05.Scala类的成员属性访问权限
06.Scala中的类的访问权限（可见性）
07.Scala中的伴生对象
08.下午回顾
09.Scala中的并行化集合
10.Scala 特质 Trait定义使用
11.Scala中混入特质的两种方式
12.Scala中得抽象类abstract
13.Scala中得final和type
14.Scala中样例类和样例对象
15.继承时的一些问题
16.Scala中得模式匹配---match case

第四天：Akka Actor介绍

01.Akka Actor介绍
01.回顾
02.Actor工作机制
03.Actor与Actor之间传递消息机制
04.案例--HelloActor
05.龙哥大战峰哥---乒乓球---Actor
06.edu智能机器人答疑---服务端和客户端交互
07.服务端客户端消息传递详解
08.Spark Master和worker通信过程概述

第五天：Spark底层通信与Scala隐式

01.回顾
02.Spark底层通信---Worker向Master注册自己
03.Spark底层通信---Master存储Worker注册过来的数据
04.Spark底层通信---Woker启动一个调度器定期向master发送心跳
05.Spark底层通信---Master收到心跳信息后更新心跳时间并删除超时worker
06.启动Master和worker本机测试
07.master worker打包部署到linux多态服务测试
08.Scala中的隐式参数
09.Scala中的隐式的歧义性
10.Scala中的隐式类型转换---File---RichFile
11.Scala中的隐式类
12.Scala中的泛型
13.Java中的Comparable--Comparator和Scala中的Ordered--Ordering
14.Scala中的上界--upper bounds
15.Scala中的视图界定--view bounds
16.Scala中的上下文界定--context bounds
17.上界下界的图解说明

大数据24期-共享单车项目-8天

第一天：共享单车项目-1-项目简介微信小程序

01kafka集群问题
02项目介绍-1
03项目介绍-2
04项目涉及的技术
05微信小程序演示
06创建微信小程序
07微信小程序显示地图
08微信小程序添加事件
09后台程序说明
10SpringBoot简介
11编写SpringBoot单车后台web项目
12后台web项目和微信小程序联调

第二天：共享单车项目-2-Mongodb统计UV-PV

01mongo简介
02mongo的安装
03设置mongo的用户名和密码
04mongo的基本操作
05mongodb的基本操作
06后台管理页面
07向mongo中记录log数据
08统计pv和uv指标

第三天：共享单车项目-3-Nginx负载均衡

01项目总体架构
02nginx的简介和安装
03nginx配置负载均衡
04nginx安装kafka插件
05小程序对接nginx-kafka

第四天：共享单车项目-4-Flume与Kafka

01flume知识回顾
02自定义可记录偏移量的TailFileSouce-1
03自定义可记录偏移量的TailFileSouce-2
04自定义可记录偏移量的TailFileSouce-3
05KafkaChannel介绍
06KafkaChannel的使用方式
07KafkaChannel的具体使用
08自定义拦截器
09更好用的TailDirSouce

第五天：共享单车项目-5-短信验证与充值业务

01flume问题回顾
02共享单车业务流程介绍
03短信验证业务流程
04短信验证代码实现
05注册交押金身份认证代码实现
06充值业务实现
07短信代码缺少依赖解决
08腾讯地图短信api
09记录充值行为日志

第六天：共享单车项目-6-Flume与Kafka充值、短信指标

01flume数据采集架构
02将kafka中的数据同步到hdfs中
03充值相关指标介绍
04活动参与相关指标

第七天：共享单车项目-7-查找附近的单车实现与Redis集群部署

01springboot的mongodb相关注解
02springboot的mongodb的geo注解使用
03查找附近的单车实现-1
04查找附近的单车实现-2
05查找附近的单车实现-3
06redis集群架构简介
07redis集群配置-1
08redis集群配置-2
09redis集群测试

第八天：共享单车项目-8-报修与骑行

01报修和骑行模块
02mongodb集群介绍
03mongodb分片和副本集介绍
04mongodb集群安装-1
05mongodb集群安装-2
05spark整合mongodb集群
06springboot整合mongodb集群
07mycat介绍
08mycat安装-1
09mycat安装-2
10指标说明和作业

游客，如果您要查看本帖隐藏内容请回复

lnglng2011

淡定，淡定，淡定……