【初级】大数据平台基础架构和常用处理工具视频教程 3课时附ppt

1759262347 · 发表于 2019-3-22 15:51

课程介绍：

本课程主要讲解当前大数据领域面临的在线和离线处理问题，以及针对在线处理实时性和迭代性的特点讲解使用 flume + kafka + storm / spark + hbase / redis 的处理架构；针对离线处理批量、大数据量和持久化时间长的特点讲解使用 hdfs做存储，mapreduce 做计算框架的方式。最后简要介绍对海量数据进行 OLAP 和 OLTP 分析的常用大数据处理工具 elasticsearch、drill等。

课程时长：

3课时 75分钟5908人学习

课程背景：

目前，企业界和商业界面临的大数据问题总结起来主要有以下三点：(1) 在线数据分析和处理；(2) 离线批处理；(3) OLAP 和 OLTP分析和处理。本课程主要介绍这三种问题的特征以及当前处理这三种问题常用的技术手段和使用的工具。在线处理主要介绍 flume + kafka + storm / spark + hbase / redis 架构；离线批处理主要介绍 hdfs、mapreduce 和 pig oozie 等；OLAP 和 OLTP 主要介绍 elasticsearch、drill、和 Impala。

核心内容：

1.大数据在线分析处理和常用工具
2.大数据离线处理和常用工具
3.OLAP 和 OLTP处理和常用处理工具

软件环境：linux 服务器，flume kafka storm spark redis hdfs mapreduce pig oozie drill impala 等

适合人群：

大数据爱好者，大数据开发者、大数据架构师

课程目录：

1 大数据在线分析处理和常用工具 32:32
本课时首先介绍大数据在线分析处理的特点，然后会针对这些特点介绍当前常用的处理架构 flume + kafka + storm / spark + hbase / redis 。其中会重点介绍 flume storm 和 hbase。

2 大数据离线处理和常用工具 16:33
本课时首先介绍大数据离线处理的特点，然后会针对这些特点介绍当前常用的处理架构 hdfs 做存储，mapreduce 做计算框架, pig、cascading 和 hive 计算工作流。其中会重点介绍 hdfs mapreduce 和 hive。

3 OLAP 和 OLTP处理和常用处理工具 26:05
本课时首先介绍OLAP 和 OLTP处理的特点，然后会针对这些特点介绍当前常用的处理架构 elasticsearch 做全文检索、drill 和 Impala 专注于大数据上的 SQL 查询, kylin 专注于大数据量的OLAP 分析。其中会重点介绍 elasticsearch Impala 和 kylin 。

游客，如果您要查看本帖隐藏内容请回复