Lambda架构详解视频教程附源码讲义 6课

1759262347 · 发表于 2019-3-22 15:51

Lambda 架构详解:

本课程是 Lambda 架构的最后一部分，介绍如何使用 Hadoop 构建简单的批处理系统，并和使用 Apache Storm 开发的实时处理系统进行整合，完成完整的基于 Lambda 架构的系统。

本课程主要讲解 Lambda 架构的概念，为读者打下理论基础。同时使用 Cassandra 构建对用户注册数据的管理系统，实现基于 Lambda 架构的系统中的 CRUD 操作，使得大家深刻体会到 Lambda 架构中数据管理的精髓。

核心内容：

1.Lambda 架构
2.CRUD
3.时间窗口
4.数据不变性
5.实战

软件环境：Linux 、Java 、Eclipse

适合人群：

数据工程师、分布式系统研发工程师、系统架构师

课时目录:

1 Lambda 架构 07:18
回顾 Lambda 架构的基本思想，讲解 Lambda 架构的组成，以及为了实现 Lambda 架构所需要使用到的开源产品。让大家对 Lambda 架构有更加深入的了解。
2 CRUD 接口 18:25
本课时介绍如何在使用 Lambda 架构的系统中维护数据，构建 CRUD 接口。主要讲解实现这些接口的策略与具体方法，并以用户注册数据库为例讲解如何实现。可以让大家充分理解 Lambda 架构的持久化层。
3 支持条件的 CRUD 接口 11:55
本课时介绍如何在使用 Lambda 架构的系统中根据某些条件对特定数据进行操作。主要讲解如何构建条件检查器，并为开发者提供良好的条件构造接口。同时讲解如何使用构建好的条件检查器查询、更新或删除数据。以满足我们实际开发中的相关需求。
1 实时数据统计 29:28
使用 Apache Trident 实现数据统计功能，并使用 DRPC 封装实时处理模块，完成 Lambda 架构的速度层。通过时间窗口确定需要统计的部分数据。
2 离线数据统计 11:59
使用普通的定时任务完成数据的离线统计。并使用 DRPC 封装批处理模块，完成 Lambda 架构的批处理层。通过时间窗口确定需要统计的部分数据。
3 合并统计数据 04:34
通过 DRPC 获取速度层和批处理层的处理结果，并根据时间窗口，采用适当算法合并统计结果，计算出最终的统计结果。完成 Lambda 架构的服务层。最后构建完整的 Apache Topology。

游客，如果您要查看本帖隐藏内容请回复