基于Flink+Hudi构建企业亿级云上实时数据湖教程(第二期) 基于Flink+Hudi构建企业亿级云上实时数据湖教程(第二期)
所属分类:数据分析
  课程名 : 基于Flink+Hudi构建企业亿级云上实时数据湖教程(第二期)【招生中】 总学费/人 : ¥400 (固定学费:¥100, 逆向学费:¥300) 开课时间 : 2021-05-08 09:00:00 
开课老师 : 友凡


课程简介:
随着互联网的发展,数据的不断膨胀,从刚开始的关系型数据库到非关系型数据库,再到大数据技术,技术的不断演进最终是随着数据膨胀而不断改变,最初的数据仓库能解决我们的问题,但是随着时代发展,企业已经不满足于数据仓库,希望有更强大的技术来支撑数据的存储,包括结构化,非结构化的数据等,希望能够积累企业的数据,从中挖掘出更大的价值。基于这个背景,数据湖的技术应运而生。

本课程基于真实的企业数据湖案例进行讲解,结合业务实现数据湖平台,让大家在实践中理解和掌握数据湖技术,未来数据湖的需求也会不断加大,希望同学们抓住这个机遇。项目中将以热门的互联网电商业务场景为案例讲解,具体分析指标包含:流量分析,订单分析,用户行为分析,营销分析,广告分析等,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。

Apache Hudi代表Hadoop Upserts anD Incrementals,管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。
Hudi的出现解决了现有hadoop体系的几个问题:1、HDFS的可伸缩性限制 2、需要在Hadoop中更快地呈现数据 3、没有直接支持对现有数据的更新和删除 4、快速的ETL和建模 5、要检索所有更新的记录,无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新,Hudi都允许用户使用最后一个检查点时间戳,此过程不用执行扫描整个源表的查询。

本课程包含的技术: 
开发工具为:IDEA、WebStorm 
Flink1.9.0、Hudi
ClickHouse
Hadoop2.7.5 
Hbase2.2.6
Kafka2.1.0 
Hive2.2.0
HDFS、MapReduce
Spark、Zookeeper
Binlog、Canal、MySQL
SpringBoot2.0.2.RELEASE 
SpringCloud Finchley.RELEASE
Vue.js、Nodejs、Highcharts
Linux Shell编程
课程亮点: 
1.与企业接轨、真实工业界产品 
2.ClickHouse高性能列式存储数据库 
3.大数据热门技术Flink
4.Flink join 实战 
5.Hudi数据湖技术
6.集成指标明细查询 
7.主流微服务后端系统 
8.数据库实时同步解决方案 
9.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS 
10.集成SpringCloud实现统一整合方案 
11.互联网大数据企业热门技术栈 
12.支持海量数据的实时分析 
13.支持全端实时数据分析 
14.全程代码实操,提供全部代码和资料 
15.提供答疑和提供企业技术方案咨询

课程目录
第一章 项目架构以及底层环境
1、数据湖课程说明 
2、数据湖项目架构讲解 
3、底层基础环境构建之kafka环境搭建 
4、底层基础环境构建之hadoop环境构建 
5、底层基础环境构建之hbase环境构建 
6、底层基础环境构建之hive环境构建 

第二章 数据湖Hudi讲解与使用
7、数据湖以及Hudi数据湖精讲 
8、数据湖之Hudi数据湖插入数据 
9、 Hudi数据湖之更新数据 
10、数据湖之Hudi数据湖查询数据 
11、数据湖之Hudi数据湖mor表类型数据更新 
12、Hudi数据湖之flink实时数据分析服务构建 

第三章 数据实时同步、数据收集服务以及Hudi整合hive
13、Hudi数据湖之注册中心构建 
14、Hudi数据湖之数据实时收集服务构建 
15、业务数据接入之binlog 
16、业务数据同步之cannal讲解 
17、数据同步之canal实战 
18、数据湖hudi之hive整合数据存储实战 
19、hive整合数据存储调试及效果演示 
20、数据湖hudi之hive整合数据存储无数据问题 
21、数据湖hudi之hive整合数据更新实战

第四章 数据湖实战之流量分析 
22、数据湖应用实战之实时日志实体构建
23、数据湖应用实战之日志结构抽象以及实时数据收集服 
24、数据湖应用实战之流量趋势map代码编写
25、数据湖应用实战之流量趋势用户明细reduce以 
26、数据湖应用实战之所有终端流量趋势reduce以 
27、数据湖应用实战之kafka工具类代码编写 
28、数据湖应用实战之sparkstreaming同 
29、数据湖应用实战之sparkstreaming同 
30、数据湖应用实战之同步用户流量明细代码编写 

第五章 数据湖实战之订单分析、营销分析、广告分析
31、数据湖应用实战之订单分析map代码编写 
32、数据湖应用实战之订单分析用户明细以及总体趋势代 
33、数据湖应用实战之用户行为分析map代码编写 
34、数据湖应用实战之用户行为分析用户明细以及趋势代 
35、数据湖应用实战之营销分析map代码编写 
36、数据湖应用实战之营销分析用户明细以及趋势代码编 
37、数据湖应用实战之广告流量趋势用户明细代码编写 
38、数据湖应用实战之广告流量趋势小时级别用户以及整 
39、数据湖应用实战之广告转化率分析flink jo 
40、数据湖应用实战之广告转化率分析map代码编写 
41、数据湖应用实战之广告转化率分析趋势代码编写 

第六章 整合ClickHouse、数据转换服务、前端服务 
42、数据湖应用实战之clickhouse讲解以及安 
43、数据湖应用实战之clickhouse使用 
44、数据湖应用实战之clickhouse工具类代码 
45、数据湖应用实战之canal数据实时转换服务 
46、数据湖应用实战之查询服务构建 
47、数据湖应用实战之vue.js构建前端项目 
48、数据湖应用实战之vue前端项目模板讲解 
49、数据湖应用实战之vue.js+highchar 
50、数据湖应用实战之流量趋势图表 
51、数据湖应用实战之用户行为、广告分析等图表 
52、数据湖应用实战之流量趋势接口代码编写 

第七章 项目收尾完善
53、数据湖应用实战之vue-resource 前后 
54、数据湖应用实战之流量数据生成器开发以及数据收集 
55、数据湖应用实战之数据收集服务补充 
56、数据湖应用实战之流量分析服务调试 
57、数据湖应用实战之流量分析服务问题分析以及解决 
58、数据湖应用实战之用户明细流量hudi同步调试讲 
59、数据湖应用实战之数据转换服务现场调试讲解 
60、数据湖应用实战之用户信息数据同步hudi 
61、数据湖应用实战之流量趋势动态数据接口代码编写 
62、数据湖应用实战之用户流量明细数据接口 
63、数据湖应用实战之总体完善讲


我要报名

 

GMT+8, 2021-4-13 09:56 , Processed in 0.182303 second(s), 27 queries .