admin 发表于 2024-3-11 23:24:28

Spark进阶-大数据离线与实时项目实战-

**** Hidden Message ***** Spark进阶 大数据离线与实时项目实战
整合大数据生态圈多个框架(Spark/Hbase/Redis/Hadoop) ,Spark大技术栈的企业级应用

//img1.sycdn./szimg/5fd192480903b7dc05400304.jpg
课程介绍中级· 327人报名 ¥488.00

//img1.sycdn./szimg/5fce0b12090cc2a705400304.jpg
课程介绍中级· 523人报名 ¥388.00
本课程整合Redis和HBase打造以Spark技术栈为核心的离线处理项目以及实时处理项目,以功能实现为基础,通过调优及重构功能实现,达到企业级生产水平。课程最后讲解Alluxio整合Hadoop和Spark的使用,拓展同学们的视野。
Spark进阶干货:从使用到调优,整合多个大数据生态圈中的框架
企业应用中Spark不可能单兵作战,掌握Spark与多个框架的结合运用才能真正应对实际需求
实战Spark“离线”和“实时”两大应用场景
课程整体为一个大项目,以用户行为日志展现“离线场景”;以订单数据的统计分析展现“实时场景”
Spark整合HBase打造大数据离线项目实战
使用Spark对用户行为日志进行ETL处理,处理

结果落地在HBase,并使用Spark对接HBase存储的日

志数据进行统计分析


Spark整合HBase数据使用DataFrame进行读写操作

通过shell脚本动态传递参数进行Spark作业的提交

Spark统计结果以正确的姿势写入到MySQL

实时统计每天的总订单数(此处为模拟数据)

实时统计每天的总订单金额(此处为模拟数据)


如何将多个业务统计分析统计进行抽象提取处理、达到

共享数据的目的,节省计算资源的开销

offset管理的思路

若你基础薄弱,为你推荐:Spark入门到进阶学习路径
讲师已在慕课出品了三门Spark课程,学习路径完整,你可根据自身水平选择

/static/module/class/content/img/357/section2-1new.png
《SparkSQL极速入门 整合
Kudu实现广告业务数据分析》

/static/module/class/content/img/355/section5-i4.png
学习社群
课程专属学习交流群,与优秀的人共

同进步:互相帮助,共同分享。


/static/module/class/content/img/355/section5-i5.png
专题讨论
定期组织技术话题讨论,疑难问题/

热点技术/职业规划/高效学习等热点

观点等你参与。
**** Hidden Message *****
页: [1]
查看完整版本: Spark进阶-大数据离线与实时项目实战-