IT视频教程资源网

标题: Spark进阶-大数据离线与实时项目实战- [打印本页]

作者: admin 时间: 2024-3-11 23:24
标题: Spark进阶-大数据离线与实时项目实战-
Spark进阶大数据离线与实时项目实战
整合大数据生态圈多个框架(Spark/Hbase/Redis/Hadoop) ，Spark大技术栈的企业级应用

课程介绍中级 · 327人报名￥488.00

课程介绍中级 · 523人报名￥388.00
本课程整合Redis和HBase打造以Spark技术栈为核心的离线处理项目以及实时处理项目，以功能实现为基础，通过调优及重构功能实现，达到企业级生产水平。课程最后讲解Alluxio整合Hadoop和Spark的使用，拓展同学们的视野。
Spark进阶干货：从使用到调优，整合多个大数据生态圈中的框架
企业应用中Spark不可能单兵作战，掌握Spark与多个框架的结合运用才能真正应对实际需求
实战Spark“离线”和“实时”两大应用场景
课程整体为一个大项目，以用户行为日志展现“离线场景”；以订单数据的统计分析展现“实时场景”
Spark整合HBase打造大数据离线项目实战
使用Spark对用户行为日志进行ETL处理，处理

结果落地在HBase，并使用Spark对接HBase存储的日

志数据进行统计分析

Spark整合HBase数据使用DataFrame进行读写操作

通过shell脚本动态传递参数进行Spark作业的提交

Spark统计结果以正确的姿势写入到MySQL

实时统计每天的总订单数（此处为模拟数据）

实时统计每天的总订单金额（此处为模拟数据）

如何将多个业务统计分析统计进行抽象提取处理、达到

共享数据的目的，节省计算资源的开销

offset管理的思路

若你基础薄弱，为你推荐：Spark入门到进阶学习路径
讲师已在慕课出品了三门Spark课程，学习路径完整，你可根据自身水平选择

《SparkSQL极速入门整合
Kudu实现广告业务数据分析》

学习社群
课程专属学习交流群，与优秀的人共

同进步：互相帮助，共同分享。

专题讨论
定期组织技术话题讨论，疑难问题/

热点技术/职业规划/高效学习等热点

观点等你参与。

欢迎光临 IT视频教程资源网 (https://zhilexue.site/)