Python+大数据培训

Python+大数据开发课程大纲

• SQL基础

• Hadoop技术栈

• 千亿级离线数仓项目

• 千亿级离线数仓项目实战

• Python基础编程

• ETL实战

• BI报表开发项目实战(新增)

• Spark技术栈

• 用户画像解决方案

• PB级内存计算项目实战

• 基于AI大模型数据开发项目(新增)

• 面试加强

• 阿里云实时计算Flink全栈开发(更新)

• 阿里云实时计算项目(更新)

查看详细课程大纲>SQL基础课时：8天

主要内容

· Linux操作系统· MySQL与SQL· Kettle与BI工具· 电商运营指标分析

可解决的现实问题

熟练掌握MySQL\SQL、Kettle以及BI工具使用，能够解决传统数仓业务开发任务。

可掌握的核心能力

1. 掌握MySQL数据库的使用；
2. 掌握SQL语法；
3. 掌握Kettle数据迁移工具的使用；
4. 熟练使用BI可视化工具；
5. 对数据开发有一定认知，掌握BI工程师所具备的基本技能。

查看详细课程大纲>Hadoop技术栈课时：11天

主要内容

· 大数据开发Hadoop基础· Hive基础· Hive进阶

可解决的现实问题

熟悉Linux操作系统，以及各种Linux命令，能够解决企业级大数据集群搭建问题，为进阶大数据开发奠定基础。

可掌握的核心能力

1.掌握Linux常用命令，为数据开发后续学习打下的良好基础；
2.掌握大数据的核心框架Hadoop以及其生态体系，完成HDFS、MapReduce及Yarn机制基本理解与使用；能够搭建Hadoop高可用HA集群；
3.掌握Hive的使用和调优；
4.具备Hadoop开发能力、离线数据仓库开发能力；
5.能够完成基本构建企业级数仓。

查看详细课程大纲>千亿级离线数仓项目课时：11天

主要内容

· 大数据部署运维：Cloudera Manager · 分析决策需求：数据仓库 · 数据采集：DataX
· 数据分析：Hive· 数据调度：Dolphinscheduler · OLAP系统存储：PostgreSql
· Fine Report数据报表与大屏· 数仓建模: 范式与维度建模
· 五大核心主题域开发: 销售域、供应链域、会员域等

可解决的现实问题

能够解决企业级常见数据仓库搭建，从项目的需求、技术架构、业务架构、部署平台、ETL设计、作业调度等整套pipeline，完成大数据体系下的企业级数据仓库构建。

可掌握的核心能力

1.掌握泛电商行业离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程；
2.行业内首个深度讲解数仓建模模型方案的主体项目；
3.包括海量数据场景下如何优化配置；
4.掌握项目迁移能力，能够将项目迁移至泛电商的各个领域；
5.掌握在泛电商行业中关于全量与增量数据处理模式；
6.提供泛电商行业下的数据存储分析以及服务监控方案。

查看详细课程大纲>千亿级离线数仓项目实战课时：5天

主要内容

· 大数据部署运维：Cloudera Manager· 分析决策需求：数据仓库 · 数据采集：sqoop · 数据分析：Hive · 分组完成项目

可解决的现实问题

按照企业级大数据开发流程，独立完成项目开发，掌握企业级多场景大数据离线数仓开发能力，从数仓分层，数仓建模，指标统计，指标展示完成完整的大数据项目。

可掌握的核心能力

1.掌握教育行业离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程；
2.真实业务逻辑，共涉及20多个主题，100多个指标，提升学员在教育行业中的核心竞争力；
3.包括海量数据场景下如何优化配置；
4.拉链表的具体应用；
5.新增数据和更新数据的抽取和分析；
6.Hive函数的具体应用；
7.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能。

查看详细课程大纲>Python基础编程课时：8天

主要内容

· Python基础语法· Python面向对象· Python高级语法· Python多任务编程· Python网络编程

可解决的现实问题

熟练掌握Python语言，建立编程思维，使学员能够熟练使用Python技术完成程序编写。
熟练使用Python面向对象程序设计思想，掌握数据开发必备Python高级语法，解决常见Python开发问题。

可掌握的核心能力

1.掌握Python开发环境基本配置；
2.掌握运算符、表达式、流程控制语句、数组等的使用；
3.掌握字符串的基本操作；
4.初步建立面向对象的编程思维；
5.熟悉异常捕获的基本流程及使用方式；
6.掌握类和对象的基本使用方式；
7.知道多进程多线程的原理。

查看详细课程大纲>ETL实战课时：5天

主要内容

· ETL概念与工具· ETL项目需求分析· ETL项目架构设计· Python ETL实战

可解决的现实问题

掌握Python完成数据ETL实战，能够解决中小型数据量数据处理相关任务。

可掌握的核心能力

1. 掌握ETL的相关概念；
2. 掌握基于Python语言完成ETL任务开发实战；
3. 基于ETL实战锻炼Python编程能力，包括（元数据管理、数据模型、项目配置、单元测试、工具方法抽取等）；
4. 掌握BI数据分析实战。

查看详细课程大纲>BI报表开发项目实战课时：3天

主要内容

· BI报表开发需求分析· BI报表工具· FineReport报表入门· 泛电商行业五大主题的实现

可解决的现实问题

掌握使用量最广BI报表开发工具FineReport，能够基于FineReport完成不同行业BI报表开发及业务决策。

可掌握的核心能力

1.掌握BI报表开发需求分析
2.掌握BI报表工具
3.掌握FineReport报表

查看详细课程大纲>Spark技术栈课时：10天

主要内容

· 大数据Spark技术栈· SparkSQL数据处理与统计分析· Spark案例实战

可解决的现实问题

掌握全球热门的Spark技术栈，通过SparkCore和SparkSQL解决数据处理与统计分析工作，进阶高级大数据开发工程师。

可掌握的核心能力

1. 掌握Spark的RDD、DAG、CheckPoint等设计思想；
2. 掌握SparkSQL结构化数据处理，Spark On Hive；
3. 掌握Structured Streaming整合多数据源完成实时数据处理；
4. 具备Spark全栈开发能力，满足大数据行业多场景统一技术栈的数据开发，提供就业核心竞争力。

查看详细课程大纲>用户画像解决方案课时：10天

主要内容

· SparkSQL整合ES自定义数据源· DS任务界面化调度· 用户画像标签构建规则· 用户画像规则类标签构建· 用户画像统计类标签构建

可解决的现实问题

项目提供了全行业用户画像解决方案, 使用SparkSQL+ES+DS构建企业级用户画像，通过SparkSQL+MySQL构建通用行业用户画像标签体系。

可掌握的核心能力

1.掌握SparkSQL整合ES自定义数据源；
2.掌握用户画像构建流程；
3.掌握用户画像标签构建规则；
4.掌握用户画像规则类标签构建；
5.掌握用户画像统计类标签构建。

查看详细课程大纲>PB级内存计算项目实战课时：3天

主要内容

· 多场景画像标签项目实战· 基于Spark全栈技术构建企业级大数据开发平台

可解决的现实问题

基于Spark全栈技术构建企业级大数据开发平台，学生分组独立完成项目实战，能够胜任常见大数据平台开发工作，助力企业实现数字化转型。

可掌握的核心能力

1.掌握保险行业数据分析流程；
2.掌握保费计算流程；
3.掌握DS调度流程。

查看详细课程大纲>基于AI大模型数据开发项目实战课时：2天

主要内容

· ChatGPT生成代码· ChatGPT改Bug· 基于AI大模型的出行大数据平台数仓搭建· 基于AI大模型指标开发

可解决的现实问题

掌握如何使用AI大模型帮助数据开发和数据分析编程效率提升，具备使用AI大模型解决问题的能力。

可掌握的核心能力

1.完成ChatGPT基础使用；
2.基于ChatGPT可以完成改Bug，写注释，生成代码等常见编程任务；
3.能够基于合理的Prompts提示词进行提问，助力提升编程效率。

查看详细课程大纲>面试加强课时：4天

主要内容

· 核心技能知识点以及常见面试题强化学习

可解决的现实问题

对学习的内容进行整体回顾，并分析经典面试题，指导简历，面试和沟通技巧。

可掌握的核心能力

1.强化面试就业核心面试题；
2.梳理大数据架构及解决方案；
3.剖析多行业大数据架构。

查看详细课程大纲>阿里云实时计算Flink全栈开发课时：5天

主要内容

· 阿里云Flink入门· Flink SQL· Flink作业开发· 阿里云Flink运维

可解决的现实问题

掌握当下热门的流批一体化分布式计算框架阿里云Flink及其生态，解决实时计算经典场景问题，适应市场对阿里云Flink越发增长的需求。

可掌握的核心能力

1.掌握基于阿里云Flink进行实时和离线数据处理、分析；
2.掌握基于阿里云Flink的多流并行处理技术；
3.掌握FlinkCDC多数据源采集技术。

查看详细课程大纲>阿里云实时计算项目课时：5天

主要内容

基于阿里云Flink + Kafka + Paimon 湖仓一体技术架构，实现在线视频行业大规模流数据处理和实时分析。本项目依托 阿里云 Flink 流处理计算引擎， 通过 FlinkCDC 实时采集 RDS MySQL 数据库数据，实现数据采集的断点续传，使用Kafka 作为实时数仓，使用 Paimon 实现数据的持久化和Flink 批处理，实现计算的流批一体，数据存储的湖仓一体，采用StarRocks对接DataV完成实时业务大屏展示。

可解决的现实问题

采集超过千万条在线视频的数据，实时高性能海量数据分析与存储业务数据实时大屏场景实现。

可掌握的核心能力

1.湖仓一体化解决方案基于Flink+Paimon湖仓一体技术架构；
2.基于FlinkCDC完成MySQL等数据源的数据采集；
3.FlinkSQL流批一体架构实现实时数据计算；
4.使用StarRocks进行海量多维分析；
5.掌握数据报表分析；
6.掌握业务数据实时大屏场景实现。