2.掌握大数据的核心框架Hadoop以及其生态体系,完成HDFS、MapReduce及Yarn机制基本理解与使用;能顾搭建Hadoop高可用HA集群;
·分析决策需求:数据仓库·数据采集:sqoop·数据分析:Hive·分组完成项目可掌握的核心能力
1.掌握教育行业离线数仓的分层与建模,从需求、设计、研发、测试到落地上线多个指标,提升学员在教育行业中的核心竞争力;
Python面向对象·Python高级语法·Python多任务编程·Python网络编程可掌握的核心能力
ETL项目需求分析·ETL项目架构设计·Python ETL实战可掌握的核心能力
BI报表工具·FineReport报表入门·泛电商行业五大主题的实现可掌握的核心能力
4. 具备Spark全栈开发能力,满足大数据行业多场景统一技术栈的数据开发,提供就业核心竞争力。
DS任务界面化调度·用户画像标签构建规则·用户画像规则类标签构建·用户画像统计类标签构建可掌握的核心能力
ChatGPT改Bug·基于AI大模型的出行大数据平台数仓搭建·基于AI大模型指标开发可掌握的核心能力
2.基于ChatGPT可以完成改Bug,写注释,生成代码等常见编程任务;
基于Flink + Kafka + Paimon 湖仓一体技术架构,实现在线视频行业大规模流数据处理和实时分析。本项目依托 阿里云 Flink 流处理计算引擎, 通过 FlinkCDC 实时采集 RDS MySQL 数据库数据,实现数据采集的断点续传,使用Kafka 作为实时数仓,使用 Paimon 实现数据的持久化和Flink 批处理,实现计算的流批一体,数据存储的湖仓一体,采用StarRocks对接DataV完成实时业务大屏展示。pg电子网站pg电子网站