业内独有实战课程模式

教你高薪、好用、不过时的技术

前置视频基础阶段

1-大数据学习中的
    Linux基础

【课程内容】Linux安装使用、Linux文件系统、Linux用户和进程管理、 Shell和网络基础、git工具、 Linux小测验。

【课程目标】掌握Linux使用方式和常见命令;熟悉Linux环境,包括shell和git使用

2-大数据学习中的
    java基础

【课程内容】Java简介,包括跨平台、虚拟机、JDK等、 Java编程基础,函数、循环语句、变量等、Java高级特性,类、继承、多态等、Java数据集合,包括List、Map、Set等介绍、自动化项目管理工具Maven、 Java小测验。

【课程目标】掌握Java基本语法,能够使用Java编写包含类、函数、循环等语言的代码;熟悉Java编程环境,包括集成开发工具eclipse/IDEA,项目管理工具等

3-Hadoop课程延展

【课程内容】分布式文件储存系统HDFS进阶,分布式数据库HBase进阶,分布式计算引擎MapReduce基础与进阶,Zookeeper与YARN

【课程目标】深度学习hadoop系统,包括高级特性,优化等;增加hadoop大数据技术学习广度,拓展眼界

4-Spark课程延展

【课程内容】分布式计算框架Spark Core和Spark SQL进阶和调优,函数式编程语言scala

【课程目标】深度学习Spark系统,包括高级特性,优化等,增加Spark大数据技术学习广度,拓展眼界

入学考试:通过考试后正式进入大数据技术学习阶段
周末面授阶段
第一阶段:Hadoop生态体系 本阶段涉及的实战项目:hadoop分布式集群搭建;用户画像系统;日志收集系统;Hive数据仓库构建。

5-大数据概述、分布式数据收集系统:Sqoop与Flume

【理论部分】大数据概论、 大数据技术体系(按照六层架构介绍:数据收集、数据存储、资源管理、计算引擎、数据分析以及可视化),Hadoop发展历程、Hadoop生态系统概述/结构化数据收集Sqoop:背景、架构、原理以及使用 、非结构化(日志)数据收集系统Flume:背景、架构、原理及使用;


【实战部分】利用Flume从指定目录中收集数据到HDFS、利用Sqoop将MySQL表中数据写HDFS。

【课程目标】 掌握大数据收集系统架构,能够使用sqoop和flume构建企业级大数据收集系统。

6-分布式消息队列:Kafka、分布式存储系统:文件系统HDFS

【理论部分】概述 、基本架构与工作原理、应用场景以及经典的架构组合等、HDFS简介、优缺点、架构(主节点NameNode、从节点DataNode、journal node的解析) 、核心设计(数据块、数据副本的存放策略、安全模式、负载均衡、机架感应等)、HDFS操作(命令行接口、Java接口)


【实战部分】搭建Kafka集群、如何编写Producer将数据写入Kafka、如何编写Consumer从Kafka中读取数据、搭建HDFS集群、使用NameNode Web UI、使用HDFS Shell利用Java编写程序从HDFS中读数据、利用Java编写程序将数据写入HDFS中、利用Java删除HDFS上的文件和目录

7-分布式存储系统:分布式数据库HBase

【理论部分】HBase简介、优缺点、架构以及HBase API使用等


【实战部分】搭建Hbase集群、使用Hbase Web UI、使用HBase Shell、利用Java编写程序在hbase中创建表、利用Java编写程序向hbase表中写入和读取数据

【项目案例】用户画像系统、网络爬虫

【课程目标】掌握HBase系统架构,能够编写程序读写 HBase中存储的数据 。

8-分布式分析引擎:Hive基础

【理论部分】Hive背景、架构、 HQL的DML和DDL语法等


【实战部分】Hive环境搭建、利用Hive创建表,并进行查询、Hive创建ORC与Parquet表并查询

【课程目标】熟练掌握HQL编写方式,能够使用Hive构建大数据仓库系统

9-分布式分析引擎:Hive进阶

【理论部分】Hive内部原理,多计算引擎(Tez与Spark),Hive创建ORC/Parquet表,Hive调优


【实战部分】程序方式访问Hive、Hive调优演示

【课程目标】掌握Hive内部原理,了解常见Hive的优化方式。

10-交互式查询引擎Presto

【理论部分】Presto基本架构,Presto与Hive对比,Presto基本使用。


【实战部分】Presto集群搭建、Presto使用方式、Presto与Hive性能对比

【项目测试练习】 Hadoop测试(包括选择题、简单题和编程题三部分)

第二阶段:Spark生态体系本阶段涉及的实战项目:电影受众分析系统、用户手机APP行为分析系统、用户画像系统(机器学习相关)

11-Spark 基础

【理论部分】Java Lambda语法简介 、Spark基础原理与运行架构、Spark部署方式


【实战部分】Spark开发环境搭建、使用Spark Web UI、如何将Spark程序运行到YARN上

【课程目标】掌握Spark基本原理,能够搭建Spark开发和运行环境。

12-Spark 程序设计

【理论部分】Spark编程模型、内存弹性分布式数据集的工作原理和机制、Spark RDD transform、持久化、checkpoint、容错与性能优化


【实战部分】如何利用intellij idea开发一个spark程序并运行到集群中、如何利用spark设计电影受众分析程序

【课程目标】掌握常见的Spark API,熟练使用Spark开发大数据分析程序。

13-Spark SQL

【理论部分】流式计算基础、spark streaming基础原理 、基础API介绍(包括map,filter,flatMap、foreachRDD,saveAsTextFile等)和高级API介绍(window, transform和mapWithState),Redis介绍


【实战部分】利用Spark Streaming读取HDFS中的数据,经统计(按照window统计)后写入HDFS:利用Spark Streaming读取HDFS中的数据,经统计后写入Redis和HBase:利用mapWithState实现wordcount

【课程目标】掌握Spark Streaming工作原理及常见的API,能够使用Spark Streaming编写流式实时计算程序。

14-Spark Streaming进阶

【理论部分】保存kafka offset并恢复、spark streaming容错机制、spark streaming调优方法、structured streaming原理及关键API


【实战部分】利用Spark Streaming+kafka+redis实现“用户手机app行为分析系统”、实现streuctured streaming版本的wordcount

【课程目标】掌握Spark Streaming调优方法和高级编程技巧,能够使用高级API编写更加鲁棒的分布式流式计算程序。

15-Spark MLlib数据分析挖掘程序

【理论部分】数据挖掘与机器学习基础知识,以及机器学习案例、Spark MLib分类、聚类、推荐等算法,用户画像系统设计。


【实战部分】回归预测和局部加权线性回归预测算法、最近邻KNN预测分析的算法、协同过滤算法的Spark实现技术应用、决策树分类分析挖掘算法、逻辑回归分类分析挖掘算法、贝叶斯分类分析挖掘算法等,互联网用户性别预测。

【课程目标】掌握常见的机器学习算法,能够使用Spark MLLib工具包解决机器学习问题。

第三阶段:深度学习课程体系 本阶段涉及的实战项目:电影评论文本情感分析、电信客户流失预测、基于深度学习的手写字体识别

【第三阶段】

16-深度学习课程体系

【理论部分】人工智能技术体系 ; 人工智能技术的数学与python基础 ; 神经网络(DNN,RNN及CNN等)和开源框架tensorflow及pytorch等


【实战部分】电影评论文本情感分析(监督学习,可应用在:各种评论文本的正负情感分类, 新闻的正负情感分类); 电信客户流失预测(监督学习, 可应用在:股价预测、流量预测,房价预测等方面中); 基于深度学习的手写字体识别

【课程目标】掌握人工智能技术基础,包括数学与python技术,了解神经网络技术及开源框架tensorfow、pytorch等。

第四阶段:企业级大数据项目实战 本阶段涉及的实战项目:用户行为实时分析系统、信用卡欺诈分析系统、“双十一”大数据日志分析系统、用户画像系统、电子商务推荐系统、商务智能报表系统。

17-spark企业应用:
用户行为实时分析系统

【实战部分】项目背景、开发需求、 项目架构、核心点讲解; 项目架构、核心点讲解; 数据展示、共性问题答疑 、项目总结。 讲解主要架构:Kafka+Spark Streaming+Mysql


【课程目标】
掌握大数据流式系统基本架构 ; 学会使用kafka和spark streaming构建流式计算系统 ; 熟练掌握使用spark streaming编写鲁棒的流式处理程序

18-spark企业应用:
信用卡欺诈分析系统

【实战部分】项目背景、开发需求、 项目架构、核心点讲解 ; 数据展示、共性问题答疑 、项目总结; 讲解主要架构:HDFS + Spark Core + mllib


【课程目标】
熟悉机器学习应用 ; 熟悉如何使用HDFS和Spark解决实际问题

19-hadoop企业应用:
“双十一”大数据日志分析系统


【实战部分】项目背景、开发需求、 项目架构、核心点讲解; 项目架构、核心点讲解; 数据展示、共性问题答疑 、项目总结。 讲解主要架构:hadoop+kafka+spark+presto/hive+echart/D3


【课程目标】
了解日志分析系统的基本架构 ; 熟练掌握如何采用hadoop和spark解决大数据分析问题 ; 使用常见的开源可视化工具对分析结果可视化

20-hadoop企业应用:
用户画像系统

【实战部分】项目背景、开发需求、 项目架构、核心点讲解; 项目架构、核心点讲解; 数据展示、共性问题答疑 、项目总结。 用户画像系统常见场景简介。 讲解主要架构:flume+hbase+spark+redis+mllib


【课程目标】
掌握用户画像系统基本架构 ; 熟练使用HBase存储海量结构化和半结构化数据 ; 熟练使用mllib求解机器学习问题

21-大数据综合应用:
电子商务推荐系统

【实战部分】项目背景、开发需求、 项目架构、核心点讲解; 项目架构、核心点讲解; 数据展示、共性问题答疑 、项目总结。 讲解主要架构:HDFS + HBase + Spark SQL + Spark Streaming


【课程目标】
掌握大数据设计架构lambda architecture;学会使用Hadoop和Spark技术解决复杂大数据问题

22-大数据综合应用:
基于大数据的商务智能报表系统

【实战部分】项目背景、开发需求、 项目架构、核心点讲解; 项目架构、核心点讲解; 数据展示、共性问题答疑 、项目总结。 讲解主要架构:Hadoop + Hive + Presto + superset/tableau


【课程目标】
掌握大数据报表系统基本架构设计方法;学会使用Hadoop和Spark技术解决复杂大数据报表分析及可视化问题。

23-大数据面试攻略

【课程目标】公司大数据岗位核心技能需求。了解所需知识和技能,以及主流的大数据工具和框架的使用方法。 讲解大数据开发工程师岗位面试的常见笔试题。会涵盖主流的互联网公司的面试题 目,深入浅出,结合实际场景分析。 讲解常大数据研发面试问题,开放式问题和系统设计问题,融汇贯通整个课程知识点。

填写表单,下载更完整课表

姓名:
*
手机:
*
邮箱:
*

大数据学习资料领取?

价值¥1000大数据免费学习资料

¥1000元大数据资料

  • 大数据入门基础之Linux基础夯实.zip
  • 大数据入门之Java必备自学基础.zip
  • hadoop生态体系知识点精讲.zip
  • kafka架构及应用实战讲解.zip
  • HBase分布式数据库进阶.zip
  • Spark生态体系32节视频.zip
  • 机器学习实战案例.zip

免费领取