为保护学员隐私,更多学员见证视频不做公开,欢迎实地考察、进班试听。

你的同学都是资深IT人,有大牛、高管、甚至CEO

北京首席讲师

谭老师

北京大学计算机硕士

◆ 北京大学计算机硕士
◆ 7年+大数据研发经验
◆ 曾任新浪微博平台大数据架构师

曾就职于新浪微博平台研发部与Hulu北京研发中心,曾参与微博核心Feed系统的改造,主导多机房数据同步和容灾部署,Spark内核级优化和企业推广,Hadoop集群升级与优化,Hive On Tez优化以及推广等工作。曾在某在线视频公司及新浪等大型企业大数据培训担任讲师。

第一阶段:Hadoop生态体系
第二阶段:Spark生态体系
第三阶段:深度学习课程体系
第四阶段:企业级大数据项
第五阶段:项目答辩+面试指导

学习阶段概述:大数据技术体系、Hadoop生态系统,具体涉及HDFS/YARN/HBase/Kafka/Hive/Presto等架构、实际应用情况。

本阶段开始学习大数据技术,课上设置随堂练习偏多,阶段结束时,基于Hadoop的广告数据仓库

理论部分
HBase简介、优缺点、架构以及HBase API使用等
实战部分
搭建Hbase集群、使用Hbase Web UI、使用HBase Shell、利用Java编写程序在hbase中创建表、利用Java编写程序向hbase表中写入和读取数据
项目案例
用户画像系统、网络爬虫
课程目标
掌握HBase系统架构,能够编写程序读写 HBase中存储的数据
理论部分
Hive内部原理,多计算引擎(Tez与Spark),Hive创建ORC/Parquet表,Hive调优
实战部分
程序方式访问Hive、Hive调优演示
课程目标
掌握Hive内部原理,了解常见Hive的优化方式
理论部分
Presto基本架构,Presto与Hive对比,Presto基本使用
实战部分
Presto集群搭建、Presto使用方式、Presto与Hive性能对比

学习阶段概述:Spark技术概论、Spark生态系统组成、相关组件的原理以及程序设计的方法、调优,典型大数据分析案例剖析

本阶段涉及的实战项目:电影受众分析系统/用户手机APP行为分析系统/用户画像系统(机器学习相关)/视频行业大数据案例

理论部分
Spark编程模型、内存弹性分布式数据集的工作原理和机制、Spark RDD transform、 持久化、 checkpoint、容错与性能优化
实战部分
如何利用intellij idea开发一个spark程序并运行到集群中、如何利用spark设计电影受众分析程序
课程目标
掌握常见的Spark API,熟练使用Spark开发大数据分析程序
理论部分
DataFrame与Dataset,Spark SQL主要函数介绍
实战部分
如何使用 DataFrame与Dataset开发一个wordcount程序、如何使用DataFrame与Dataset设计电影受众分析程序
课程目标
熟悉Spark SQL原理及API,熟练使用Spark SQL,尤其是DataFrame开发大数据分析程序
理论部分
保存kafka offset并恢复、spark streaming容错机制、spark streaming调优方法、structured streaming原理及关键API
实战部分
利用Spark Streaming+kafka+redis实现“用户手机app行为分析系统”、实现streuctured streaming版本的wordcount
课程目标
掌握Spark Streaming调优方法和高级编程技巧,能够使用高级API编写更加鲁棒的分布式流式计算程序
理论部分
数据挖掘与机器学习技术知识,以及机器学习案例、Spark MLlib分类、聚类、推荐等算法,用户画像系统设计
实战部分
回归预测和局部加权线性回归预测算法、最近邻 KNN 预测分析的算法 协同过滤算法的Spark实现技术应用、决策树分类分析挖掘算法、逻辑回归分类分析挖掘算法、贝叶斯分类分析挖掘算法等,互联网用户性别预测小案例
课程目标
掌握常见的机器学习算法,能够使用Spark MLlib工具包解决机器学习问题
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解;
• 项目架构、核心点讲解;
• 数据展示、共性问题答疑 、项目总结。
• 用户画像系统常见场景简介。
• 讲解主要架构:Flume + HBase + Spark + Redis + MLlib
课程目标
• 掌握用户画像系统基本架构
• 熟练使用HBase存储海量结构化和半结构化数据
• 熟练使用MLlib求解机器学习问题

深度学习背景及发展史,常见应用(自动驾驶、机器翻译、人脸识别等)、常见Python机器学习库、深度学习算法及开源库Tensorflow介绍

本阶段涉及的实战项目:基于深度学习的手写字体识别

理论部分
• 深度学习发展史及技术体系
• 深度学习依赖的数学与python技术
• 神经网络(DNN,RNN及CNN等)和开源框架tensorflow及pytorch等
实战部分
• Tensorflow playground数据模型可视化
• ConvNetJS利用CNN完成图像分类
• 基于深度学习的手写字体识别
课程目标
掌握深度学习技术,包括数学与Python技术,了解神经网络技术及开源框架Tensorfow、pytorch等

本章通过讲解综合的项目案例,完整的展示大数据在实际应用场景中复杂应用情况,让学员掌握

本阶段涉及的实战项目:“双十一”大数据日志分析系统 网站指标分析系统 实时数据处理综合案例 大数据漏斗分析系统

项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Hadoop + Kafka + Spark + Presto/Hive + Echart/D3
课程目标
• 熟悉Spark在大数据分析领域的综合应用 • 掌握Spark Streaming/SQL/Mllib的高级编程技巧 • 掌握Spark技术和传统Web相结合技术
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Kafka + Spark Streaming + MLlib + Tomcat + J2EE + Echart
课程目标
• 掌握大数据批处理、流式处理及机器学习基本架构 • 学会使用Kafka和Spark streaming构建流式计算系统 • 熟练掌握使用Spark streaming编写鲁棒的流式处理程序
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Flume + Kafka + Spark Streaming + Redis + Storm
课程目标
• 熟悉实时分析系统的基本架构 • 掌握Flume + Kafka + Spark Streaming + Redis处理技术 • 拓展Storm流式数据处理知识
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Spark + Presto + Spark SQL + Echart
课程目标
• 了解漏斗分析的背景 • 掌握Spark SQL的高级应用 • 拓展Presto自定义插件和UDAF函数知识

学员以小组的形式配合完成结业项目,并进行答辩,由讲师、班级同学共同进行评审

本阶段涉及的实战项目:阿里巴巴口碑商家客流量分析系统 京东金融信贷需求预分析系统

课程目标
通过一线企业对于不同大数据岗位的核心技能需求,所需知识和技能,以及主流的大数据工具和框架的使用方法, 讲解常大数据岗位的面试问题,开放式问题和系统设计问题,结合实际场景分析,融汇贯通整个课程知识点。
  • 项目一:用户画像系统
    用户画像系统flume+hbase+spark+redis+mllib架构,使用HBase存储海量结构化和半结构化数据,学会mllib求解机器学习等。
  • 项目二:电子商务推荐系统
    通过电子商务推荐系统,掌握大数据设计架构lambda architecture,学会使用Hadoop和Spark技术解决复杂大数据问题。
  • 项目三:商务智能报表系统
    掌握大数据报表系统基本架构设计方法,学会使用Hadoop和Spark技术解决复杂大数据报表分析及可视化问题。
  • 项目四:信用卡欺诈分析系统
    采用HDFS + Spark Core + mllib架构,熟悉机器学习应用,熟悉使用HDFS和Spark解决实际问题。
  • 项目五:用户行为实时分析系统
    掌握大数据流式系统基本架构,学会使用kafka和spark streaming构建流式计算系统,熟练掌握使用spark streaming编写鲁棒的流式处理程序。
  • 项目六:双十一大数据日志分析系统
    了解日志分析系统的基本架构,熟练掌握如何采用hadoop和spark解决大数据分析问题,使用常见的开源可视化工具对分析结果可视化。
  • 项目七:用户手机APP行为分析系统
    利用Spark Streaming+kafka+redis实现,掌握Spark Streaming调优方法和高级编程技巧,能够使用高级API编写更加鲁棒的分布式流式计算程序。
  • 项目九:电信客户流失预测分析实战
    掌握人工智能技术基础,使用神经网络监督学习,预测电信客户流失曲线,监督学习技术可同样应用于股价预测、流量预测,房价预测等方面中。
  • 项目十:电影受众实时分析系统
    掌握 DataFrame与Dataset开发一个wordcount程序、设计电影受众分析程序,熟悉Spark SQL原理及API、Spark SQL、DataFrame开发分析程序。
  • 项目十一:电影评论文本情感分析系统
    采用神经网络(DNN,RNN及CNN)和开源框架tensorflow及pytorch等,监督学习,完成电影评论文本情感分析,可应用于新闻正负情感分类。
  • 项目十二:数据挖掘与机器学习实战
    掌握数据挖掘与机器学习基础知识算法,熟练使用Spark MLib分类、聚类、推荐等算法,完成用户画像系统设计,深刻了解机器学习。
  • 张**  已领取《光环大数据课程全部案例》  1分钟前
  • 崔*   已领取《光环大数据课程全部案例》  1分钟前
  • 班**  已领取《光环大数据课程全部案例》  2分钟前
  • 左**  已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  4分钟前
  • 王**  已领取《光环大数据课程全部案例》  1分钟前
  • 高**  已领取《光环大数据课程全部案例》  14秒前
  • 张*   已领取《光环大数据课程全部案例》  16秒前
  • 刘**  已领取《光环大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环大数据课程全部案例》  2分钟前
  • 李**  已领取《光环大数据课程全部案例》  3分钟前
  • 崔*   已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 赫**  已领取《光环大数据课程全部案例》  1分钟前
  • 王**  已领取《光环大数据课程全部案例》  2分钟前
  • 刘**  已领取《光环大数据课程全部案例》  3分钟前
  • 郜*   已领取《光环大数据课程全部案例》  18秒前
  • 谢*   已领取《光环大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环大数据课程全部案例》  2分钟前
  • 杜**  已领取《光环大数据课程全部案例》  5分钟前
  • 孙**  已领取《光环大数据课程全部案例》  7分钟前
  • 任*   已领取《光环大数据课程全部案例》  12分钟前
  • 肖**  已领取《光环大数据课程全部案例》  6分钟前
  • 付**  已领取《光环大数据课程全部案例》  13分钟前
  • 胡**  已领取《光环大数据课程全部案例》  12秒前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 赫**  已领取《光环大数据课程全部案例》  1分钟前
  • 王**  已领取《光环大数据课程全部案例》  2分钟前
  • 刘**  已领取《光环大数据课程全部案例》  3分钟前
  • 郜*   已领取《光环大数据课程全部案例》  18秒前
  • 谢*   已领取《光环大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环大数据课程全部案例》  2分钟前
  • 杜**  已领取《光环大数据课程全部案例》  5分钟前
  • 孙**  已领取《光环大数据课程全部案例》  7分钟前
  • 任*   已领取《光环大数据课程全部案例》  12分钟前
  • 肖**  已领取《光环大数据课程全部案例》  6分钟前
  • 付**  已领取《光环大数据课程全部案例》  13分钟前
张**  已领取《光环大数据课程全部案例》  1分钟前 崔*   已领取《光环大数据课程全部案例》  1分钟前 左**  已领取《光环大数据课程全部案例》  1分钟前 刘*   已领取《光环大数据课程全部案例》  4分钟前 王**  已领取《光环大数据课程全部案例》  1分钟前 高**  已领取《光环大数据课程全部案例》   14秒前 张*   已领取《光环大数据课程全部案例》  16秒前 刘**  已领取《光环大数据课程全部案例》  1分钟前 赵**  已领取《光环大数据课程全部案例》  2分钟前 李**  已领取《光环大数据课程全部案例》  3分钟前 崔*   已领取《光环大数据课程全部案例》  1分钟前 刘*   已领取《光环大数据课程全部案例》  1分钟前 刘*   已领取《光环大数据课程全部案例》  1分钟前 赫**  已领取《光环大数据课程全部案例》  1分钟前 王**  已领取《光环大数据课程全部案例》  2分钟前 刘**  已领取《光环大数据课程全部案例》  3分钟前 郜*   已领取《光环大数据课程全部案例》  18秒前 谢*   已领取《光环大数据课程全部案例》   1分钟前 赵**  已领取《光环大数据课程全部案例》  2分钟前 杜**  已领取《光环大数据课程全部案例》  5分钟前 孙**  已领取《光环大数据课程全部案例》  7分钟前 任*   已领取《光环大数据课程全部案例》  12分钟前 肖**  已领取《光环大数据课程全部案例》  6分钟前 付**  已领取《光环大数据课程全部案例》   13分钟前 胡**  已领取《光环大数据课程全部案例》   12秒前 刘*   已领取《光环大数据课程全部案例》  1分钟前 刘*   已领取《光环大数据课程全部案例》  1分钟前 赫**  已领取《光环大数据课程全部案例》  1分钟前 王**  已领取《光环大数据课程全部案例》  2分钟前 刘**  已领取《光环大数据课程全部案例》  3分钟前 郜*   已领取《光环大数据课程全部案例》  18秒前 谢*   已领取《光环大数据课程全部案例》  1分钟前 赵**  已领取《光环大数据课程全部案例》  2分钟前 杜**  已领取《光环大数据课程全部案例》  5分钟前 孙**  已领取《光环大数据课程全部案例》  7分钟前 任*   已领取《光环大数据课程全部案例》  12分钟前 肖**  已领取《光环大数据课程全部案例》  6分钟前 付**  已领取《光环大数据课程全部案例》  13分钟前

1、您的最高学历?
大专及以下
大学本科
硕士及以上
2、您是否具备编程开发工作经验?
0基础,无开发经验
有1-3年开发经验
有3-5年开发经验
有5年以上开发经验
3、您是否计划系统学习大数据?
在职
学生
自由职业
待业
其他
姓名:
手机:
  • 视频教程
  • 大数据学习Java基础视频.zip
  • 大数据学习Linux基础视频.zip
  • 如何学习大数据技术.zip
  • Hadoop基础入门视频.zip
  • 电子书籍
  • 入行大数据必看10本电子书.zip
  • 精选28本大数据电子书合集.zip
  • 数据分析/数据挖掘电子书.zip
  • 人工智能最值一读的10本书.zip
  • 学习课件
  • 一张图看懂HBase是什么.png
  • 图解Hadoop大数据生态圈.png
  • 初学必看:大数据学习路线图.png
  • 大数据学习最全知识点图谱.png
  • 学习经验
  • 优秀大数据学员学习心得.doc
  • 大数据实战学习计划.doc
  • 大数据学习重点知识梳理.doc
  • 大数据学习避坑指南.doc