大数据免费讲座
Hadoop企业项目实战讲解
报名参加
大数据学习能力测评
7道题测试你的能力!
测试自己
8月北京班开课
小班授课,学员层次高!
14

光环大数据始创立

15

成功上市登陆创新层

16

成为华为集团培训供应商

17

成为阿里云大数据合作商

为保护学员隐私,更多学员见证视频不做公开,欢迎实地考察、进班试听。
  • 项目一:用户画像系统
    用户画像系统flume+hbase+spark+redis+mllib架构,使用HBase存储海量结构化和半结构化数据,学会mllib求解机器学习等。
  • 项目二:电子商务推荐系统
    通过电子商务推荐系统,掌握大数据设计架构lambda architecture,学会使用Hadoop和Spark技术解决复杂大数据问题。
  • 项目三:商务智能报表系统
    掌握大数据报表系统基本架构设计方法,学会使用Hadoop和Spark技术解决复杂大数据报表分析及可视化问题。
  • 项目四:信用卡欺诈分析系统
    采用HDFS + Spark Core + mllib架构,熟悉机器学习应用,熟悉使用HDFS和Spark解决实际问题。
  • 项目五:用户行为实时分析系统
    掌握大数据流式系统基本架构,学会使用kafka和spark streaming构建流式计算系统,熟练掌握使用spark streaming编写鲁棒的流式处理程序。
  • 项目六:双十一大数据日志分析系统
    了解日志分析系统的基本架构,熟练掌握如何采用hadoop和spark解决大数据分析问题,使用常见的开源可视化工具对分析结果可视化。
  • 项目七:用户手机APP行为分析系统
    利用Spark Streaming+kafka+redis实现,掌握Spark Streaming调优方法和高级编程技巧,能够使用高级API编写更加鲁棒的分布式流式计算程序。
  • 项目八:基于深度学习的手写字体识别
    掌握人工智能技术基础,包括数学与python技术,了解神经网络技术及开源框架tensorfow、pytorch等,基于深度学习的手写字体识别。
  • 项目九:电信客户流失预测分析实战
    掌握人工智能技术基础,使用神经网络监督学习,预测电信客户流失曲线,监督学习技术可同样应用于股价预测、流量预测,房价预测等方面中。
  • 项目十:电影受众实时分析系统
    掌握 DataFrame与Dataset开发一个wordcount程序、设计电影受众分析程序,熟悉Spark SQL原理及API、Spark SQL、DataFrame开发分析程序。
  • 项目十一:电影评论文本情感分析系统
    采用神经网络(DNN,RNN及CNN)和开源框架tensorflow及pytorch等,监督学习,完成电影评论文本情感分析,可应用于新闻正负情感分类。
  • 项目十二:数据挖掘与机器学习实战
    掌握数据挖掘与机器学习基础知识算法,熟练使用Spark MLib分类、聚类、推荐等算法,完成用户画像系统设计,深刻了解机器学习。
  • 张**  已领取《光环大数据课程全部案例》  1分钟前
  • 崔*   已领取《光环大数据课程全部案例》  1分钟前
  • 班**  已领取《光环大数据课程全部案例》  2分钟前
  • 左**  已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  4分钟前
  • 王**  已领取《光环大数据课程全部案例》  1分钟前
  • 高**  已领取《光环大数据课程全部案例》  14秒前
  • 张*   已领取《光环大数据课程全部案例》  16秒前
  • 刘**  已领取《光环大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环大数据课程全部案例》  2分钟前
  • 李**  已领取《光环大数据课程全部案例》  3分钟前
  • 崔*   已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 赫**  已领取《光环大数据课程全部案例》  1分钟前
  • 王**  已领取《光环大数据课程全部案例》  2分钟前
  • 刘**  已领取《光环大数据课程全部案例》  3分钟前
  • 郜*   已领取《光环大数据课程全部案例》  18秒前
  • 谢*   已领取《光环大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环大数据课程全部案例》  2分钟前
  • 杜**  已领取《光环大数据课程全部案例》  5分钟前
  • 孙**  已领取《光环大数据课程全部案例》  7分钟前
  • 任*   已领取《光环大数据课程全部案例》  12分钟前
  • 肖**  已领取《光环大数据课程全部案例》  6分钟前
  • 付**  已领取《光环大数据课程全部案例》  13分钟前
  • 胡**  已领取《光环大数据课程全部案例》  12秒前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 刘*   已领取《光环大数据课程全部案例》  1分钟前
  • 赫**  已领取《光环大数据课程全部案例》  1分钟前
  • 王**  已领取《光环大数据课程全部案例》  2分钟前
  • 刘**  已领取《光环大数据课程全部案例》  3分钟前
  • 郜*   已领取《光环大数据课程全部案例》  18秒前
  • 谢*   已领取《光环大数据课程全部案例》  1分钟前
  • 赵**  已领取《光环大数据课程全部案例》  2分钟前
  • 杜**  已领取《光环大数据课程全部案例》  5分钟前
  • 孙**  已领取《光环大数据课程全部案例》  7分钟前
  • 任*   已领取《光环大数据课程全部案例》  12分钟前
  • 肖**  已领取《光环大数据课程全部案例》  6分钟前
  • 付**  已领取《光环大数据课程全部案例》  13分钟前

【第一组】阿里流量分析系统

使用了view, 处理了内存溢出,用Java RDD/DataFrame API去处理,基本上课程上所学到的东西掌握了

【第二组】阿里选题

完全使用pyspark来完成rdd api和dataframe api的开发

【第三组】阿里选题

使用Scala语言完成项目,使用Tabluea查询Presto,并进行展示

【第四组】京东金融分析系统

spark中直接使用scala代码开发,dataframe api使用较为熟练,函数用的较多

【第五组】京东选题

阿里云主机环境搭建, 独立完成环境搭建,代码比较规范,DataFrame API用的很熟

【第六组】阿里选题

分工、职责清晰,演示了大型架构的开发模式,架构比较完善,Sqoop/Presto/Mysql使用经验分享

【第七组】京东选题

使用ambari去搭建环境,使用开源vagrant搭建虚拟机沙盒,使用Scala在Zeppelin中分析数据

【第八组】CEO学员分享

通过自己公司运营状况,市场分析,生产销售等情况,介绍自己企业如何利用大数据技术进行实践!

北京首席讲师

谭老师

北京大学计算机硕士

◆ 北京大学计算机硕士
◆ 7年+大数据研发经验
◆ 曾任新浪微博平台大数据架构师

曾就职于新浪微博平台研发部与Hulu北京研发中心,曾参与微博核心Feed系统的改造,主导多机房数据同步和容灾部署,Spark内核级优化和企业推广,Hadoop集群升级与优化,Hive On Tez优化以及推广等工作。曾在某在线视频公司及新浪等大型企业大数据培训担任讲师。

北京首席讲师

谭老师

北京大学计算机硕士

  • ◆ 北京大学计算机硕士
  • ◆ 7年+大数据研发经验
  • ◆ 曾任新浪微博平台大数据架构师

北京首席讲师

董老师

美国hulu大数据架构师

  • ◆ 中科院计算所硕士
  • ◆ 大数据畅销书籍作者
  • ◆ 曾担任多项国家级大数据内训讲师

北京首席讲师

张老师

中科院硕士

  • ◆ 中科院计算所硕士
  • ◆ Hbase资深Contributor
  • ◆ 拥有多年大数据研发经验

上海首席讲师

黄老师

曾任百度大数据负责人

  • ◆ 10年经验大数据研发专家
  • ◆ 曾任百度数据仓库技术负责人
  • ◆ 百PB量级数据治理项目经验

上海首席讲师

李老师

曾就职于百度、腾讯

  • ◆ 上海交大计算机硕士
  • ◆ 9年+研发,曾就职于百度、腾讯
  • ◆ 目前专注于大数据与AI结合方向

上海首席讲师

王老师

1号店大数据架构师

  • ◆ 曾任百度大数据高级研发工程师
  • ◆ 1号店搜索与精准化部门架构师
  • ◆ 7年+电商和百度大数据项目经验

深圳首席讲师

王老师

计算机博士后

  • ◆ 美国佛罗里达大学计算机博士后
  • ◆ 华中科技大学计算机博士
  • ◆ 中国计算机学会高级专家

深圳首席讲师

黄老师

清华大学计算机硕士

  • ◆ 清华大学计算机硕士
  • ◆ 网易大数据研发工程师
  • ◆ 业务建模、数据分析经验丰富

深圳首席讲师

祁老师

南京大学计算机硕士

  • ◆ 网易大数据高级工程师
  • ◆ 6年+大数据处理经验
  • ◆ 熟悉多门语言,精通Python、Java
第一阶段:Hadoop生态体系
第二阶段:Spark生态体系
第三阶段:深度学习课程体系
第四阶段:企业级大数据项
第五阶段:项目答辩+面试指导

学习阶段概述:大数据技术体系、Hadoop生态系统,具体涉及HDFS/YARN/HBase/Kafka/Hive/Presto等架构、实际应用情况。

本阶段开始学习大数据技术,课上设置随堂练习偏多,阶段结束时,基于Hadoop的广告数据仓库

★★★ 分布式存储系统:分布式数据库HBase ★★★
理论部分
HBase简介、优缺点、架构以及HBase API使用等
实战部分
搭建Hbase集群、使用Hbase Web UI、使用HBase Shell、利用Java编写程序在hbase中创建表、利用Java编写程序向hbase表中写入和读取数据
项目案例
用户画像系统、网络爬虫
课程目标
掌握HBase系统架构,能够编写程序读写 HBase中存储的数据
★★★ 分布式分析引擎:Hive进阶 ★★★
理论部分
Hive内部原理,多计算引擎(Tez与Spark),Hive创建ORC/Parquet表,Hive调优
实战部分
程序方式访问Hive、Hive调优演示
课程目标
掌握Hive内部原理,了解常见Hive的优化方式
★★★ 交互式查询引擎 Presto ★★★
理论部分
Presto基本架构,Presto与Hive对比,Presto基本使用
实战部分
Presto集群搭建、Presto使用方式、Presto与Hive性能对比

学习阶段概述:Spark技术概论、Spark生态系统组成、相关组件的原理以及程序设计的方法、调优,典型大数据分析案例剖析

本阶段涉及的实战项目:电影受众分析系统/用户手机APP行为分析系统/用户画像系统(机器学习相关)/视频行业大数据案例

★★★ Spark 程序设计 ★★★
理论部分
Spark编程模型、内存弹性分布式数据集的工作原理和机制、Spark RDD transform、 持久化、 checkpoint、容错与性能优化
实战部分
如何利用intellij idea开发一个spark程序并运行到集群中、如何利用spark设计电影受众分析程序
课程目标
掌握常见的Spark API,熟练使用Spark开发大数据分析程序
★★★ Spark SQL ★★★
理论部分
DataFrame与Dataset,Spark SQL主要函数介绍
实战部分
如何使用 DataFrame与Dataset开发一个wordcount程序、如何使用DataFrame与Dataset设计电影受众分析程序
课程目标
熟悉Spark SQL原理及API,熟练使用Spark SQL,尤其是DataFrame开发大数据分析程序
★★★ Spark Streaming进阶 ★★★
理论部分
保存kafka offset并恢复、spark streaming容错机制、spark streaming调优方法、structured streaming原理及关键API
实战部分
利用Spark Streaming+kafka+redis实现“用户手机app行为分析系统”、实现streuctured streaming版本的wordcount
课程目标
掌握Spark Streaming调优方法和高级编程技巧,能够使用高级API编写更加鲁棒的分布式流式计算程序
★★★ Spark MLlib数据分析挖掘程序 ★★★
理论部分
数据挖掘与机器学习技术知识,以及机器学习案例、Spark MLlib分类、聚类、推荐等算法,用户画像系统设计
实战部分
回归预测和局部加权线性回归预测算法、最近邻 KNN 预测分析的算法 协同过滤算法的Spark实现技术应用、决策树分类分析挖掘算法、逻辑回归分类分析挖掘算法、贝叶斯分类分析挖掘算法等,互联网用户性别预测小案例
课程目标
掌握常见的机器学习算法,能够使用Spark MLlib工具包解决机器学习问题
★★★ 用户画像系统 ★★★
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解;
• 项目架构、核心点讲解;
• 数据展示、共性问题答疑 、项目总结。
• 用户画像系统常见场景简介。
• 讲解主要架构:Flume + HBase + Spark + Redis + MLlib
课程目标
• 掌握用户画像系统基本架构
• 熟练使用HBase存储海量结构化和半结构化数据
• 熟练使用MLlib求解机器学习问题

深度学习背景及发展史,常见应用(自动驾驶、机器翻译、人脸识别等)、常见Python机器学习库、深度学习算法及开源库Tensorflow介绍

本阶段涉及的实战项目:基于深度学习的手写字体识别

理论部分
• 深度学习发展史及技术体系
• 深度学习依赖的数学与python技术
• 神经网络(DNN,RNN及CNN等)和开源框架tensorflow及pytorch等
实战部分
• Tensorflow playground数据模型可视化
• ConvNetJS利用CNN完成图像分类
• 基于深度学习的手写字体识别
课程目标
掌握深度学习技术,包括数学与Python技术,了解神经网络技术及开源框架Tensorfow、pytorch等

本章通过讲解综合的项目案例,完整的展示大数据在实际应用场景中复杂应用情况,让学员掌握

本阶段涉及的实战项目:“双十一”大数据日志分析系统 网站指标分析系统 实时数据处理综合案例 大数据漏斗分析系统

★★★ 大数据Hadoop企业应用 “双十一”大数据日志分析系统 ★★★
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Hadoop + Kafka + Spark + Presto/Hive + Echart/D3
课程目标
• 熟悉Spark在大数据分析领域的综合应用 • 掌握Spark Streaming/SQL/Mllib的高级编程技巧 • 掌握Spark技术和传统Web相结合技术
★★★ 大数据spark企业应用 网站指标分析系统 ★★★
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Kafka + Spark Streaming + MLlib + Tomcat + J2EE + Echart
课程目标
• 掌握大数据批处理、流式处理及机器学习基本架构 • 学会使用Kafka和Spark streaming构建流式计算系统 • 熟练掌握使用Spark streaming编写鲁棒的流式处理程序
★★★ 实时数据处理综合案例 ★★★
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Flume + Kafka + Spark Streaming + Redis + Storm
课程目标
• 熟悉实时分析系统的基本架构 • 掌握Flume + Kafka + Spark Streaming + Redis处理技术 • 拓展Storm流式数据处理知识
★★★ 大数据漏斗分析系统 ★★★
项目实战
• 项目背景、开发需求、 项目架构、核心点讲解; • 项目架构、核心点讲解; • 数据展示、共性问题答疑 、项目总结。 • 讲解主要架构:Spark + Presto + Spark SQL + Echart
课程目标
• 了解漏斗分析的背景 • 掌握Spark SQL的高级应用 • 拓展Presto自定义插件和UDAF函数知识

学员以小组的形式配合完成结业项目,并进行答辩,由讲师、班级同学共同进行评审

本阶段涉及的实战项目:阿里巴巴口碑商家客流量分析系统 京东金融信贷需求预分析系统

★★★ 大数据面试攻略 ★★★
课程目标
通过一线企业对于不同大数据岗位的核心技能需求,所需知识和技能,以及主流的大数据工具和框架的使用方法, 讲解常大数据岗位的面试问题,开放式问题和系统设计问题,结合实际场景分析,融汇贯通整个课程知识点。
张**  已领取《光环大数据课程全部案例》  1分钟前 崔*   已领取《光环大数据课程全部案例》  1分钟前 左**  已领取《光环大数据课程全部案例》  1分钟前 刘*   已领取《光环大数据课程全部案例》  4分钟前 王**  已领取《光环大数据课程全部案例》  1分钟前 高**  已领取《光环大数据课程全部案例》   14秒前 张*   已领取《光环大数据课程全部案例》  16秒前 刘**  已领取《光环大数据课程全部案例》  1分钟前 赵**  已领取《光环大数据课程全部案例》  2分钟前 李**  已领取《光环大数据课程全部案例》  3分钟前 崔*   已领取《光环大数据课程全部案例》  1分钟前 刘*   已领取《光环大数据课程全部案例》  1分钟前 刘*   已领取《光环大数据课程全部案例》  1分钟前 赫**  已领取《光环大数据课程全部案例》  1分钟前 王**  已领取《光环大数据课程全部案例》  2分钟前 刘**  已领取《光环大数据课程全部案例》  3分钟前 郜*   已领取《光环大数据课程全部案例》  18秒前 谢*   已领取《光环大数据课程全部案例》   1分钟前 赵**  已领取《光环大数据课程全部案例》  2分钟前 杜**  已领取《光环大数据课程全部案例》  5分钟前 孙**  已领取《光环大数据课程全部案例》  7分钟前 任*   已领取《光环大数据课程全部案例》  12分钟前 肖**  已领取《光环大数据课程全部案例》  6分钟前 付**  已领取《光环大数据课程全部案例》   13分钟前 胡**  已领取《光环大数据课程全部案例》   12秒前 刘*   已领取《光环大数据课程全部案例》  1分钟前 刘*   已领取《光环大数据课程全部案例》  1分钟前 赫**  已领取《光环大数据课程全部案例》  1分钟前 王**  已领取《光环大数据课程全部案例》  2分钟前 刘**  已领取《光环大数据课程全部案例》  3分钟前 郜*   已领取《光环大数据课程全部案例》  18秒前 谢*   已领取《光环大数据课程全部案例》  1分钟前 赵**  已领取《光环大数据课程全部案例》  2分钟前 杜**  已领取《光环大数据课程全部案例》  5分钟前 孙**  已领取《光环大数据课程全部案例》  7分钟前 任*   已领取《光环大数据课程全部案例》  12分钟前 肖**  已领取《光环大数据课程全部案例》  6分钟前 付**  已领取《光环大数据课程全部案例》  13分钟前